2024년 SW개발자양성과정 산학연계프로젝트2 - FLOW
본 서비스는 Multimodal(이미지 및 음성 기반) & Interactive(상호작용형) AI 조리 어플리케이션으로 MZ 세대를 위한 집밥 조리의 편의성을 높이며 요리 진입 장벽을 낮추는 것을 목표로 합니다.
사용자의 재료 이미지, 온라인 영수증, 유튜브 요리 영상 링크를 활용하여 재료 인식 → 레시피 추천 → 조리 과정 안내까지 한 번에 해결하는 All-in-One Solution을 제공합니다.
기존 요리 보조 앱들이 재료를 수동 입력해야 하고 일방향적인 정보 제공 방식이었다는 한계를 개선하여, 음성 기반 실시간 상호작용 AI 조리 보조 서비스를 통해 더 쉽고 편리한 요리를 할 수 있습니다.
| 구분 | 성명 | 학번 | 소속학과 | 연계전공 | 역할 |
|---|---|---|---|---|---|
| 팀장 | 황재연 | 2019112487 | 산업시스템공학과 | 데이터사이언스 | 백엔드 |
| 팀원 | 김동호 | 2019111437 | 경영학과 | 데이터사이언스 | 백엔드 |
| 팀원 | 김유선 | 2020112473 | 산업시스템공학과 | 데이터사이언스 | 백엔드 |
| 팀원 | 조예림 | 2020111500 | 회계학과 | 융합소프트웨어 | 프론트엔드 |
- 유튜브 요리 영상 & 재료 인식 기반 레시피 추출
- YouTube URL을 업로드 할 경우 영상의 스크립트를 추출하여 조리 보조
- 재료 사진 및 영수증 사진을 업로드 할 경우 GPT 4o 모델 기반으로 식재료 자동 인식 및 저장
- 실시간 레시피 추천 & 요리 과정 지원
- 인식된 재료를 기반으로 GPT 모델이 3가지 레시피 추천
- 추천된 레시피를 Recipe DB에 저장하여 조리 과정 단계별 안내
- 음성 기반 AI 조리 보조 (STT/TTS + GPT)
- STT API를 활용한 음성 인식으로 사용자의 질문을 분석
- GPT 4o 모델과 Few-Shot Prompting을 적용하여 조리 과정 관련 응답 생성
- TTS API를 통해 음성 출력하고 음성만으로도 요리 진행 가능
- 사용자와 AI 간의 상호작용을 통한 조리 편의성 극대화
- 조리 과정 중 사용자가 추가 질문 가능 → AI가 실시간 피드백 제공
- 필요 시 조리 단계 반복 요청 및 세부 설명 가능
- 음성 및 텍스트 입력을 통한 직관적인 조리 보조 시스템 구축
✔️ 개인적 측면
- 멀티모달 AI 활용으로 번거로운 검색 없이 이미지(재료/영수증)나 유튜브 링크 입력만으로 필요한 레시피를 쉽게 찾을 수 있음
- 요리에 익숙하지 않은 사용자도 개인화된 레시피 추천과 실시간 음성 보조 기능을 통해 다양한 요리를 시도할 기회를 제공
- 음성 기반 AI 조리 보조로 요리 과정 중 핸즈프리(Hands-free) 조리 가능
✔️ 경제적 측면
- 보유한 식재료를 활용한 맞춤형 레시피 추천을 통해 불필요한 외식 및 추가 재료 구매 감소
- 1인 가구 및 가정에서 남은 식재료를 효과적으로 활용, 음식물 쓰레기 절감 및 식비 절약 가능
- 외식 물가 상승에 대응하여 MZ 세대가 직접 집밥을 해먹을 수 있도록 지원
✔️ 사회적 측면
- 텍스트 입력이 어려운 사용자 및 고령층도 멀티모달을 활용하여 쉽게 접근 가능
- AI 기반 레시피 추천과 음성 상호작용을 통해 조리 과정을 보다 쉽게 안내하여 요리 경험이 부족한 사용자도 편리하게 조리 가능
- 남은 재료를 활용한 요리 추천을 통해 음식물 쓰레기를 줄이고 환경 보호 및 지속 가능한 소비 문화 촉진
| GPT 4o | BERT Score | Few-shot Prompting |
|---|---|---|
 |
 |
 |
Frontend
Backend
