멘토링 일지

서비스 소개

🎵 iNear 프로젝트 개요

iNear는 오직 음악으로만 소통할 수 있는 공간을 필요로 하는 아티스트와 팬들을 위한 실시간 앨범 감상 서비스입니다. 앨범 발매 시간에 맞춰 열리는 라이브 세션에서 음악을 감상하며, 다른 팬들과 채팅으로 감상평을 나눌 수 있습니다.

🚀 핵심 기능 - 앨범 스트리밍

inear는 아티스트의 신규 앨범을 실시간으로 청취할 수 있습니다

• 앨범 발매 라이브 세션이 진행되기 3일 전에 홈페이지에 배너가 등록이 됩니다
• 앨범 발매 시간에 맞추어 세션 안에서 라이브로 신곡을 들을 수 있습니다

🚀 핵심 기능 - 실시간 공감(채팅, 투표)

inear는 앨범 청취를 하면서 다른 사용자들과 소통할 수 있습니다

• 같은 팬들끼리 서로 실시간 채팅으로 다 같이 소통할 수 있습니다
• 앨범 스트리밍을 하면서 가장 즐겁게 감상한 노래에 유저들이 실시간으로 투표를 진행할 수 있습니다

자료

아래 자료에 더 자세하게 작성되어 있습니다

• 기존 프로젝트 저장소(리드미)
• 기존 프로젝트 위키
• 최종 발표 자료

생각한 인공지능 기획

https://www.ncloud.com/product/aiService

팀 소개

• 기존 inear 4명이 리팩토링에 모두 참여

의견

• 채팅 필터링 (ex. 욕설 채팅 가리기)
  • 채팅 누적 필터링에 대한 소켓 퇴장 - 얘는 필터링에서 부가적인 부분
• 채팅 데이터에 따른 앨범 평가 요약 (ex. 실시간 스트리밍 채팅 반응 요약)
• 가사 트랙킹
  • 클로바 더빙
• 음악 분석 ⇒ AI를 활용한 노래 퀄리티(음질) 높이기
• 앨범 메타 데이터 (태그, 아티스트 … )를 바탕으로 사용자 추천
  • Ai 모델 학습
• 가사 없으면 AI가 분석 후 가사 생성
  • 음악으로 들려줘야하는건지 아니면 파일 자체로 작동이 가능한 건지 확인 필요
• 비정상적인 입장 감지 (같은 IP에서 정확한 시간 단위로 반복 입장) ⇒ 뷰봇 느낌
  • 테스트 가능 여부 확인 필요

정리

1. 채팅 필터링 (0순위)
2. 평가 요약
3. 사용자 추천 알고리즘 생성

질문

• 채팅 필터링

  • 현재 저희 서비스는 Socket.io를 사용하여 실시간 채팅 서비스를 제공하고 있습니다 채팅 서비스에서 AI를 사용한 비속어 필터링을 진행하게 되면, AI API를 거치다 보니, 조금 응답속도가 느려지는 것으로 알고 있습니다. 채팅 서비스는 개인적으로 실시간성이 유지되어야 좋다고 생각하는데, AI를 사용하면서 실시간성을 유지를 하려면, 필터링은 비동기적으로 진행될 것 같습니다.

  다만 여기서 비속어가 사용자에게 잠깐이라도 노출되는 것이 조금 문제일 것 같습니다. 이 문제를 해결하기 위해, Redis로 필터링 캐싱을 진행하는 방법이 떠오르는데, 이마저도 완전히 노출시간을 없애지는 못하는 것 같습니다.

  • 사용자 경험적으로 뛰어나고, 정확하고, 리소스 사용량을 줄일 것이냐
  • 빠르고, 실시간성이 뛰어나고, 성능에 더 중점을 둘 것이냐

  멘토님께서는 위와 같은 트레이드오프에 대해 사용자 관점에서 더 중요시하는 부분이 있으실까요?

  • 치지직과 네이버 응원톡 클린봇 Ex) 채팅이 올라가고 나서 클린봇이 감지한다 - 치지직이나 네이버 응원톡 같은 경우, 이전 채팅에 대한 내용이 있어 클린봇이 이후에 감지하는 듯하다

• 앨범 요약에 관한 기능

  • 예상 기획
  • 주요 질문들
    • AI가 도출한 요약의 정확성과 관련성에 관한 검증이 필요하다면 어떤 방식으로 하는게 더 맞다고 생각을 하시는지가 궁금합니다? → 관리자 검수 프로세스? 사용자 피드백 메커니즘?
    • AI 모델을 학습하는데에 가용 데이터의 범위를 어디까지 사용하는 것이 좋을까에 관한 의문이 있습니다.
      • 좋은 인사이트를 도출하는 것을 목표로 한다면 실제 노래와 상관이 없는 너무 많은 데이터를 가져오는 것은 또 성능적으로 안좋을 수도 있지 않을까 하는 우려가 있습니다?
      • 해당 파라미터들을 잘 선별하기 위한 fine-tuning process가 별도로 필요하다고 생각을 하는지? 만약 필요하다면 단계는 어떻게 가져가는게 좋을지에 관한 조언을 주시면 감사할것 같습니다!
    • 데이터 수집 이후 데이터 정제 과정이 해당 프로세스에 필요하다고 생각을 하는지? 예를 들어 개인적으로는 채팅 데이터 그대로 학습을 하는것이 감정을 학습시키기에 더 나을 수도 있다는 생각이 들기도 합니다

• 앨범 추천 기능

  • 예상기획
  • 이 기능을 통해 앨범을 추천해주긴 하지만, 스트리밍을 해주지 않아서 포함을 해야 할 지에 대해 고민이 있습니다.
  • 또한 추천을 한다는 점에서 Ai를 사용하지 않아도 된다는 의견도 있었는데, 어떤 메리트를 더 추가할 수 있을지 궁금합니다.
  • 사용자별 앨범 추천을 해주려 했으나, 비회원 서비스 이슈로 불가능하게 되었습니다.