Service Link(Deprecated, 아래 영상을 참조하세요.)
- Unicode에 따르면, 전 세계 인구의 92%가 이모지를 사용합니다. (링크)
- 2018년 기준, 페이스북에서 하루에 쓰이는 이모지의 갯수는 50억개에 달합니다. (링크)
- 다섯개 중 하나 이상의 트윗이 이모지를 포함하고 있고, 이 비율은 점점 높아지고 있습니다. (링크)
- 인스타그램 댓글의 50%이상이 이모지를 포함하고 있습니다.
- 이 외에도 수많은 기사와 리서치가 이모지가 가진 영향력을 보여주고 있습니다.
Unicode상에 등재된 emoji는 3633개입니다.
- 다양성과 개인화가 점점 더 중요해짐에 따라, 기존🧑 yellow skin tone 뿐이던 emoji에도 🧑🏿🧑🏾🧑🏽🧑🏼🧑🏻 다양한 skin tone의 추가나, 👨❤️👨 나 ⚧️와 같은 다양성과 관련 된 emoji의 추가로 이런 변화에 맞추어가는 모습을 보였습니다.
- 그럼에도 불구하고 표준 emoji는 원하는 것을 전부 표현할 수 없으며, 추가도 거의 한계에 도달한 모습을 보여주고 있습니다.
- 따라서 저희 팀은 생성 모델을 통하여 개인이 직접 emoji를 만들어 이용할 수 있게 하는 프로젝트를 고안하게 되었습니다.
- Openmoji는 CC BY-SA 4.0 라이센스 하에 자유롭게 사용할 수 있는 오픈 소스 이모지 플랫폼 입니다.
- Unicode에 등재된 3633개의 이모지를 포함하여 총 4083개의 이모지를 제공합니다.
- 해당 플랫폼에서 제공하는 데이터를 활용하여 이미지-텍스트 쌍을 만들어 허깅페이스 허브에 배포하여 사용하였습니다.
- HuggingFace 에 Openmoji dataset을 업로드하였습니다.(링크)
- Noto emoji는 구글이 제작한 Open Font License 1.1 하에 자유롭게 사용할 수 있는 오픈소스 이모지 라이브러리 입니다.
- Unicode에 등재된 3,633개의 이모지 png파일을 제공합니다.
- 해당 플랫폼에서 제공하는 데이터를 활용하여 이미지-텍스트 쌍을 만들어 허깅페이스 허브에 배포하여 사용하였습니다.
- HuggingFace 에 noto-emoji dataset을 업로드하였습니다.(링크)
- 서로 다른 조에서 multimodal에 관심 있는 우리들이 모여서, (FUSION)
- 각자 아는 지식들을 공유하고 융합하여, (FUSION)
- diffusion을 활용해 text-to-emoji 문제를 풀어보자! (FUSION)
We, Fusion!!
| 김지수 | 김현수 | 지상수 | 최석훈 | 최혜원 |
|---|---|---|---|---|
| Modeling | Modeling | Modeling | Modeling | Modeling |
| Serving | Metric 및 이론, 논문 조사 | Front(Streamlit) | Serving(BENTOML) | Multi Encoder(AltCLIP-m9) |
| 데이터 제작 및 가공 | 프로젝트 기획 및 발표 | Code Review | 데이터 제작 및 가공 | 프로젝트 기획 및 발표 |
| GitHub | GitHub | GitHub | GitHub | GitHub |
Relation_Extraction
┣ bentoml
┃ ┣ eng_serve
┃ ┃ ┣ bentofile_eng_model.yaml
┃ ┃ ┣ configuration.yaml
┃ ┃ ┣ requirements.txt
┃ ┃ ┗ service.py
┃ ┣ kor_serve
┃ ┃ ┣ bentofile_kor_model.yaml
┃ ┃ ┣ configuration.yaml
┃ ┃ ┣ requirements.txt
┃ ┃ ┗ service.py
┃ ┣ readme.md
┣ frontend
┃ ┣ frontend.py
┃ ┣ main.py
┃ ┗ utils.py
┣ train
┃ ┣ dataset_utils
┃ ┃ ┣ make_korean_datasets.py
┃ ┃ ┗ save_dataset.py
┃ ┣ dreambooth
┃ ┃ ┣ dreambooth-lora.py
┃ ┃ ┣ dreambooth-lora.sh
┃ ┃ ┣ dreambooth.py
┃ ┃ ┗ dreambooth.sh
┃ ┣ examples
┃ ┃ ┣ AltCLIP
┃ ┃ ┗ AltDiffusion
┃ ┣ inference
┃ ┃ ┣ inference-lora-fid.py
┃ ┃ ┣ inference-lora.py
┃ ┃ ┗ inference_lora_altdiffusion.py
┃ ┣ utils
┃ ┃ ┣ blacklist.py
┃ ┃ ┣ .
┃ ┃ ┣ .
┃ ┃ ┗ white_bg.py
┃ ┣ train_lora.py
┃ ┗ train_lora.sh
┣ .gitignore
┣ README.md
┗ requirements.txt
| Type | Link |
|---|---|
| WrapUp Report | >> Notion |
| Presentation | >> Youtube |
- Denoising Diffusion Probabilistic Models [PAPER]
- AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities [PAPER] [CODE]
- LoRA: Low-Rank Adaptation of Large Language Models [PAPER]
- BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation [PAPER]