Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[feature] 데이터 파이프라인 complete #34

Merged
merged 3 commits into from
Nov 10, 2023

Conversation

JisooPyo
Copy link
Member

@JisooPyo JisooPyo commented Nov 9, 2023

관련 Issue

변경 사항

  • rawRestaurant Entity에서 사업장명과 우편번호 컬럼에 동시에 UK를 걸어주었습니다.
  • 김밥, 카페, 중식, 일식, 탕류, 패스트 푸드 등의 데이터가 모두 컬럼이 동일하며 API 요청을 보낼 때 끝에 리소스 식별자 String 값만 달라지는 것을 알아내어 이를 Enum으로 관리하며 for문을 돌면서 API요청을 하게끔 구현하였습니다.
  • 원래 RawKimbobScheduler클래스가 여러 API를 요청하는 기능을 담당하게 되면서 RawRestaurantScheduler로 이름이 변경되었습니다.
  • 의미있는 메서드 주석을 달려고 노력했습니다.

Check List

  • 특정 값(설정한 unique키가 없는 경우) 외에는 다 save, update가 되는 것을 확인하였습니다. 다만, 데이터가 하나도 없을 때 40분 50초, 데이터가 다 있을 때는 48분 19초로 상당히 느린 시간을 보여주었습니다. 이에 대해 개선할 필요가 보입니다.

image

image

Copy link

github-actions bot commented Nov 9, 2023

Test Results

9 tests  ±0   9 ✔️ ±0   2s ⏱️ -1s
4 suites ±0   0 💤 ±0 
4 files   ±0   0 ±0 

Results for commit fa2a47f. ± Comparison against base commit 08cd7d0.

@JisooPyo JisooPyo requested review from 9898s, dyori04 and rivkode November 9, 2023 12:26
@JisooPyo JisooPyo changed the title Feature/29/data pipeline cafe fastfood [feature] 데이터 파이프라인 나머지 완성 Nov 9, 2023
@JisooPyo JisooPyo changed the title [feature] 데이터 파이프라인 나머지 완성 [feature] 데이터 파이프라인 complete Nov 9, 2023
Copy link
Contributor

@9898s 9898s left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@JisooPyo 님! 확인 했습니다!

Copy link
Member

@rivkode rivkode left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@JisooPyo Merge 승인 수고하셨습니다 !

Comment on lines +54 to +58
public void updateRawRestaurant() {
for (DataType type : DataType.values()) {
countData(type.getUrl());
updateData(type.getUrl());
}
Copy link
Member

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

공통된 특징을 찾아 type으로 for문을 돌면서 데이터를 관리하는건 좋은 아이디어 같습니다

Copy link
Member Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

감사합니다!

@rivkode rivkode merged commit 835be59 into develop Nov 10, 2023
3 checks passed
@rivkode rivkode deleted the feature/29/data-pipeline-cafe-fastfood branch November 10, 2023 00:47
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
feature New feature or request
Projects
None yet
3 participants