Why do_eval always True instead of False?

[jinmyeongAN]

🐛 Bug Report

config.yml에서 do_eval을 False로 바꾸어도 train_args.do_eval 은 True가 됩니다.

원인

• 허깅페이스의 TrainingArguments의 경우 do_eval 값은 default 가 False 이지만, evaluation_strategy가 "no" 가 아닌 상태가 되는 경우, 자동으로 do_eval 는 True가 됩니다.
• 이런 로직이 짜인 이유는 제 생각엔 evaluation strategy에 "no" 가 아닌 값은 넣은 의도 자체가 (evaluation_strategy = "step" or "epoch") evaluation을 하고 싶다는 의미이기 때문에 코드를 강제한 것으로 보입니다.
• 우리 베이스라인 코드는 evaluation_strategy="epoch" 로 되어 do_eval=True가 됩니다.

📎 Additional context

evaluation_strategy 란?

evaluation를 진행하고 싶은 시간단위 (한 "step" 이나, "epoch" 마다 ) 를 입력받은 변수입니다.

evaluation_strategy (str or [IntervalStrategy](https://huggingface.co/docs/transformers/v4.25.1/en/internal/trainer_utils#transformers.IntervalStrategy), optional, defaults to "no") — The evaluation strategy to adopt during training. Possible values are:
"no": No evaluation is done during training.
"steps": Evaluation is done (and logged) every eval_steps.
"epoch": Evaluation is done at the end of each epoch.

reference

• https://huggingface.co/docs/transformers/main_classes/trainer#transformers.TrainingArguments.evaluation_strategy