Implement RL algorithms

[Geonhee-LEE]

• Value based RL

  • DQN
  • Rainbow DQN
  • CQL

• Value based + Policy based RL

  • DDPG
  • TD3

• Policy based RL

  • PG
  • TRPO
  • PPO

• Model based RL

  • [ ]

[Geonhee-LEE]

@CzJaewan 이전에 얘기했던 value based, policy based 분류는 https://spinningup.openai.com/en/latest/spinningup/rl_intro2.html#citations-below를 참조하면 좋을 듯.

• 0825 진행사항) 지금은 개념다시 잡으면서 Everett training 진행 중 and 전통적인 물체 회피 빌드 및 테스트 진행 중.

ps) 보고바람

[CzJaewan]

@Geonhee-LEE value based RL, Policy based RL 등의 Algorithm들은 PPO를 통한 실제 테스트 까지 완료한 후 진행할 예정

이전 알고리즘 구현 및 테스트 진행 사항

• Code 작성 완료 : DDPG, TD3, TRPO, SAC
• Code Train 정상 작동 : DDPG
• Code 수정 필요 : TD3, SAC
• Code train test 필요 : TRPO

[Geonhee-LEE]

@CzJaewan 각각 소스의 참조 repo 좀 업데이트 부탁드립니다.

[CzJaewan]

• DDPG : yanpanlau/DDPG-Keras-Torcs
• TRPO : reinforcement-learning-kr/pg_travel
• TD3 : https://github.com/nikhilbarhate99/TD3-PyTorch-BipedalWalker-v2, https://github.com/henry32144/TD3-Pytorch
• SAC : https://github.com/pranz24/pytorch-soft-actor-critic/blob/master/sac.py

[Geonhee-LEE]

SAC 구현

https://github.com/Geonhee-LEE/rl-collision-avoidance/tree/sac

• argparse 추가
• 참조한 SAC에 맞게 구조 변경
• 현재 mpi4python으로 사용하기 위해 shape 맞춰주는 중. 참조
  
  • MPI for Python, mpi4py