71 [DDPG] Deep Deterministic Policy Gradients.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Continuous Control with Deep Reinforcement Learning\n",
    "\n",
    "## DQN의 문제점 그리고 DDPG\n",
    "\n",
    "DQN은 많은 복잡한 문제들을 풀었지만, 오직 discrete 하며 low-dimensional action spaces의 문제를 갖은 문제를 해결할 수 있습니다.<br>\n",
    "즉 '왼쪽', '오른쪽', '점프', '앉기' 등등 서로 구분(discrete)가 명확하며, actions의 갯수 (action spaces)가 적은 문제를 말합니다.\n",
    "\n",
    "하지만 현실에서는 \"물리적 컨트롤\"을 요구하는 문제들이 많습니다.<br>\n",
    "손의 악력의 정도(continuous 값), 3차원의 방향에서 어느 방향으로 움직일지(너무나 많은 action spaces) 등등..<br>\n",
    "이런 문제에 DQN이 사용되기 쉽지 않습니다. 이유는 궁극적으로 DQN은 action-value function의 값을 극대화하는 action을 찾는 것이며, <br>\n",
    "이를 찾기 위해서는 모든 step마다 iterative optimization process를 거쳐야 하기 때문입니다. \n",
    "\n",
    "이를 해결하기 위한 한가지 방법은 **discretize the action space** 해주는 방법입니다.<br>\n",
    "예를 들어서 사람의 팔은 7도 정도 움직일수 있는데, 이것자체를 action으로 두는 것입니다. <br>\n",
    "각각의 각도마다 각각의 action을 만드는 방법인데.. 세밀하게 움직이게 하려면 할 수록 action space는 기하급수적으로 늘어나게 됩니다.\n",
    "\n",
    "특히 로보틱스 분야에서는 continuous action을 다루게 되는데, Google Deep Mind팀은 이를 해결하기 위해서 **Deep Deterministic Policy Gradients (DDPG)**라는 알고리즘을 만들었고, 해당 알고리즘은 **off-policy** 이며 **model-free** 라는 특징을 갖고 있습니다. <br>\n",
    "DDPG는 3개의 techniques를 합쳐서 만들어졌습니다."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Policy Network\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### DDPG Algorithm\n",
    "\n",
    "Deep Deterministic policy gradient를 뜻하며 target network의 알고리즘을 포함하고 있습니다.\n",
    "\n",
    "<img src=\"./images/ddpg.png\">\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# References \n",
    "\n",
    "* [Target Network에 대한 자세한 Paper - CONTINUOUS CONTROL WITH DEEP REINFORCEMENT LEARNING](https://arxiv.org/pdf/1509.02971.pdf)\n",
    "* [Deep Deterministic Policy Gradients in TensorFlow](http://pemami4911.github.io/blog/2016/08/21/ddpg-rl.html)\n",
    "* [Using Keras and Deep Deterministic Policy Gradient to play TORCS](https://yanpanlau.github.io/2016/10/11/Torcs-Keras.html)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}