Seminars/10-environments/environments.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# `Практикум по программированию на языке Python`\n",
    "<br>\n",
    "\n",
    "## `Занятие 0xA: Виртуальные окружения и контейнеры`\n",
    "<br><br>\n",
    "\n",
    "### `Роман Ищенко (roman.ischenko@gmail.com)`\n",
    "\n",
    "#### `Москва, 2024`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "jp-MarkdownHeadingCollapsed": true
   },
   "source": [
    "### `Управление версиями Python с помощью Pyenv`\n",
    "\n",
    "Pyenv — кроссплатформенный инструмент для управления версиями Python<br>\n",
    "https://github.com/pyenv/pyenv\n",
    "<br><br>\n",
    "\n",
    "Основные возможности:\n",
    "- Установка/удаление версий Python. Версии существуют независимо и изолированно друг от друга. Это, в том числе, означает, что пакеты, установленные для одной версии, не будут видны для другой\n",
    "- Позволяет установить глобальную версию Python для пользователя. Эта версия будет использована по умолчанию при выполнении команды __python__\n",
    "- Позволяет для каждого проекта указать специфическую версию Python. В каталоге проекта будет автоматически использована именно указанная версия\n",
    "<br><br>\n",
    "\n",
    "Достоинства:\n",
    "- Не зависит от Python (то есть, для установки Pyenv в системе не требуется никакая «начальная» установленная версия Python)\n",
    "- Требует минимальной интеграцией со средой окружения (фактически, только добавления в переменную окружения PATH)\n",
    "- Не требует прав администратора, может работать локально для отдельного пользователя\n",
    "<br><br>\n",
    "\n",
    "Установка Linux/Mac:\n",
    "```\n",
    "# Копируем репозиторий локально\n",
    "git clone https://github.com/pyenv/pyenv.git ~/.pyenv\n",
    "\n",
    "# Добавляем переменные окружения\n",
    "echo 'export PYENV_ROOT=\"$HOME/.pyenv\"' >> ~/.bashrc\n",
    "echo 'command -v pyenv >/dev/null || export PATH=\"$PYENV_ROOT/bin:$PATH\"' >> ~/.bashrc\n",
    "\n",
    "# Добавляем инициализацию\n",
    "echo 'eval \"$(pyenv init -)\"' >> ~/.bashrc\n",
    "\n",
    "# Инициализируем среду для работы с pyenv\n",
    "source ~/.bashrc\n",
    "```\n",
    "При необходимости добавляем и в `~/.profile`, `~/.bash_profile` или `~/.bash_login`\n",
    "<br>\n",
    "\n",
    "В MacOS возможна установка с помощью пакетного менеджера Homebrew: `brew install pyenv`\n",
    "<br><br>\n",
    "\n",
    "Установка в Windows:\n",
    "```\n",
    "# Копируем репозиторий локально\n",
    "git clone https://github.com/pyenv-win/pyenv-win.git \"$HOME/.pyenv\"\n",
    "\n",
    "# Добавляем переменные окружения\n",
    "[System.Environment]::SetEnvironmentVariable('PYENV',$env:USERPROFILE + \"\\.pyenv\\pyenv-win\\\",\"User\")\n",
    "[System.Environment]::SetEnvironmentVariable('PYENV_HOME',$env:USERPROFILE + \"\\.pyenv\\pyenv-win\\\",\"User\")\n",
    "\n",
    "# Добавляем каталоги исполняемых файлов в PATH\n",
    "System.Environment]::SetEnvironmentVariable('path', $env:USERPROFILE + \"\\.pyenv\\pyenv-win\\bin;\" + $env:USERPROFILE + \"\\.pyenv\\pyenv-win\\shims;\" + [System.Environment]::GetEnvironmentVariable('path', \"User\"),\"User\")\n",
    "\n",
    "```\n",
    "\n",
    "<br><br>\n",
    "\n",
    "Использование:<br>\n",
    "`pyenv <command> [<args>]`\n",
    "<br><br>\n",
    "Несколько полезных команд:\n",
    "- `versions` — список установленных версий\n",
    "- `install -l` — список доступных для установки версий (там есть anaconda, miniconda)\n",
    "- `install <version>` — установка версии в систему\n",
    "- `global <version>` — выбор глобальной версии Python для пользователя\n",
    "- `local <version>` — выбор версии Python для проекта (каталога)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Управление виртуальными окружениями в Python`\n",
    "\n",
    "Структура установки библиотек/пакетов в Python имеет «плоскую» структуру. Это означает, что не могут использоваться две различные версии одного и того же пакета, даже если они устанавливаются неявно (как зависимости для других пакетов). Кроме того, для разных проектов также могут требоваться разные версии одних и тех же пакетов/библиотек.\n",
    "\n",
    "Для изоляции проектов с различными зависимости от библиотек друг от друга используются виртуальные окружения\n",
    "\n",
    "#### Python 2\n",
    "Используется пакет `virtualenv`\n",
    "<br><br>\n",
    "Установка:<br>\n",
    "`pip install virtualenv`\n",
    "\n",
    "#### Python 3\n",
    "Начиная с третьей версии Python для работы с виртуальными окружениями появился стандартный модуль — `venv`\n",
    "<br><br>\n",
    "\n",
    "Создание виртуального окружения:<br>\n",
    "`python -m venv <имя каталога>`\n",
    "<br><br>\n",
    "Активация в linux/macos:<br>\n",
    "`source <каталог окружения>/bin/activate`\n",
    "<br><br>\n",
    "Активация в Windows:<br>\n",
    "`<каталог окружения>\\Scripts\\activate.bat`\n",
    "<br><br>\n",
    "После активации можно установить необходимые пакеты с помощью `pip`. Все установленные внутри виртуального окружения пакеты будут доступны только в нём.\n",
    "<br><br>\n",
    "Деактивация:<br>\n",
    "`deactivate`\n",
    "<br><br>\n",
    "После выполнения этой команды библиотеки, установленные внутри виртуального окружения, перестанут быть доступными (до очередной активации)\n",
    "\n",
    "Плюс такого способа — возможность создать несколько виртуальных окружений для одного проекта. Минус — необходимость помнить, где хранятся виртуальные окружения. Хранить их в каталоге часто бывает неудобно."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Управление зависимостями. requirements.txt`\n",
    "\n",
    "В случае, если необходимо передать проект, требуется каким-то образом указать все модули, которые используются в проекте.\n",
    "Стандартный механизм для этого — файл `requirements.txt`\n",
    "\n",
    "Формат содержимого: каждая строка — отдельная зависимость. Синтаксис:<br>\n",
    "`<имя пакета><отношение><номер версии>`\n",
    "\n",
    "Например, `pandas==1.2.5` или `pandas>=1.2.0`. В первом случае требуется точная версия, во втором — не меньше указанной\n",
    "\n",
    "Установка всех перечисленных в файле библиотек производится командой\n",
    "\n",
    "`pip install -r requirements.txt`\n",
    "\n",
    "Зависимости собираются вручную. Но для сокращения ручной работы (и для уменьшения вероятности что-то забыть) можно инициализировать файл списком уже установленных в python библиотек\n",
    "\n",
    "`pip freeze > requirements.txt`\n",
    "\n",
    "Из недостатков следует отметить невозможность разделить пакеты, которые используются только для разработки от тех, которые требуются для работы проекта в production"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Управление зависимостями. Модуль Pipenv`\n",
    "\n",
    "`Pipenv` — модуль обеспечения переносимости и детерминированной установки приложений со всеми зависимостями в различных окружениях.<br>\n",
    "Обычно используется в паре с инструментом `pyenv`.\n",
    "<br><br>\n",
    "Преимущества:<br>\n",
    "- Обеспечивает большую гибкость и детерминированность по сравнению со стандартным инструментом `requirements.txt`\n",
    "- Прозрачная работа с виртуальными окружениями (автоматически создаёт для каждого проекта)\n",
    "<br><br>\n",
    "\n",
    "Установка:<br>\n",
    "`pip install pipenv`\n",
    "<br><br>\n",
    "\n",
    "Инициализация нового проекта:<br>\n",
    "`pipenv --python <version>`\n",
    "<br><br>\n",
    "\n",
    "Установка требуемых зависимостей для проекта:<br>\n",
    "`pipenv install`\n",
    "<br><br>\n",
    "\n",
    "Запуск виртуального окружения проекта:<br>\n",
    "`pipenv shell`\n",
    "<br><br>\n",
    "\n",
    "Установка нового пакета/библиотеки для проекта:<br>\n",
    "`pipenv install <имя пакета>`\n",
    "<br><br>\n",
    "\n",
    "Для каждого проекта создаются два файла: `Pipfile` и `Pipfile.lock`. Важно передавать (и сохранять в репозитории) эти файлы вместе с остальными файлами проекта. Именно они гарантируют детерминированную установку."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### `Контейнеризация. Docker, docker compose`\n",
    "Docker (Докер) — программное обеспечение с открытым исходным кодом, применяемое для разработки, тестирования, доставки и запуска приложений в средах с поддержкой контейнеризации.\n",
    "<br><br>\n",
    "Решаемые проблемы:\n",
    "- Передача продукта заказчику\n",
    "- Тиражируемость\n",
    "- Переиспользуемость\n",
    "<br><br>\n",
    "\n",
    "Преимущества использования Docker:\n",
    "- Минимальное потребление ресурсов — контейнеры не виртуализируют всю операционную систему (ОС), а используют ядро хоста и изолируют программу на уровне процесса. Последний потребляет намного меньше ресурсов локального компьютера, чем виртуальная машина.\n",
    "- Скоростное развертывание — вспомогательные компоненты можно не устанавливать, а использовать уже готовые docker-образы (шаблоны). Например, не имеет смысла постоянно устанавливать и настраивать Linux Ubuntu. Достаточно 1 раз ее инсталлировать, создать образ и постоянно использовать, лишь обновляя версию при необходимости.\n",
    "- Работа с небезопасным кодом — технология изоляции контейнеров позволяет запускать любой код без вреда для ОС.\n",
    "- Простое масштабирование — любой проект можно расширить, внедрив новые контейнеры.\n",
    "- Удобный запуск — приложение, находящееся внутри контейнера, можно запустить на любом docker-хосте.\n",
    "- Не требуется root — на docker-хосте может не быть нужных нам библиотек, версий и проч.\n",
    "<br><br>\n",
    "\n",
    "Установка:<br>\n",
    "```\n",
    "# Add Docker's official GPG key:\n",
    "sudo apt-get update\n",
    "sudo apt-get install ca-certificates curl gnupg\n",
    "sudo install -m 0755 -d /etc/apt/keyrings\n",
    "curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg\n",
    "sudo chmod a+r /etc/apt/keyrings/docker.gpg\n",
    "\n",
    "# Add the repository to Apt sources:\n",
    "echo \\\n",
    "  \"deb [arch=\"$(dpkg --print-architecture)\" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \\\n",
    "  \"$(. /etc/os-release && echo \"$VERSION_CODENAME\")\" stable\" | \\\n",
    "  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null\n",
    "sudo apt-get update\n",
    "```\n",
    "`sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin`<br>\n",
    "\n",
    "```\n",
    "# Проверяем\n",
    "sudo docker run hello-world\n",
    "```\n",
    "\n",
    "`sudo usermod -aG docker $USER`\n",
    "<br><br>\n",
    "\n",
    "Основные понятия:<br>\n",
    "- Образ — неизменяемый шаблон для создания виртуальных машин, который может содержать в себе необходимые инструменты и библиотеки\n",
    "- Контейнер — изменяемая виртуальная среда (можно сказать, виртуальная машина), обязательно созданная на основе какого-нибудь образа.\n",
    "<br><br>\n",
    "\n",
    "Для описания образа используются специальные файлы-описания — `Dockerfile`. Для создания образа из файла-описания используется команда:<br>\n",
    "`docker build -t <имя образа> - < Dockerfile`\n",
    "<br><br>\n",
    "\n",
    "Создать контейнер на основе существующего образа можно командой:<br>\n",
    "`docker run -d --name <имя контейнера> -it <имя образа>`\n",
    "<br><br>\n",
    "\n",
    "\n",
    "Посмотреть список запущенных [или бывших запущенными] контейнеров<br>\n",
    "`docker ps [-a]`\n",
    "\n",
    "Посмотреть список процессов внутри работающего контейнера<br>\n",
    "`docker top CONTAINER_ID`\n",
    "\n",
    "Остановить контейнер (т.е. отправить ему SIGTERM и дать время завершиться корректно)<br>\n",
    "`docker stop CONTAINER_ID`\n",
    "\n",
    "Убить контейнер (т.е. отправить ему SIGKILL и завершить сразу)<br>\n",
    "`docker kill CONTAINER_ID`\n",
    "\n",
    "Удалить контейнер (-f удалить работающий)<br>\n",
    "`docker rm [-f] CONTAINER_ID`\n",
    "\n",
    "Остановить все контейнеры и удалить их<br>\n",
    "`docker stop $(docker ps -a -q) && docker rm $(docker ps -a -q)`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Подробнее: https://www.docker.com\n",
    "<br><br>\n",
    "\n",
    "docker compose — инструмент управления docker-контейнерами\n",
    "<br><br>\n",
    "\n",
    "\n",
    "Команды:<br>\n",
    "`docker compose build`<br>\n",
    "`docker compose logs`<br>\n",
    "`docker compose up -d`<br>\n",
    "`docker compose down`\n",
    "<br><br>\n",
    "\n",
    "Подробнее: https://docs.docker.com/compose/"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.9"
  },
  "vscode": {
   "interpreter": {
    "hash": "1ebc06c9af4668ea59af92da59f595f0ec366fa1fe8aeb7b5f0d813ed9885b8b"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}