main_readme_constructor.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Конструктор главного README-файла репозитория\n",
    "\n",
    "Цель – в дополнение к таблице собрать оставшуюся часть страницы, вставив содержимое остальных страниц. Для этого необходимо:\n",
    "1. Считать содержимое таблицы\n",
    "2. Для страниц, содержащих ссылки, скопировать и объединить содержимое README-файлов\n",
    "3. Вывести суммарное содержимое в порядке, соответствующем таблице"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 119,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "# Общие вопросы Data Science\n",
      "## Курсы по общим вопросам Data Science\n",
      "\n",
      "### Если просто хочется понять, интересно вам это или нет\n",
      "- [Аналитик данных](https://praktikum.yandex.ru/data-analyst) (Яндекс.Практикум, бесплатен первый курс)\n",
      "- [Специалист по Data Science](https://praktikum.yandex.ru/data-scientist) (Яндекс.Практикум, бесплатен первый курс)\n",
      "\n",
      "### Курсы и специализации по Data Science в целом\n",
      "- [Доска в Trello, с разбиением по различным тематикам Data Science](https://trello.com/b/rbpEfMld/data-science)\n",
      "- [Материалы специализации на Coursera от МФТИ и Yandex Data Factory Машинное обучение и анализ данных](https://github.com/demidovakatya/mashinnoye-obucheniye/), [другой студенческий репозиторий](https://github.com/Coursera-machine-learning-data-analysis/course-materials)\n",
      "\n",
      "### Курсы по языкам программирования и другим инструментам Data Science\n",
      "\n",
      "#### SQL\n",
      "- [Интерактивный тренажер по SQL на Stepik](https://stepik.org/course/63054) – один из лучших курсов по введению в SQL на практических примерах\n",
      "\n",
      "#### Julia\n",
      "- [Курс про основы Julia для применения в Data Science проектах](https://github.com/JuliaEvangelists/Julia-in-DS)\n",
      "\n",
      "## Книги по общим вопросам Data Science\n",
      "### Смешанные подборки книг по различным тематикам Data Science\n",
      "- [100 бесплатных книг по Data Science ](https://www.learndatasci.com/free-data-science-books/) (англ.)\n",
      "- [Бесплатные электронные книги по Data Science издательства O'Reilly](https://www.oreilly.com/data/free/archive.html)\n",
      "\n",
      "### Книги по Data Science начального уровня\n",
      "- Грас Дж. Наука о данных с нуля\n",
      "\n",
      "### Книги по языкам программирования с упором на Data Science\n",
      "#### Учебники по Python\n",
      "- Вандер Плас Дж. Python для сложных задач. Наука о данных и машинное обучение\n",
      "- Маккини Уэс. Python и анализ данных\n",
      "- Свейгарт Эл. Автоматизация рутинных задач с помощью Python\n",
      "- Дэвидсон-Пайлон К. Вероятностное программирование на Python: байесовский вывод и алгоритмы\n",
      "- Мюллер А., Гвидо С. Введение в машинное обучение с помощью Python\n",
      "\n",
      "#### Учебники по R\n",
      "- [Advanced R](http://adv-r.had.co.nz/)\n",
      "- [Learning Statistics with R](https://web.archive.org/web/20170319021353/http://health.adelaide.edu.au:80/psychology/ccs/teaching/lsr/)\n",
      "- Кабаков. R в действии. Анализ и визуализация данных на языке R\n",
      "\n",
      "#### Учебники по Julia\n",
      "- Шеррингтон М.: Осваиваем язык Julia. Совершенствование мастерства в области\n",
      "\n",
      "## Источники открытых данных для Data Science\n",
      "\n",
      "### Global\n",
      "- [Google Dataset Search](https://datasetsearch.research.google.com/)\n",
      "- [Датасеты Kaggle](https://www.kaggle.com/datasets)\n",
      "- [Global Open Data Index](https://index.okfn.org/)\n",
      "\n",
      "### Россия\n",
      "- [Мультистат](http://multistat.ru/)\n",
      "- [Хаб открытых данных](https://www.hubofdata.ru/) – каталог открытых данных русскоязычных пользователей. Данные государства, НКО и коммерческих компаний\n",
      "- [Архив](http://sophist.hse.ru/) экономических и социологических данных по российской Федерации от НИУ ВШЭ\n",
      "- [Портал открытых данных правительства Москвы](https://data.mos.ru/)\n",
      "- [Открытые данные Санкт-Петербурга](https://data.gov.spb.ru/)\n",
      "- [Росстат](https://rosstat.gov.ru/) – Федеральная служба государственной статистики\n",
      "- [ВЦИОМ](https://wciom.ru/), их [базы данных](https://bd.wciom.ru/)\n",
      "- [ФОМ](https://fom.ru/) – Фонд «Общественное мнение», российская организация, занимающаяся проведением социологических исследований\n",
      "\n",
      "### США\n",
      "- [Data.gov](https://www.data.gov/) –  данные государственных учреждений США\n",
      "\n",
      "## Блоги, соцсети и другие издания, посвященные общим вопросам Data Science\n",
      "\n",
      "### Блоги, посвященные Data Science\n",
      "- [Список публикаций matyushkin/lessons](https://github.com/matyushkin/lessons)\n",
      "- [distill.pub](https://distill.pub/)\n",
      "- [inference.vc](https://www.inference.vc/)\n",
      "- [karpathy.github.io](https://karpathy.github.io/)\n",
      "- [deliprao.com](http://deliprao.com/)\n",
      "- [fastml.com](https://fastml.com/)\n",
      "- [timvieira.github.io](https://timvieira.github.io/)\n",
      "- [blogs.princeton.edu](https://blogs.princeton.edu/)\n",
      "- [offconvex.org](https://www.offconvex.org/)\n",
      "- [ruder.io](http://ruder.io/)\n",
      "- [argmin.net](https://www.argmin.net/)\n",
      "- [nlpers.blogspot.ru](https://nlpers.blogspot.com/)\n",
      "- [blog.shakirm.com](http://blog.shakirm.com/)\n",
      "- [blog.paralleldots.com](https://blog.paralleldots.com)\n",
      "- [alexanderdyakonov.wordpress.com](https://dyakonov.org/)\n",
      "\n",
      "### Ветки Reddit\n",
      "- [/analyzit](https://www.reddit.com/r/analyzit)\n",
      "- [/datascience](https://www.reddit.com/r/datascience)\n",
      "- [/datacleaning](https://www.reddit.com/r/datacleaning)\n",
      "- [/datagangsta](https://www.reddit.com/r/datagangsta)\n",
      "- [/dataisbeautiful](https://www.reddit.com/r/dataisbeautiful)\n",
      "- [/dataisugly](https://www.reddit.com/r/dataisugly)\n",
      "- [/datasets](https://www.reddit.com/r/datasets)\n",
      "- [/dataviz](https://www.reddit.com/r/dataviz)\n",
      "- [/JupyterNotebooks](https://www.reddit.com/r/JupyterNotebooks)\n",
      "- [/opendata](https://www.reddit.com/r/opendata)\n",
      "\n",
      "\n",
      "### Блокноты Jupyter\n",
      "- 🌟 [Jupyter Notebook: галерея блокнотов по ML и Data Science](https://proglib.io/p/jupyter-notebook-best) ([ист.](https://github.com/jupyter/jupyter/wiki/A-gallery-of-interesting-Jupyter-Notebooks))\n",
      "\n",
      "### Slack\n",
      "- [Open Data Science](http://ods.ai) – то, с чего вообще стоит начинать – самое крупное мировое сообщество \n",
      "- [Slack Томской группы по ML](https://tomskml.slack.com/) ([анкета для регистрации](https://docs.google.com/forms/d/e/1FAIpQLSdYpgm7T80JpyBPt6NMgRP_4jne7v_qaGFjy8wDrS4fNajMDA/viewform?c=0&w=1))\n",
      "\n",
      "### Telegram-каналы о Data Science\n",
      "- [Новостной канал Open Data Science](https://t.me/opendatascience)\n",
      "- [Чат по большим данным, обработке и машинному обучению](https://t.me/bigdata_ru)\n",
      "- [Чат по Data Science](https://t.me/datasciencechat)\n",
      "- - [Spark in me: Internet, statistics, data science, philosophy](https://t.me/snakers4), [чат канала](https://t.me/joinchat/AAAAAEH9JHYBvaPLvaWPGg)\n",
      "- [Канал с постами с Reddit на DS-тематику](https://t.me/datascientology)\n",
      "\n",
      "### VK-группы о Data Science\n",
      "- [Data Science](https://vk.com/datascience)\n",
      "- [Data Mining Labs](https://vk.com/datamininglabs)\n",
      "- [Группа вк про тренировки по машинному обучению](https://vk.com/mltrainings)\n",
      "- [Томская группа по машинному обучению](https://vk.com/tomskml)\n",
      "- [Мемы про машинное обучение для юных леди](https://vk.com/weirdreparametrizationtrick)\n",
      "- [Python, Data Science, нейросети, ИИ](https://vk.com/python_ds)\n",
      "\n",
      "### Facebook-страницы по Data Science\n",
      "- [ML-тренировки в Москве](https://www.facebook.com/groups/1413405125598651/)\n",
      "\n",
      "### ▶️ YouTube и другие видеоплатформы с информацией о Data Science\n",
      "- [30 YouTube-каналов и плейлистов о Data Science](https://proglib.io/p/30-youtube-kanalov-i-pleylistov-o-data-science-2020-06-17)\n",
      "- [7 лучших видео TED по тематике Data Science](https://proglib.io/p/7-luchshih-video-ted-po-tematike-data-science-2020-01-20) ([ист.](https://towardsdatascience.com/best-ted-talks-for-data-science-11b699544f))\n",
      "\n",
      "# Программное обеспечение, библиотеки и другие готовы решения для общих задач Data Science\n",
      "\n",
      "- [Docker-образы для Data Science](https://github.com/yang-zhang/docker-setup)\n",
      "\n",
      "## Блокноты Jupyter\n",
      "- [Practical pandas projects](https://github.com/schlende/practical-pandas-projects) – 5 идей для совершенствования навыков Data Science\n",
      "- [Ветка Reddit JupyterNotebooks](https://www.reddit.com/JupyterNotebooks)\n",
      "\n",
      "\n",
      "# Машинное обучение\n",
      "# Курсы по статистике\n",
      "- [Основы статистики на Stepik](https://stepik.org/course/76), [Часть 2](https://stepik.org/course/524), [Часть 3](https://stepik.org/course/2152)\n",
      "- [Анализ данных в R](https://stepik.org/course/129) (от той же команды, Stepik, ★4.9), [часть 2](https://stepik.org/course/724)\n",
      "\n",
      "# Курсы по машинному обучению\n",
      "- [Введение в Data Science и машинное обучение](https://stepik.org/course/4852) (Stepik, ★4.9)\n",
      "- [Курс лекций К.В.Воронцова](http://machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%9A.%D0%92.%D0%92%D0%BE%D1%80%D0%BE%D0%BD%D1%86%D0%BE%D0%B2%29)\n",
      "- [Материалы курсов Дьяконова \"Введение в машинное обучение\"](https://github.com/Dyakonov/IML)\n",
      "- [Машинное обучение](https://stepik.org/course/8057/) (Stepik, ★4.9)\n",
      "- [Записи семинаров Евгения Соколова по машинному обучению, ВМК МГУ](https://github.com/esokolov/ml-course-msu)\n",
      "- [Курс Евгения Соколова \"Машинное обучение\" на ФКН ВШЭ](https://github.com/esokolov/ml-course-hse) (блокноты Jupyter)\n",
      "- [Курс по науке о данных Open Source Society University (OSSU)](https://github.com/ossu/data-science) – в виде GitHub-репозитория\n",
      "- [Материалы курса \"Машинное обучение\" на ФАЛТ МФТИ](https://github.com/ml-dafe/ml_mipt_dafe_major)\n",
      "- [Материалы курса от ВШЭ и ШАД на coursera.org \"Введение в машинное обучение\"](https://github.com/tyz910/hse-shad-ml)\n",
      "- [Репозиторий курса \"Введение в машинное обучение\" в Техносфере](https://github.com/shestakoff/sphere-ml-intro)\n",
      "- [Введение в анализ данных и машинное обучение](https://github.com/agzamovr/ml-course-uz) (блокноты Jupyter)\n",
      "- [Курс по машинному обучению для магистров компьютерной лингвистики 1-го курса в Высшей Школе Экономики](https://github.com/mannefedov/hse_ml_m1)\n",
      "# Книги по статистике машинному обучению\n",
      "## Статистика\n",
      "- Брюс П., Брюс Э. Практическая статистика для специалистов Data Science \n",
      "\n",
      "\n",
      "## Машинное обучение\n",
      "- [A Course in Machine Learning](http://ciml.info/dl/v0_9/ciml-v0_9-all.pdf) – прекрасный вводный курс в машинное обучение Hal Daume III (PDF)\n",
      "- [Bayesian Reasoning and Machine Learning](http://web4.cs.ucl.ac.uk/staff/D.Barber/pmwiki/pmwiki.php?n=Brml.HomePage) – качественный, прекрасно оформленный и регулярно обновляемый курс David Barber\n",
      "- [A First Encounter with Machine Learning](https://www.ics.uci.edu/~welling/teaching/ICS273Afall11/IntroMLBook.pdf) – курс Max Welling, 2011 г. (PDF)\n",
      "- [Gaussian Processes for Machine Learning](http://www.gaussianprocess.org/gpml/)\n",
      "- [Introduction to Machine Learning](https://arxiv.org/abs/0904.3664v1) – конспект лекций по машинному обучению Амнона Шашуа (Amnon Shashua), охватывающий темы статистического вывода\n",
      "- [Machine Learning, Neural and Statistical Classification](http://www1.maths.leeds.ac.uk/~charles/statlog/) – книга 1994 г. Michie, Spiegelhalter, Taylor, основана на проекте StatLog ЕС (ESPRIT), в котором сравниваются и оцениваются методы классификации с оценкой их достоинств, недостатков и диапазонов применения\n",
      "- [The Elements of Statistical Learning](https://web.archive.org/web/20131027220938/http://www-stat.stanford.edu/~tibs/ElemStatLearn//)\n",
      "- Murphy. Machine learning a probabilistic perspective — очень объемная и содержательная книга из MIT (~1000 страниц), освещена большая часть мейнстримовых методов машинного обучения\n",
      "- Hastie, Tibshirani, Friedman. The elements of statistical learning — классический способ начать знакомиться с машинным обучением, если вас не пугает математика\n",
      "- Richert, Coelho. Building Machine Learning Systems with Python — доступное изложение задач машинного обучения (анализ изображений, текстов, звука) с описанием того, как это сделать в Python\n",
      "- Harrington. Machine Learning in Action — базовое знакомство с методами машинного обучения, без перегрузки математическими деталями\n",
      "- Marshland. Machine Learning: An Algorithmic Perspective — приводятся и объясняются реализации разных методов машинного обучения на Python\n",
      "\n",
      "# Источники по классической статистике и машинному обучению\n",
      "\n",
      "\n",
      "## Ветки Reddit\n",
      "- [/learnmachinelearning](https://www.reddit.com/r/learnmachinelearning)\n",
      "- [/MachineLearning](https://www.reddit.com/r/MachineLearning)\n",
      "- [/rstats](https://www.reddit.com/r/rstats)\n",
      "- [/probabilitytheory](https://www.reddit.com/r/probabilitytheory)\n",
      "- [/pystats](https://www.reddit.com/r/pystats)\n",
      "- [/statistics](https://www.reddit.com/r/statistics)\n",
      "\n",
      "## Чтобы понять – интересно вам это или нет\n",
      "- [Про машинное обучение простым языком](https://vas3k.ru/blog/machine_learning/)\n",
      "\n",
      "## Блокноты Jupyter\n",
      "- 🌟 [Jupyter Notebook: галерея блокнотов по ML и Data Science](https://proglib.io/p/jupyter-notebook-best) ([ист.](https://github.com/jupyter/jupyter/wiki/A-gallery-of-interesting-Jupyter-Notebooks))\n",
      "\n",
      "## Публикации по метрикам\n",
      "- [Метрики в задачах машинного обучения](https://habr.com/en/company/ods/blog/328372/)\n",
      "- [Анализ с помощью ROC-кривой](https://wiki.loginom.ru/articles/roc-analysis.html?_ga=2.70714516.50663422.1603560142-625801188.1603560142)\n",
      "\n",
      "## Публикации по несбалансированным данным\n",
      "Можно считать, что выборка несбалансирована, когда размеры классов отличаются более, чем в 10 раз. Больший класс называют доминирующим, меньший класс называется минорным. Качество можно повысить с помощью корректировки весов объектов, искусственной модификации датасета. Accuracy и AUC слабо изменяются при изменении модели, более чувствительна метрика F-Score.\n",
      "\n",
      "- [https://www.kaggle.com/mlg-ulb/creditcardfraud](https://www.kaggle.com/mlg-ulb/creditcardfraud)\n",
      "- [http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf](http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf)\n",
      "- [Презентация Богдана Мельника (ld86) про обучение на несбалансированных выборках](https://ld86.github.io/ml-slides/unbalanced.html#/22)\n",
      "- [](https://habr.com/ru/post/349078/)\n",
      "# Репозитории и программное обеспечение\n",
      "- [100 репозиториев по машинному обучению](http://meta-guide.com/software-meta-guide/100-best-github-machine-learning)\n",
      "- [Awesome Machine Learning](https://github.com/josephmisiti/awesome-machine-learning) — тщательно подобранный список фреймворков, библиотек и программного обеспечения для машинного обучения\n",
      "\n",
      "# Нейронные сети\n",
      "# Курсы по нейросетям и глубокому обучению\n",
      "\n",
      "- [Нейронные сети, Институт биоинформатики, Stepik](https://stepik.org/course/401), [студенческие материалы на GitHub](https://github.com/stacymiller/stepic_neural_networks_public)\n",
      "- [Нейронные сети и компьютерное зрение, Samsung Research Russia Open Education](https://stepik.org/course/50352), [студенческие файлы семинаров](https://github.com/smartsinovich/Stepik_NeuralNetworks_and_ComputerVision), [студенческий финальный проект](https://github.com/ValentinKovalev/Samsung-stepik-cv-course-final-task)\n",
      "- [Нейронные сети и обработка текста, Samsung Research Russia Open Education, Stepik ★4.6](https://stepik.org/course/54098), [материалы курса на GitHub](https://github.com/Samsung-IT-Academy/stepik-dl-nlp)\n",
      "- [Deep Learning (семестр 1, весна 2020): базовый поток, Stepik](https://stepik.org/course/65388/)\n",
      "- [Материалы летней школы по глубокому обучению](https://github.com/olferuk/MLSummerSchool) (в форме презентаций и блокнотов Jupyter)\n",
      "- [Курс \"Современные методы машинного обучения\" ВШЭ](https://github.com/hse-ds/iad-deep-learning) (блокноты Jupyter)\n",
      "# Книги по нейронным сетям и глубокому обучению\n",
      "- [A Brief Introduction to Neural Networks](http://www.dkriesel.com/en/science/neural_networks)\n",
      "- [Neural Networks and Deep Learning](http://neuralnetworksanddeeplearning.com/) – введение в нейронные сети и глубокое обучение с кодом на Python\n",
      "- [Reinforcement Learning: An Introduction](https://web.archive.org/web/20161120043347/http://webdocs.cs.ualberta.ca:80/~sutton/book/ebook/the-book.html)\n",
      "- Хайкин. Нейронные сети. Полный курс\n",
      "- Goodfellow, Bengio, Courville. Deep Learning \n",
      "# Блоги, каналы и паблики, посвященные вопросам нейронных сетей и глубокого обучения\n",
      "## Telegram\n",
      "- [Канал сообщества DeepLearning](https://t.me/deeplearning_ru)\n",
      "\n",
      "## VK\n",
      "- [Deep Learning](https://vk.com/deeplearning)\n",
      "- [DeepLearning (Глубокие нейронные сети)](https://vk.com/deeplearning_ru)\n",
      "\n",
      "## Отдельные статьи\n",
      "- 🤼 [Генеративно-состязательная нейросеть: ваша первая GAN-модель на PyTorch](https://proglib.io/p/generativno-sostyazatelnaya-neyroset-vasha-pervaya-gan-model-na-pytorch-2020-08-11) ([Jupyter](https://github.com/matyushkin/lessons/blob/master/neural_networks/GAN_intro.ipynb)) ([ист.](https://realpython.com/generative-adversarial-networks/))\n",
      "- \n",
      "# Компьютерное зрение\n",
      "# Курсы по компьютерному зрению\n",
      "- [Нейронные сети и компьютерное зрение](https://stepik.org/course/50352) (Stepik, ★4.9)\n",
      "- [Учебный план по основам компьютерного зрения](https://proglib.io/p/cv-plan)\n",
      "- [Факультатив \"Введение в компьютерное зрение\" (по материалам CS131)](https://github.com/ml-dafe/cv_mipt_minor) (блокноты Jupyter)\n",
      "# Книги по компьютерному зрению\n",
      "- [Programming Computer Vision with Python](http://programmingcomputervision.com/)\n",
      "# Открытые данные для компьютерного зрения\n",
      "\n",
      "- [VisualData](https://www.visualdata.io/). Датасеты для компьютерного зрения, разбитые по категориям. Доступен поиск.\n",
      "# Блоги, соцсети и другие издания, прицельно посвященные вопросам компьютерного зрения\n",
      "\n",
      "## Reddit\n",
      "- [/computervision](https://www.reddit.com/r/computervision)\n",
      "\n",
      "\n",
      "# Геоданные\n",
      "# Курсы по анализу геоданных\n",
      "\n",
      "- [Онлайн-курс «Визуализация геоданных»](https://github.com/minikarma/geotalk) (видео и блокноты Jupyter)\n",
      "# Книги по обработке геоданных\n",
      "\n",
      "## Переведенные на русский язык\n",
      "- Вестра Э. Разработка геоприложений на языке Python / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2017\n",
      "# Источники геоданных\n",
      "\n",
      "[OpenStreetMap](https://www.openstreetmap.org/) позволяет легально использовать картографическую информацию. Еженедельно делается XML-снимок базы данных в виде файла [planet.osm](http://planet.openstreetmap.org/) ([карта базы данных](https://wiki.openstreetmap.org/wiki/Database)). На момент публикации размер bz2-архива составлял 100 Гб. Данные также разрезаются по регионам и выкладываются в форматах PBF- и XML-файлов на [GeoFabrik](http://download.geofabrik.de/). Примеры работы с такими файлами описаны в публикации [OpenStreetMap как источник геоданных](https://habr.com/ru/post/270513/).\n",
      "\n",
      "## Другие источники данных\n",
      "- [Открытый геопространственный консорциум](https://www.ogc.org/) – организация, которая занимается стандартизацией протоколов совместного использования и хранения геоданных: GML, KML, GeoRSS и др.\n",
      "- [Набор данных государственных границ](http://thematicmapping.org/downloads/world_borders.php)\n",
      "- Набор данных [Blue Marble Next Generation] – синтезированные NASA безоблачные снимки земной поверхности \n",
      "\n",
      "## Проекции\n",
      "- [Сводная таблица по картографическим проекциям](http://www.radicalcartography.net/?projectionref)\n",
      "# Публикации по геоданным\n",
      "\n",
      "## Визуализация\n",
      "- [Визуализация результатов выборов в Москве на карте в Jupyter Notebook](https://habr.com/ru/company/ods/blog/338554/)\n",
      "\n",
      "## Проекции\n",
      "- [https://xkcd.com/977/](https://xkcd.com/977/)\n",
      "- [Ликбез по картографическим проекциям с картинками](https://habr.com/ru/post/235283/)\n",
      "- [YouTube-ролик о типах проекций разъясняющий типы проекций](http://www.youtube.com/watch?v=2lR7s1Y6Zig#t=305)\n",
      "# Библиотеки для обработки и визуализации геоданных\n",
      "\n",
      "- GDAL – библиотека с открытым исходным кодом (X/MIT) для растровых и векторных форматов геоданных: [сайт](http://www.gdal.org/), [GitHub](https://github.com/OSGeo/gdal)\n",
      "- GEOS\n",
      "- Proj\n",
      "- Mapnik\n",
      "\n",
      "## Python\n",
      "- [Geoviews](https://github.com/holoviz/geoviews)\n",
      "- [Folium](https://python-visualization.github.io/folium/)\n",
      "- [KeplerGL](https://kepler.gl/)\n",
      "- [Plotly/Plotly Express](https://plotly.com/python/mapbox-layers/)\n",
      "- [IpyLeaflet](https://ipyleaflet.readthedocs.io/en/latest/)\n",
      "- [Geopandas](https://geopandas.org/)\n",
      "- Shapely\n",
      "- pyproj\n",
      "- GeoDjango\n",
      "\n",
      "## R\n",
      "- геопроекции: [PROJ.4](http://trac.osgeo.org/proj/)\n",
      "\n",
      "## JavaScript\n",
      "- [Leaflet.js](http://leafletjs.com/)\n",
      "- OpenLayers\n",
      "\n",
      "# Коммерческие программы\n",
      "- GlobalMapper – «славится поддержкой внушительного списка систем координат» (рекомендовал [Moskus](https://habr.com/ru/users/Moskus/) в [посте на Хабре](https://habr.com/ru/post/235283/))\n",
      "\n",
      "# Обработка естественного языка\n",
      "# Курсы по обработке естественного языка\n",
      "- [Автоматическая обработка естественного языка для студентов 3-4 курсов Школы лингвистики НИУ ВШЭ (1-2 модули 2020)](https://github.com/named-entity/hse-nlp) - [NYU NLP course](http://www.cs.nyu.edu/courses/spring12/CSCI-GA.2590-001/)  \n",
      "- [Нейронные сети и обработка текста](https://stepik.org/course/54098)  (Stepik, ★4.6), [материалы курса на GitHub](https://github.com/Samsung-IT-Academy/stepik-dl-nlp)\n",
      "[Stanford NLP course](https://www.youtube.com/playlist?list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z)\n",
      "- [Материалы курса по глубокому обучению в обработке естественных языков для магистров компьютерной лингвистики ВШЭ](https://github.com/BobaZooba/HSE-Deep-Learning-in-NLP-Course)\n",
      "# Книги по обработке естественного языка\n",
      "- [Jurafsky D., Martin J. Speech and Language Processing](https://web.stanford.edu/~jurafsky/slp3/)\n",
      "- Goldberg Y. Neural Network Methods for Natural Language Processing\n",
      "- Natural Language Processing in Action: Understanding, analyzing, and generating text with Python\n",
      "- [Probabilistic Models in the Study of Language](http://idiom.ucsd.edu/~rlevy/pmsl_textbook/text.html)\n",
      "- C. Manning, H. Schutze (1999) [Statistical Natural Language Processing](https://nlp.stanford.edu/fsnlp/)  \n",
      "\n",
      "# Переводные\n",
      "- Хобсон Лейн, Коул Ховард, Ханнес Хапке «Обработка естественного языка в действии»\n",
      "\n",
      "\n",
      "# Периодика \n",
      "- [ACL Anthology](http://www.aclweb.org/anthology/) - материалы основных конференций по NLP (полезно следить за ACL, EACL, NAACL, RANLP, EMNLP)\n",
      "- [Computational Linguistics](https://www.mitpressjournals.org/loi/coli)  \n",
      "- [Natural Language Engineering](https://www.cambridge.org/core/journals/natural-language-engineering)\n",
      "- Материалы [конференции “Диалог”](http://www.dialog-21.ru/digests)  \n",
      "\n",
      "# Лингвистические и филологические данные\n",
      "- [Национальный корпус русского языка](https://ruscorpora.ru/), [другие корпусы](https://ruscorpora.ru/new/corpora-other.html)\n",
      "\n",
      "## Параллельные корпуса \n",
      "- [Europarl](https://www.statmt.org/europarl/)  \n",
      "- [UN Corpus](https://conferences.unite.un.org/UNCorpus/)  \n",
      "- [Opus](http://opus.nlpl.eu/) \n",
      "\n",
      "## Международные базы данных, корпусы и датасеты\n",
      "- [Brown corpus](http://icame.uib.no/brown/bcm.html) \n",
      "- [Корпуса для английского](https://aclweb.org/aclwiki/Corpora_for_English) \n",
      "- [HotspotQA Dataset](https://hotpotqa.github.io/) – датасет вопросов-ответов\n",
      "- [Amazon Reviews](https://snap.stanford.edu/data/web-Amazon.html) – около 35 млн отзывов на Amazon за 18 лет: информация о продукте и пользователе, оценки и сам текст отзыва\n",
      "- [Google Books Ngrams](https://aws.amazon.com/ru/datasets/google-books-ngrams/) – коллекция слов из Google Книги\n",
      "- [Blogger Corpus](http://u.cs.biu.ac.il/~koppel/BlogCorpus.htm) – коллекция из 600 тыс. постов с Blogger\n",
      "- [Wikipedia Links data](https://code.google.com/archive/p/wiki-links/downloads) – каждая из страниц содержит хотя бы одну ссылку на Википедию и текст якоря совпадает или похож на заголовок целевой страницы\n",
      "- [Gutenberg eBooks List](https://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs) – аннотированный список электронных книг проекта «Гутенберг»\n",
      "- [Hansards text chunks of Canadian Parliament](https://www.isi.edu/natural-language/download/hansard/) – датасет 1.3 млн пар текстовых файлов, записанных на дебатах 36-го Канадского Парламента\n",
      "- [Jeopardy](https://www.reddit.com/r/datasets/comments/1uyd0t/200000_jeopardy_questions_in_a_json_file/) – архив 200 тыс. вопросов телевикторины Jeopardy\n",
      "- [Rotten Tomatoes Reviews](https://drive.google.com/file/d/1w1TsJB-gmIkZ28d1j7sf1sqcPmHXw352/view) – архив 480 тыс. рецензий на фильмы\n",
      "- [SMS Spam Collection in English](http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/) – 5574 спам-смс на английском\n",
      "- [Yelp Reviews](https://www.yelp.com/dataset) – датасет от Yelp из 5 млн отзывов\n",
      "- [UCI’s Spambase](https://archive.ics.uci.edu/ml/datasets/Spambase) – датасет спам-писем\n",
      "# Блоги, соцсети и другие издания, прицельно посвященные вопросам обработки естественного языка\n",
      "\n",
      "## Reddit\n",
      "- [/LanguageTechnology](https://www.reddit.com/r/LanguageTechnology)\n",
      "- [/textdatamining](https://www.reddit.com/r/textdatamining)\n",
      "\n",
      "## Отдельные статьи\n",
      "- 💬 [Голосовой DeepFake, или Как работает технология клонирования голоса](https://proglib.io/p/golosovoy-deepfake-ili-kak-rabotaet-tehnologiya-klonirovaniya-golosa-2019-12-11\n",
      "\n",
      "### Курсы, лекции, комьюнити \n",
      "- [https://nlpwithfriends.com/](https://nlpwithfriends.com/) – PhD рассказывают о своих проектах / статьях\n",
      " - [NLP Highlights](https://soundcloud.com/nlp-highlights) – подкаст про новые статьи\n",
      "\n",
      "# Анализ финансовых данных\n",
      "# Базы данных и источники информации по финансам и имуществу\n",
      "- [Seldon](https://basis.myseldon.com/ru/) – сервис для анализа сведений о компаниях и предпринимателях из официальных источников\n",
      "- [Банк России](https://www.cbr.ru/) – информация ЦБ по бюро кредитных историй, внесенных в государственный реестр. Для аналитиков данных интересны разделы [базы данных](https://www.cbr.ru/hd_base/), [аналитика](https://www.cbr.ru/analytics/) (финансовых потоков), [исследования](https://www.cbr.ru/ec_research/), [статистика](hthttp://188.254.71.82/rds_ts_pub/tps://www.cbr.ru/statistics/)\n",
      "- [Предоставление данных бухгалтерской отчетности по запросам пользователей](https://rosstat.gov.ru/accounting_report) – страница Федеральной службы государственной статистики. Достаточно указать год и ИНН. Отчет можно выгрузить в xlsx\n",
      "- [Базы данных TKS](https://www.tks.ru/db/): таможня и логистика, банки, СВХ, МДП, брокеры, перевозчики и др.\n",
      "- [Организации России](http://www.catalogfactory.org/) – финансовые результаты, справочные данные и отзывы\n",
      "- [Реестр организаций](http://www.reestrtpprf.ru/), включенных в системы Торгово-промышленных палат РФ\n",
      "- [Информационная система в сфере закупок](https://zakupki.gov.ru/epz/main/public/home.html)\n",
      "- [BiCoTender](https://www.bicotender.ru/), [Magelan](https://magelan.pro/) – поисковики по государственными и коммерческим тендерам России и СНГ \n",
      "- [Федресурс](https://fedresurs.ru/) – федеральный реестр сведений о фактах деятельности юридических лиц\n",
      "- [Декларатор](https://declarator.org/)\n",
      "\n",
      "# Базы данных и источники правовой информации\n",
      "- [Право](https://pravo.ru/) – судебная база, есть [досье судей](https://pravo.ru/judges_search/) и [информация о судах](https://pravo.ru/courts_search/)\n",
      "- [Федеральные арбитражные суды РФ](http://arbitr.ru/) – [картотека арбитражных дел](http://kad.arbitr.ru/), [решения арбитражных судов](http://ras.arbitr.ru/)\n",
      "- [Государственная система правовой информации](http://pravo.gov.ru/)\n",
      "- [Реестр деклараций РФ](http://188.254.71.82/rds_ts_pub/)\n",
      "- [Судебные и нормативные акты РФ](https://sudact.ru/)\n",
      "- [Портал правовой статистики](http://www.crimestat.ru/opendata)\n",
      "\n",
      "# Big Data\n",
      "# Курсы по Big Data\n",
      "- [Hadoop. Система для обработки больших объемов данных](https://stepik.org/course/150/) (Stepik, ★4.8)\n",
      "- [Материалы курса \"Масштабируемое машинное обучение и анализ больших данных с Apache Spark\"](https://github.com/a4tunado/lectures-hse-spark)\n",
      "## Блоги, соцсети и другие издания, посвященные общим вопросам Data Science\n",
      "\n",
      "### Блоги, посвященные Data Science\n",
      "- [Список публикаций matyushkin/lessons](https://github.com/matyushkin/lessons)\n",
      "- [distill.pub](https://distill.pub/)\n",
      "- [inference.vc](https://www.inference.vc/)\n",
      "- [karpathy.github.io](https://karpathy.github.io/)\n",
      "- [deliprao.com](http://deliprao.com/)\n",
      "- [fastml.com](https://fastml.com/)\n",
      "- [timvieira.github.io](https://timvieira.github.io/)\n",
      "- [blogs.princeton.edu](https://blogs.princeton.edu/)\n",
      "- [offconvex.org](https://www.offconvex.org/)\n",
      "- [ruder.io](http://ruder.io/)\n",
      "- [argmin.net](https://www.argmin.net/)\n",
      "- [nlpers.blogspot.ru](https://nlpers.blogspot.com/)\n",
      "- [blog.shakirm.com](http://blog.shakirm.com/)\n",
      "- [blog.paralleldots.com](https://blog.paralleldots.com)\n",
      "- [alexanderdyakonov.wordpress.com](https://dyakonov.org/)\n",
      "\n",
      "### Ветки Reddit\n",
      "- [/analyzit](https://www.reddit.com/r/analyzit)\n",
      "- [/datascience](https://www.reddit.com/r/datascience)\n",
      "- [/datacleaning](https://www.reddit.com/r/datacleaning)\n",
      "- [/datagangsta](https://www.reddit.com/r/datagangsta)\n",
      "- [/dataisbeautiful](https://www.reddit.com/r/dataisbeautiful)\n",
      "- [/dataisugly](https://www.reddit.com/r/dataisugly)\n",
      "- [/datasets](https://www.reddit.com/r/datasets)\n",
      "- [/dataviz](https://www.reddit.com/r/dataviz)\n",
      "- [/JupyterNotebooks](https://www.reddit.com/r/JupyterNotebooks)\n",
      "- [/opendata](https://www.reddit.com/r/opendata)\n",
      "\n",
      "\n",
      "### Блокноты Jupyter\n",
      "- 🌟 [Jupyter Notebook: галерея блокнотов по ML и Data Science](https://proglib.io/p/jupyter-notebook-best) ([ист.](https://github.com/jupyter/jupyter/wiki/A-gallery-of-interesting-Jupyter-Notebooks))\n",
      "\n",
      "### Slack\n",
      "- [Open Data Science](http://ods.ai) – то, с чего вообще стоит начинать – самое крупное мировое сообщество \n",
      "- [Slack Томской группы по ML](https://tomskml.slack.com/) ([анкета для регистрации](https://docs.google.com/forms/d/e/1FAIpQLSdYpgm7T80JpyBPt6NMgRP_4jne7v_qaGFjy8wDrS4fNajMDA/viewform?c=0&w=1))\n",
      "\n",
      "### Telegram-каналы о Data Science\n",
      "- [Новостной канал Open Data Science](https://t.me/opendatascience)\n",
      "- [Чат по большим данным, обработке и машинному обучению](https://t.me/bigdata_ru)\n",
      "- [Чат по Data Science](https://t.me/datasciencechat)\n",
      "- - [Spark in me: Internet, statistics, data science, philosophy](https://t.me/snakers4), [чат канала](https://t.me/joinchat/AAAAAEH9JHYBvaPLvaWPGg)\n",
      "- [Канал с постами с Reddit на DS-тематику](https://t.me/datascientology)\n",
      "\n",
      "### VK-группы о Data Science\n",
      "- [Data Science](https://vk.com/datascience)\n",
      "- [Data Mining Labs](https://vk.com/datamininglabs)\n",
      "- [Группа вк про тренировки по машинному обучению](https://vk.com/mltrainings)\n",
      "- [Томская группа по машинному обучению](https://vk.com/tomskml)\n",
      "- [Мемы про машинное обучение для юных леди](https://vk.com/weirdreparametrizationtrick)\n",
      "- [Python, Data Science, нейросети, ИИ](https://vk.com/python_ds)\n",
      "\n",
      "### Facebook-страницы по Data Science\n",
      "- [ML-тренировки в Москве](https://www.facebook.com/groups/1413405125598651/)\n",
      "\n",
      "### ▶️ YouTube и другие видеоплатформы с информацией о Data Science\n",
      "- [30 YouTube-каналов и плейлистов о Data Science](https://proglib.io/p/30-youtube-kanalov-i-pleylistov-o-data-science-2020-06-17)\n",
      "- [7 лучших видео TED по тематике Data Science](https://proglib.io/p/7-luchshih-video-ted-po-tematike-data-science-2020-01-20) ([ист.](https://towardsdatascience.com/best-ted-talks-for-data-science-11b699544f))\n",
      "\n"
     ]
    }
   ],
   "source": [
    "import re\n",
    "\n",
    "with open('README.md', mode='r') as file:\n",
    "    lines = file.readlines()\n",
    "    \n",
    "# cоставляем дерево ссылок\n",
    "tree = dict()\n",
    "for line in lines:\n",
    "    path_list = re.findall(r'(?<=\\()[\\w/]*\\.md(?=\\))', line)\n",
    "    if path_list:\n",
    "        section = re.findall(r'^[\\w\\s]*(?= \\|)', line)[0]\n",
    "        tree[section] = path_list\n",
    "\n",
    "# выводим содержимое\n",
    "for key in tree:\n",
    "    print(f'# {key}')\n",
    "    for path in tree[key]:\n",
    "        with open(path) as f:\n",
    "            print(f.read())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}