XMLparser.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "relationTranslate = {\n",
    "    0: 'авто/мото',\n",
    "    1: 'активный отдых',\n",
    "    2: 'бизнес',\n",
    "    3: 'домашние животные',\n",
    "    4: 'здоровье',\n",
    "    5: 'знакомство и общение',\n",
    "    6: 'игры',\n",
    "    7: 'ИТ (компьютеры и софт)',\n",
    "    8: 'кино',\n",
    "    9: 'красота и мода',\n",
    "    10: 'кулинария',\n",
    "    11: 'культура и искусство',\n",
    "    12: 'литература',\n",
    "    13: 'мобильная связь и интернет',\n",
    "    14: 'музыка',\n",
    "    15: 'наука и техника',\n",
    "    16: 'недвижимость',\n",
    "    17: 'новости и СМИ',\n",
    "    18: 'безопасность',\n",
    "    19: 'образование',\n",
    "    20: 'обустройство и ремонт',\n",
    "    21: 'политика',\n",
    "    22: 'продукты питания',\n",
    "    23: 'промышленность',\n",
    "    24: 'путешествия',\n",
    "    25: 'работа',\n",
    "    26: 'развлечения',\n",
    "    27: 'религия',\n",
    "    28: 'дом и семья',\n",
    "    29: 'спорт',\n",
    "    30: 'страхование',\n",
    "    31: 'телевидение',\n",
    "    32: 'товары и услуги',\n",
    "    33: 'увлечения и хобби',\n",
    "    34: 'финансы',\n",
    "    35: 'фото',\n",
    "    36: 'эзотерика',\n",
    "    37: 'электроника и бытовая техника',\n",
    "    38: 'эротика',\n",
    "    39: 'юмор',\n",
    "    40: 'общество, гуманитарные науки',\n",
    "    41: 'дизайн и графика'\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "dictOfRelation = {\n",
    "    'Общество': '17 40',\n",
    "    'В мире': '17',\n",
    "    'Культура': '11',\n",
    "    'Медиа': '17',\n",
    "    'Технологии': '15',\n",
    "    'Политика': '21',\n",
    "    'Наука и технологии': '15',\n",
    "    'Здоровье': '4',\n",
    "    'Экономика': '34',\n",
    "    'Технологии/Сеть': '7',\n",
    "    'Книги': '12',\n",
    "    'Медиа/Медиабизнес': '2 34',\n",
    "    'Космонавтика': '15',\n",
    "    'Происшествия': '17 18',\n",
    "    'Спорт': '29',\n",
    "    'В мире/Экс-СССР': '21',\n",
    "    'Общество/Государство': '21 40',\n",
    "    'Культура/Кино': '8 26',\n",
    "    'В мире/Европа': '21',\n",
    "    'Новости': '17',\n",
    "    'Экономика/Финансы': '34',\n",
    "    'Культура/Литература': '12',\n",
    "    'Технологии/Компьютеры': '7',\n",
    "    'Технологии/Мобильные технологии': '7 13',\n",
    "    'В мире/Мировые проблемы': '18',\n",
    "    'Технологии/Наука': '15',\n",
    "    'Общество/ЧП': '18',\n",
    "    'Культура/Масскульт': '11 26',\n",
    "    'Общество/Спорт': '29',\n",
    "    'Культура/Музыка': '14',\n",
    "    'Общество/Религия': '27 40',\n",
    "    'Компьютерные технологии': '7',\n",
    "    'Культура/Драматический театр': '11',\n",
    "    'Культура/Изобразительное искусство': '11 15',\n",
    "    'Медиа/ТВ и радио': '17 32',\n",
    "    'Общество/Образование': '19 40',\n",
    "    'Общество/Инфраструктура': '0',\n",
    "    'Здоровье/Медицина': '4',\n",
    "    'Медиа/Facebook': '7 13',\n",
    "    'Медиа/Новые медиа': '17 7',\n",
    "    'В мире/США и Канада': '21',\n",
    "    'Шахматы': '29',\n",
    "    'Здоровье/ЗОЖ': '1 29',\n",
    "    'Здоровье/Экология': '17 18',\n",
    "    'Политика США': '21',\n",
    "    'В мире/Латинская Америка': '21',\n",
    "    'Медиа/Информационное право': '21 7',\n",
    "    'Футбол': '29',\n",
    "    'Материалы NASA': '15',\n",
    "    'Экономика/Экономика': '2',\n",
    "    'Культура/Музыкальный театр': '11',\n",
    "    'Общество/Образ жизни': '28',\n",
    "    'Преступность и право': '30 21 18',\n",
    "    'Экономика/Торговля': '2 34',\n",
    "    'МКС': '15',\n",
    "    'Здоровье/Психология': '28 4 40',\n",
    "    'В мире/Ближний Восток': '21',\n",
    "    'Физика': '15',\n",
    "    'Технологии/Космонавтика': '15',\n",
    "    'Здоровье': '4',\n",
    "    'Экзотика/Казусы': '39',\n",
    "    'Медицина': '4',\n",
    "    'Технологии/Энергетика и экология': '15',\n",
    "    'Медиа/Медиа': '17 31',\n",
    "    'Медиа/Стартапы': '2',\n",
    "    'Экономика/Энергия': '2 15',\n",
    "    'Общество/Работа': '25',\n",
    "    'Экология': '15',\n",
    "    'Биология': '15',\n",
    "    'Музыка': '14',\n",
    "    'Книги/Нон-фикшн': '12',\n",
    "    'Экономика/Казна': '2 34',\n",
    "    'Медиа/Печать': '17',\n",
    "    'Космонавтика США': '15 22',\n",
    "    'Забавное': '39',\n",
    "    'Криминал': '18',\n",
    "    'Космонавтика России': '15 22',\n",
    "    'Формула 1': '0 29',\n",
    "    'Экономика/Индустрия': '2',\n",
    "    'Книги/Книги': '12',\n",
    "    'Книги/Худлит': '12 11',\n",
    "    'Катастрофы': '17 18',\n",
    "    'В мире': '17',\n",
    "    'NASA': '15',\n",
    "    'ООН': '21',\n",
    "    'Православие': '27',\n",
    "    'Астрономия': '15',\n",
    "    'Здоровье/Хобби': '33 4',\n",
    "    'Свободное программное обеспечение': '7',\n",
    "    'Наука и технологии/Физика': '15',\n",
    "    'Нобелевская премия': '15',\n",
    "    'Google': '7',\n",
    "    'Технологии/Технологии': '15',\n",
    "    'Microsoft': '7',\n",
    "    'Безработица': '25',\n",
    "    'Животные': '3 28 34',\n",
    "    'Защита животных': '3',\n",
    "    'Животные/Вторичноротые/Хордовые/Позвоночные/Птицы/Новонёбные/Гусеобразные/Утиные/Гаги': '3',\n",
    "    'Фоторепортажи': '35',\n",
    "    'Экономика/Недвижимость': '16',    \n",
    "}\n",
    "#4063 текста"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "def log_progress(sequence, every=10):\n",
    "    from ipywidgets import IntProgress\n",
    "    from IPython.display import display\n",
    "\n",
    "    progress = IntProgress(min=0, max=len(sequence), value=0)\n",
    "    display(progress)\n",
    "    \n",
    "    for index, record in enumerate(sequence):\n",
    "        if index % every == 0:\n",
    "            progress.value = index\n",
    "        yield record"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "da451ba3efd047d69705688cc2cd0753",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "IntProgress(value=0, max=4062)"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 4min 55s, sys: 4.47 s, total: 5min\n",
      "Wall time: 5min 1s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "import xml.dom.minidom\n",
    "import re\n",
    "import numpy as np\n",
    "\n",
    "#-----------------------------------------------------------\n",
    "FinalRelation = np.zeros(42)\n",
    "NOfTexts = 0\n",
    "for i in log_progress(range (1, 4063), every=10):\n",
    "    try:\n",
    "        dom = xml.dom.minidom.parse('xmls/' + str(i) + '.xml');\n",
    "    except Exception:\n",
    "        continue\n",
    "    dom.normalize()\n",
    "    relation = np.zeros(42)\n",
    "    for tag in dom.getElementsByTagName('tag'):\n",
    "        for tagOftype in tag.childNodes[0].nodeValue.split(':'):\n",
    "            try:\n",
    "                for NOfTegInFinalTable in dictOfRelation[tagOftype].split(' '):\n",
    "                    relation[int(NOfTegInFinalTable)] = 1\n",
    "                NOfTexts = NOfTexts + 1\n",
    "            except Exception:\n",
    "                continue\n",
    "    FinalRelation = FinalRelation + relation\n",
    "    \n",
    "    #-----------------------------------------------------------\n",
    "    node1=dom.getElementsByTagName('source')\n",
    "    string = ''\n",
    "    n = 0\n",
    "    while 1:\n",
    "        try:\n",
    "            string = string + node1[n].childNodes[0].nodeValue\n",
    "            n = n+1\n",
    "        except Exception:\n",
    "            break\n",
    "\n",
    "    text = string.replace('~', ' ').replace('\\n', ' ')\n",
    "    #-----------------------------------------------------------\n",
    "\n",
    "    f = open ('data.txt', 'a')\n",
    "    stringForFile = ''\n",
    "    for k in range (42):\n",
    "        stringForFile = stringForFile + str(relation[k])\n",
    "        if k != 41:\n",
    "            stringForFile = stringForFile + '~'\n",
    "    f.write('~'+text+'~'+stringForFile+'~\\n')\n",
    "    f.close()\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "всего текстов подошло: 2763\n",
      "авто/мото: 25\n",
      "активный отдых: 16\n",
      "бизнес: 95\n",
      "домашние животные: 4\n",
      "здоровье: 93\n",
      "знакомство и общение: 0\n",
      "игры: 0\n",
      "ИТ (компьютеры и софт): 167\n",
      "кино: 30\n",
      "красота и мода: 0\n",
      "кулинария: 0\n",
      "культура и искусство: 211\n",
      "литература: 68\n",
      "мобильная связь и интернет: 40\n",
      "музыка: 48\n",
      "наука и техника: 300\n",
      "недвижимость: 2\n",
      "новости и СМИ: 714\n",
      "безопасность: 114\n",
      "образование: 18\n",
      "обустройство и ремонт: 0\n",
      "политика: 279\n",
      "продукты питания: 9\n",
      "промышленность: 0\n",
      "путешествия: 0\n",
      "работа: 11\n",
      "развлечения: 51\n",
      "религия: 26\n",
      "дом и семья: 26\n",
      "спорт: 89\n",
      "страхование: 13\n",
      "телевидение: 9\n",
      "товары и услуги: 18\n",
      "увлечения и хобби: 4\n",
      "финансы: 233\n",
      "фото: 2\n",
      "эзотерика: 0\n",
      "электроника и бытовая техника: 0\n",
      "эротика: 0\n",
      "юмор: 17\n",
      "общество, гуманитарные науки: 314\n",
      "дизайн и графика: 0\n"
     ]
    }
   ],
   "source": [
    "print ('всего текстов подошло: ' + str(NOfTexts))\n",
    "for i in range (42):\n",
    "    print(relationTranslate[i] + ': ' + str(int(FinalRelation[i])))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}