Main.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Loading modules"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import re\n",
    "from nltk.corpus import stopwords\n",
    "from pymystem3 import Mystem\n",
    "from string import punctuation\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.feature_extraction.text import CountVectorizer,  TfidfVectorizer\n",
    "from sklearn.svm import LinearSVC\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "from sklearn.model_selection import GridSearchCV\n",
    "from sklearn.pipeline import Pipeline\n",
    "from sklearn.model_selection import cross_val_score\n",
    "from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Reading data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "neg = pd.read_csv('../data/negative.csv', index_col=0)\n",
    "neu = pd.read_csv('../data/neutral.csv', index_col=0)\n",
    "pos = pd.read_csv('../data/positive.csv', index_col=0)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Preprocess"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "mystem = Mystem() \n",
    "swords = stopwords.words(\"russian\") + [\"еще\", \"ещё\", \"меж\", \"зато\", \"пусть\", \"ага\", \"этот\", \"это\", \"почему\", \n",
    "                        \"весь\", \"ты\", \"он\", \"она\", \"они\", \"оно\", \"мы\", \"вы\", \"кто\", \"что\", \n",
    "                        \"сам\", \"сама\", \"само\", \"свой\", \"наш\", \"ваш\", \"их\", \"тот\", \"та\", \"те\", \n",
    "                        \"то\", \"раз\", \"твой\", \"мой\", \"кой\", \"кое\", \"все\", \"весь\", \"всё\", \"быть\", \"тот\", \n",
    "                        \"таки\", \"такой\", \"какой\", \"каждый\", \"который\", \"и\", \"а\", \"в\", \"б\", \"д\", \n",
    "                        \"е\", \"ж\", \"з\", \"к\", \"л\", \"м\", \"н\", \"о\", \"п\", \"р\", \"с\", \"у\", \"ф\", \"ч\", \n",
    "                        \"ц\", \"ш\", \"щ\", \"ь\", \"ъ\",\"э\", \"ю\", \"я\"]\n",
    "swords = [word for word in swords if word not in ['хорошо', 'лучше', 'может', 'никогда', 'нельзя', 'всегда']]\n",
    "punctuation = ['\\\"', '\\#', '\\$', '\\%', '\\&', \"\\'\", '\\(', '\\)', '\\*', '\\+', '\\,', '\\-', '\\.', '\\/', '\\:', '\\;', \n",
    "               '\\<', '\\=', '\\>', '\\@', '\\[', '\\\\\\\\', '\\]', '\\^', '\\_', '\\`', '\\{', '\\|', '\\}', '\\~']\n",
    "\n",
    "def preprocess_text(text):\n",
    "    text = re.sub(\"\\d+\", \"\", text.lower())\n",
    "    text = re.sub(\"\\s+\", \" \", text)\n",
    "    for char in punctuation:\n",
    "        text = re.sub(char, \"\", text)\n",
    "    tokens = mystem.lemmatize(text)\n",
    "    tokens = [token for token in tokens if token not in swords and token != \" \"]\n",
    "    text = \" \".join(tokens)\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "p_texts = neg['preprocessed_text'] \n",
    "print(p_texts.shape)\n",
    "p_texts = p_texts.append(neu['preprocessed_text'], ignore_index=True)\n",
    "print(p_texts.shape)\n",
    "p_texts = p_texts.append(pos['preprocessed_text'], ignore_index=True)\n",
    "print(p_texts.shape)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Merging in a dataframe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(19974,)\n",
      "(124235,)\n",
      "(167879,)\n"
     ]
    }
   ],
   "source": [
    "texts = neg['text'] \n",
    "print(texts.shape)\n",
    "texts = texts.append(neu['text'], ignore_index=True)\n",
    "print(texts.shape)\n",
    "texts = texts.append(pos['text'], ignore_index=True)\n",
    "print(texts.shape)\n",
    "\n",
    "labels = [-1]*neg['text'].shape[0] + [0]*neu['text'].shape[0] + [1]*pos['text'].shape[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "X = pd.DataFrame(texts)\n",
    "X['preprocessed_text'] = p_texts\n",
    "X['lables'] = labels"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Choosing vectorizer and model"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Scorer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "def getScores(estimator, x, y):\n",
    "    yPred = estimator.predict(x)\n",
    "    return (accuracy_score(y, yPred), \n",
    "            precision_score(y, yPred, average='macro'), \n",
    "            recall_score(y, yPred, average='macro'),\n",
    "            f1_score(y, yPred, average='macro'))\n",
    "\n",
    "def my_scorer(estimator, x, y):\n",
    "    a, p, r, f1 = getScores(estimator, x, y)\n",
    "    print('Accuracy: %.3f  Precision: %.3f  Recall: %.3f  F1: %.3f' % (a, p, r, f1))\n",
    "    return a+p+r+f1"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Unpreprocessed"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "unprocessed results: \n",
      "\n",
      "CountVectorizer  and  LinearSVC :\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/svm/base.py:931: ConvergenceWarning: Liblinear failed to converge, increase the number of iterations.\n",
      "  \"the number of iterations.\", ConvergenceWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.750  Precision: 0.705  Recall: 0.706  F1: 0.705\n",
      "Accuracy: 0.749  Precision: 0.706  Recall: 0.703  F1: 0.704\n",
      "Accuracy: 0.741  Precision: 0.697  Recall: 0.691  F1: 0.694\n",
      "\n",
      " Mean Sum:  2.85037813000717 \n",
      "-----------\n",
      "\n",
      "CountVectorizer  and  LogisticRegression :\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:433: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:460: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/svm/base.py:931: ConvergenceWarning: Liblinear failed to converge, increase the number of iterations.\n",
      "  \"the number of iterations.\", ConvergenceWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.785  Precision: 0.769  Recall: 0.701  F1: 0.729\n",
      "Accuracy: 0.758  Precision: 0.754  Recall: 0.648  F1: 0.684\n",
      "Accuracy: 0.747  Precision: 0.745  Recall: 0.619  F1: 0.660\n",
      "\n",
      " Mean Sum:  2.8663524053025937 \n",
      "-----------\n",
      "\n",
      "TfidfVectorizer  and  LinearSVC :\n",
      "\n",
      "Accuracy: 0.799  Precision: 0.778  Recall: 0.736  F1: 0.754\n",
      "Accuracy: 0.797  Precision: 0.773  Recall: 0.733  F1: 0.751\n",
      "Accuracy: 0.788  Precision: 0.768  Recall: 0.721  F1: 0.742\n",
      "\n",
      " Mean Sum:  3.0466409919748596 \n",
      "-----------\n",
      "\n",
      "TfidfVectorizer  and  LogisticRegression :\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:433: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:460: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.796  Precision: 0.803  Recall: 0.693  F1: 0.733\n",
      "Accuracy: 0.787  Precision: 0.783  Recall: 0.684  F1: 0.720\n",
      "Accuracy: 0.776  Precision: 0.779  Recall: 0.667  F1: 0.707\n",
      "\n",
      " Mean Sum:  2.9755213625159542 \n",
      "-----------\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print('unprocessed results:', '\\n')\n",
    "vectorizers = [CountVectorizer(), TfidfVectorizer()]\n",
    "vnames = ['CountVectorizer', 'TfidfVectorizer'] \n",
    "models = [LinearSVC(), LogisticRegression()]\n",
    "mnames = ['LinearSVC', 'LogisticRegression']\n",
    "\n",
    "for vi, vectorizer in enumerate(vectorizers):\n",
    "    for mi, model in enumerate(models):\n",
    "        pline = Pipeline([(\"vectorizer\", vectorizer),(\"classifier\", model)])\n",
    "        print(vnames[vi], ' and ', mnames[mi], ':\\n')\n",
    "        res = cross_val_score(pline, texts, labels, scoring=my_scorer, cv=3).mean()\n",
    "        print('\\n Mean Sum: ', res, '\\n-----------\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "unprocessed results: \n",
      "\n",
      "TfidfVectorizer ngram 1-2  and  LinearSVC c=2.3 :\n",
      "\n",
      "Accuracy: 0.805  Precision: 0.787  Recall: 0.738  F1: 0.759\n",
      "Accuracy: 0.803  Precision: 0.784  Recall: 0.735  F1: 0.756\n",
      "Accuracy: 0.796  Precision: 0.780  Recall: 0.724  F1: 0.747\n",
      "\n",
      " Mean Sum:  3.071447187019318 \n",
      "-----------\n",
      "\n",
      "TfidfVectorizer ngram 1-2  and  LogisticRegression c=2.3 :\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:433: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:460: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.806  Precision: 0.801  Recall: 0.723  F1: 0.754\n",
      "Accuracy: 0.801  Precision: 0.791  Recall: 0.715  F1: 0.746\n",
      "Accuracy: 0.793  Precision: 0.788  Recall: 0.703  F1: 0.737\n",
      "\n",
      " Mean Sum:  3.052607039764009 \n",
      "-----------\n",
      "\n",
      "TfidfVectorizer ngram 1-3  and  LinearSVC c=2.3 :\n",
      "\n",
      "Accuracy: 0.802  Precision: 0.782  Recall: 0.737  F1: 0.757\n",
      "Accuracy: 0.801  Precision: 0.780  Recall: 0.735  F1: 0.754\n",
      "Accuracy: 0.794  Precision: 0.775  Recall: 0.722  F1: 0.745\n",
      "\n",
      " Mean Sum:  3.061695134271835 \n",
      "-----------\n",
      "\n",
      "TfidfVectorizer ngram 1-3  and  LogisticRegression c=2.3 :\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:433: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:460: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.805  Precision: 0.799  Recall: 0.722  F1: 0.752\n",
      "Accuracy: 0.800  Precision: 0.789  Recall: 0.715  F1: 0.745\n",
      "Accuracy: 0.793  Precision: 0.787  Recall: 0.702  F1: 0.735\n",
      "\n",
      " Mean Sum:  3.0475140661681315 \n",
      "-----------\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print('unprocessed results:', '\\n')\n",
    "vectorizers = [TfidfVectorizer(analyzer='word', ngram_range=(1,2)), \n",
    "               TfidfVectorizer(analyzer='word', ngram_range=(1,3))]\n",
    "vnames = ['TfidfVectorizer ngram 1-2', 'TfidfVectorizer ngram 1-3'] \n",
    "models = [LinearSVC(C=0.5), LogisticRegression(C=2.3)]\n",
    "mnames = ['LinearSVC c=0.5', 'LogisticRegression c=2.3']\n",
    "\n",
    "for vi, vectorizer in enumerate(vectorizers):\n",
    "    for mi, model in enumerate(models):\n",
    "        pline = Pipeline([(\"vectorizer\", vectorizer),(\"classifier\", model)])\n",
    "        print(vnames[vi], ' and ', mnames[mi], ':\\n')\n",
    "        res = cross_val_score(pline, texts, labels, scoring=my_scorer, cv=3).mean()\n",
    "        print('\\n Mean Sum: ', res, '\\n-----------\\n')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Preprocessed"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "p_vecs = TfidfVectorizer(analyzer='word', ngram_range=(1,2)).fit_transform(p_texts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Best cross-validation score: 0.79\n",
      "Best parameters:  {'C': 0.5}\n",
      "Best estimator:  LinearSVC(C=0.5, class_weight=None, dual=True, fit_intercept=True,\n",
      "     intercept_scaling=1, loss='squared_hinge', max_iter=1000,\n",
      "     multi_class='ovr', penalty='l2', random_state=None, tol=0.0001,\n",
      "     verbose=0)\n"
     ]
    }
   ],
   "source": [
    "param_grid = {'C': [0.5, 1.0, 1.5, 2.3]}\n",
    "grid = GridSearchCV(LinearSVC(), param_grid, cv=3)\n",
    "grid.fit(p_vecs, labels)\n",
    "print(\"Best cross-validation score: {:.2f}\".format(grid.best_score_))\n",
    "print(\"Best parameters: \", grid.best_params_)\n",
    "print(\"Best estimator: \", grid.best_estimator_)  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:433: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:460: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Best cross-validation score: 0.79\n",
      "Best parameters:  {'C': 2.3}\n",
      "Best estimator:  LogisticRegression(C=2.3, class_weight=None, dual=False, fit_intercept=True,\n",
      "          intercept_scaling=1, max_iter=100, multi_class='warn',\n",
      "          n_jobs=None, penalty='l2', random_state=None, solver='warn',\n",
      "          tol=0.0001, verbose=0, warm_start=False)\n"
     ]
    }
   ],
   "source": [
    "grid = GridSearchCV(LogisticRegression(), param_grid, cv=3)\n",
    "grid.fit(p_vecs, labels)\n",
    "print(\"Best cross-validation score: {:.2f}\".format(grid.best_score_))\n",
    "print(\"Best parameters: \", grid.best_params_)\n",
    "print(\"Best estimator: \", grid.best_estimator_) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Best cross-validation score: 0.80\n",
      "Best parameters:  {'C': 0.3}\n",
      "Best estimator:  LinearSVC(C=0.3, class_weight=None, dual=True, fit_intercept=True,\n",
      "     intercept_scaling=1, loss='squared_hinge', max_iter=1000,\n",
      "     multi_class='ovr', penalty='l2', random_state=None, tol=0.0001,\n",
      "     verbose=0)\n"
     ]
    }
   ],
   "source": [
    "param_grid = {'C': [0.1, 0.3, 0.5, 0.7, 1., 2.]}\n",
    "grid = GridSearchCV(LinearSVC(), param_grid, cv=3)\n",
    "grid.fit(p_vecs, labels)\n",
    "print(\"Best cross-validation score: {:.2f}\".format(grid.best_score_))\n",
    "print(\"Best parameters: \", grid.best_params_)\n",
    "print(\"Best estimator: \", grid.best_estimator_)  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:433: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:460: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Best cross-validation score: 0.80\n",
      "Best parameters:  {'C': 2.5}\n",
      "Best estimator:  LogisticRegression(C=2.5, class_weight=None, dual=False, fit_intercept=True,\n",
      "          intercept_scaling=1, max_iter=100, multi_class='warn',\n",
      "          n_jobs=None, penalty='l2', random_state=None, solver='warn',\n",
      "          tol=0.0001, verbose=0, warm_start=False)\n"
     ]
    }
   ],
   "source": [
    "param_grid = {'C': [2., 2.3, 2.5]}\n",
    "grid = GridSearchCV(LogisticRegression(), param_grid, cv=3)\n",
    "grid.fit(p_vecs, labels)\n",
    "print(\"Best cross-validation score: {:.2f}\".format(grid.best_score_))\n",
    "print(\"Best parameters: \", grid.best_params_)\n",
    "print(\"Best estimator: \", grid.best_estimator_) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "processed results: \n",
      "\n",
      "TfidfVectorizer ngram 1-2  and  LinearSVC c=0.3 :\n",
      "\n",
      "Accuracy: 0.807  Precision: 0.795  Recall: 0.732  F1: 0.758\n",
      "Accuracy: 0.803  Precision: 0.789  Recall: 0.727  F1: 0.753\n",
      "Accuracy: 0.797  Precision: 0.786  Recall: 0.717  F1: 0.746\n",
      "\n",
      " Mean Sum:  3.070137837304214 \n",
      "-----------\n",
      "\n",
      "TfidfVectorizer ngram 1-2  and  LogisticRegression c=2.5 :\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:433: FutureWarning: Default solver will be changed to 'lbfgs' in 0.22. Specify a solver to silence this warning.\n",
      "  FutureWarning)\n",
      "/Users/Bai/anaconda2/envs/python3/lib/python3.7/site-packages/sklearn/linear_model/logistic.py:460: FutureWarning: Default multi_class will be changed to 'auto' in 0.22. Specify the multi_class option to silence this warning.\n",
      "  \"this warning.\", FutureWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.806  Precision: 0.797  Recall: 0.726  F1: 0.755\n",
      "Accuracy: 0.801  Precision: 0.789  Recall: 0.720  F1: 0.748\n",
      "Accuracy: 0.794  Precision: 0.786  Recall: 0.709  F1: 0.740\n",
      "\n",
      " Mean Sum:  3.0574733140651844 \n",
      "-----------\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print('processed results:', '\\n')\n",
    "vectorizers = [TfidfVectorizer(analyzer='word', ngram_range=(1,2))]\n",
    "vnames = ['TfidfVectorizer ngram 1-2'] \n",
    "models = [LinearSVC(C=0.3), LogisticRegression(C=2.5)]\n",
    "mnames = ['LinearSVC c=0.3', 'LogisticRegression c=2.5']\n",
    "\n",
    "for vi, vectorizer in enumerate(vectorizers):\n",
    "    for mi, model in enumerate(models):\n",
    "        pline = Pipeline([(\"vectorizer\", vectorizer),(\"classifier\", model)])\n",
    "        print(vnames[vi], ' and ', mnames[mi], ':\\n')\n",
    "        res = cross_val_score(pline, p_texts, labels, scoring=my_scorer, cv=3).mean()\n",
    "        print('\\n Mean Sum: ', res, '\\n-----------\\n')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Train Test Split"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "indices = np.arange(X.shape[0])\n",
    "X_x, X_val, id_x, id_val = train_test_split(X, indices, test_size=0.1)\n",
    "X_train, X_test, id_train, id_test = train_test_split(X_x, id_x, test_size=0.29)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {},
   "outputs": [],
   "source": [
    "X['class'] = 'train'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [],
   "source": [
    "X.iloc[id_val, [3]] = 'val'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [],
   "source": [
    "X.iloc[id_test, [3]] = 'test'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>preprocessed_text</th>\n",
       "      <th>labels</th>\n",
       "      <th>class</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Секретная пресс-конференция ЕНПФ: отставки Аки...</td>\n",
       "      <td>секретный прессконференция енпф отставка акише...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Почему суд продлил арест бывших руководителей ...</td>\n",
       "      <td>суд продлять арест бывший руководитель енпф не...</td>\n",
       "      <td>-1</td>\n",
       "      <td>val</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>«Сумма премий работникам \"дочки\" МИР РК в 2014...</td>\n",
       "      <td>« сумма премия работник дочка мир рк    год пр...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Руководители крупных супермаркетов Алматы заяв...</td>\n",
       "      <td>руководитель крупный супермаркет алматы заявля...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Экс-главе ЕНПФ Руслану Ерденаеву продлили арес...</td>\n",
       "      <td>эксглава енпф руслан ерденаев продлять арест э...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>Арест бывшего главы ЕНПФ Руслана Ерденаева про...</td>\n",
       "      <td>арест бывший глава енпф руслан ерденаев продля...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>Экс-главе ЕНПФ Руслану Ерденаеву продлили арес...</td>\n",
       "      <td>эксглава енпф руслан ерденаев продлять арест с...</td>\n",
       "      <td>-1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>Суд продлил арест экс-главе ЕНПФ Руслану Ерден...</td>\n",
       "      <td>суд продлять арест эксглава енпф руслан ердена...</td>\n",
       "      <td>-1</td>\n",
       "      <td>val</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>Суд продлил арест экс-главе ЕНПФ Руслану Ерден...</td>\n",
       "      <td>суд продлять арест эксглава енпф руслан ердена...</td>\n",
       "      <td>-1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>Суд продлил арест экс-главе ЕНПФ Руслану Ерден...</td>\n",
       "      <td>суд продлять арест эксглава енпф руслан ердена...</td>\n",
       "      <td>-1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>Экс-главе Единого накопительного пенсионного ф...</td>\n",
       "      <td>эксглава единый накопительный пенсионный фонд ...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>Экс-главе ЕНПФ Ерденаеву продлили арест Бывший...</td>\n",
       "      <td>эксглава енпф ерденаев продлять арест бывший п...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>«Экс-глава ЕНПФ останется под арестом до конца...</td>\n",
       "      <td>« эксглава енпф оставаться арест конец март » ...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>Бывшему главе ЕНПФ Ерденаеву продлили арест Ар...</td>\n",
       "      <td>глава енпф ерденаев продлять арест арест бывши...</td>\n",
       "      <td>-1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>Бывшему главе ЕНПФ Руслану Ерденаеву продлили ...</td>\n",
       "      <td>глава енпф руслан ерденаев продлять арест арес...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>Индекс KASE в понедельник повысился на 0,2% до...</td>\n",
       "      <td>индекс kase понедельник повышаться       итог ...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>Индекс KASE в понедельник повысился на 0,2% до...</td>\n",
       "      <td>индекс kase понедельник повышаться       итог ...</td>\n",
       "      <td>-1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>10.02.2017 года сотрудники \"КазТрансГаз Аймак\"...</td>\n",
       "      <td>год сотрудник казтрансгаз аймак приходить домп...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>Два аэропорта Карагандинской области - убыточн...</td>\n",
       "      <td>аэропорт карагандинский область    убыточный к...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>Долг ТЭЦ-3 перед газовиками вырос до 2млрд.тен...</td>\n",
       "      <td>долг тэц газовик вырастать млрдтенге тэц задол...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>Предпринимателей призвали жаловаться Предприни...</td>\n",
       "      <td>предприниматель призывать жаловаться предприни...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>В 2017 году продажи новых авто в Казахстане сн...</td>\n",
       "      <td>год продажа новый авто казахстан снижаться тре...</td>\n",
       "      <td>-1</td>\n",
       "      <td>val</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>Продажи новых авто в Казахстане снизились на т...</td>\n",
       "      <td>продажа новый авто казахстан снижаться треть ч...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>В 2017 году продажи авто в Казахстане снизилис...</td>\n",
       "      <td>год продажа авто казахстан снижаться треть аст...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>Некоторые российские автозаводы приостановили ...</td>\n",
       "      <td>некоторый российский автозавод приостанавливат...</td>\n",
       "      <td>-1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>Эксперт объяснил, почему многие казахстанцы не...</td>\n",
       "      <td>эксперт объяснять многий казахстанец смочь пок...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>Люди, километры и деньги 77-е место из 160 зан...</td>\n",
       "      <td>человек километр деньги место занимать казахст...</td>\n",
       "      <td>-1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>Продажи новых автомобилей в РК в январе сократ...</td>\n",
       "      <td>продажа новый автомобиль рк январь сокращаться...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>Итоги торгов KASE в среду: индекс повысился до...</td>\n",
       "      <td>итог торги kase среда индекс повышаться    ито...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>В Караганде жителям многоэтажных домов отказыв...</td>\n",
       "      <td>караганда житель многоэтажный дом отказываться...</td>\n",
       "      <td>-1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167849</th>\n",
       "      <td>МИР ВСТУПАЕТ В ЭПОХУ ГЛУБОКИХ И СТРЕМИТЕЛЬНЫХ ...</td>\n",
       "      <td>мир вступать эпоха глубокий стремительный изме...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167850</th>\n",
       "      <td>10 января родился первый североказахстанец, ко...</td>\n",
       "      <td>январь рождаться первый североказахстанец заре...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167851</th>\n",
       "      <td>Энергетики рассказали, когда в Павлодаре и Эки...</td>\n",
       "      <td>энергетик рассказывать павлодар экибастуз подк...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167852</th>\n",
       "      <td>Первая мама в ВКО получила свидетельство о рож...</td>\n",
       "      <td>первый мама вко получать свидетельство рождени...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167853</th>\n",
       "      <td>Нефтяники Кашагана перевыполнили в 2017 году п...</td>\n",
       "      <td>нефтяник кашаган перевыполнять год план добыча...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167854</th>\n",
       "      <td>Потенциал роста Потенциал роста акций КМГ сост...</td>\n",
       "      <td>потенциал рост потенциал рост акция кмг состав...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167855</th>\n",
       "      <td>Атырауский НПЗ перешел на выпуск дизельного то...</td>\n",
       "      <td>атырауский нпз переходить выпуск дизельный топ...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167856</th>\n",
       "      <td>Атырауский НПЗ перешел на выпуск дизельного то...</td>\n",
       "      <td>атырауский нпз переходить выпуск дизельный топ...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167857</th>\n",
       "      <td>Атырауский НПЗ начал производство дизтоплива к...</td>\n",
       "      <td>атырауский нпз начинать производство дизтоплив...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167858</th>\n",
       "      <td>Атырауский НПЗ перешел на выпуск дизельного то...</td>\n",
       "      <td>атырауский нпз переходить выпуск дизельный топ...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167859</th>\n",
       "      <td>Интернет-магазин http://shinline.kz при поддер...</td>\n",
       "      <td>интернетмагазин httpshinlinekz поддержка бренд...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167860</th>\n",
       "      <td>Парламентарии п Парламентарии посетили порт Ку...</td>\n",
       "      <td>парламентарий парламентарий посещать порт куры...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167861</th>\n",
       "      <td>Технологические вызовы для телекоммуникационно...</td>\n",
       "      <td>технологический вызов телекоммуникационный отр...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167862</th>\n",
       "      <td>КЛИЕНТЫ ЖИЛСТРОЙСБЕРБАНКА МОГУТ ОТКРЫТЬ СЧЕТ В...</td>\n",
       "      <td>клиент жилстройсбербанк мочь открывать счет от...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167863</th>\n",
       "      <td>Перевозки товаров для Кыргызстана стали дешевл...</td>\n",
       "      <td>перевозка товар кыргызстан становиться дешево ...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167864</th>\n",
       "      <td>На защиту МЦПС \"Хоргос\" от селей выделено еще ...</td>\n",
       "      <td>защита мцпс хоргос сель выделять около миллиар...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167865</th>\n",
       "      <td>КАЗАХСТАН И КИТ КАЗАХСТАН И КИТАЙ ДОГОВОРИЛИСЬ...</td>\n",
       "      <td>казахстан кит казахстан китай договариваться у...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167866</th>\n",
       "      <td>Казахстан и Киргизия полностью перешли на топл...</td>\n",
       "      <td>казахстан киргизия полностью переходить топлив...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167867</th>\n",
       "      <td>Назначен заместитель председателя правления хо...</td>\n",
       "      <td>назначать заместитель председатель правление х...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167868</th>\n",
       "      <td>Галымжан Таджияков назначен замом главы Холдин...</td>\n",
       "      <td>галымжан таджияк назначать зам глава холдинг  ...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167869</th>\n",
       "      <td>Галымжан Таджияков получил повышение в холдинг...</td>\n",
       "      <td>галымжан таджияк получать повышение холдинг  «...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167870</th>\n",
       "      <td>Галымжан Таджияков получил должность Решением ...</td>\n",
       "      <td>галымжан таджияк получать должность решение со...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167871</th>\n",
       "      <td>Строительство бассейна в Абае профинансирует Е...</td>\n",
       "      <td>строительство бассейн абай профинансировать ев...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167872</th>\n",
       "      <td>Экспорт казахстанского газа в Китай будет увел...</td>\n",
       "      <td>экспорт казахстанский газ китай увеличивать мл...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167873</th>\n",
       "      <td>АО «Казпочта» откроет первый в Караганде цифро...</td>\n",
       "      <td>ао  « казпочта »  открывать первый караганда ц...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167874</th>\n",
       "      <td>Обладателями собственного автомобиля стали жит...</td>\n",
       "      <td>обладатель собственный автомобиль становиться ...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167875</th>\n",
       "      <td>#жизнь_todaykz \\n \\nСовет директоров компании ...</td>\n",
       "      <td>жизньtodaykz совет директор компания байтерек ...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167876</th>\n",
       "      <td>Галымжан #Таджи Галымжан #Таджияков назначен з...</td>\n",
       "      <td>галымжан тадж галымжан таджияк назначать замес...</td>\n",
       "      <td>1</td>\n",
       "      <td>train</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167877</th>\n",
       "      <td>Решением совета директоров АО «Национальный уп...</td>\n",
       "      <td>решение совет директор ао  « национальный упра...</td>\n",
       "      <td>1</td>\n",
       "      <td>val</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>167878</th>\n",
       "      <td>В Астанинском эксплуатационном локомотивного д...</td>\n",
       "      <td>астанинский эксплуатационный локомотивный депо...</td>\n",
       "      <td>1</td>\n",
       "      <td>test</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>167879 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                     text  \\\n",
       "0       Секретная пресс-конференция ЕНПФ: отставки Аки...   \n",
       "1       Почему суд продлил арест бывших руководителей ...   \n",
       "2       «Сумма премий работникам \"дочки\" МИР РК в 2014...   \n",
       "3       Руководители крупных супермаркетов Алматы заяв...   \n",
       "4       Экс-главе ЕНПФ Руслану Ерденаеву продлили арес...   \n",
       "5       Арест бывшего главы ЕНПФ Руслана Ерденаева про...   \n",
       "6       Экс-главе ЕНПФ Руслану Ерденаеву продлили арес...   \n",
       "7       Суд продлил арест экс-главе ЕНПФ Руслану Ерден...   \n",
       "8       Суд продлил арест экс-главе ЕНПФ Руслану Ерден...   \n",
       "9       Суд продлил арест экс-главе ЕНПФ Руслану Ерден...   \n",
       "10      Экс-главе Единого накопительного пенсионного ф...   \n",
       "11      Экс-главе ЕНПФ Ерденаеву продлили арест Бывший...   \n",
       "12      «Экс-глава ЕНПФ останется под арестом до конца...   \n",
       "13      Бывшему главе ЕНПФ Ерденаеву продлили арест Ар...   \n",
       "14      Бывшему главе ЕНПФ Руслану Ерденаеву продлили ...   \n",
       "15      Индекс KASE в понедельник повысился на 0,2% до...   \n",
       "16      Индекс KASE в понедельник повысился на 0,2% до...   \n",
       "17      10.02.2017 года сотрудники \"КазТрансГаз Аймак\"...   \n",
       "18      Два аэропорта Карагандинской области - убыточн...   \n",
       "19      Долг ТЭЦ-3 перед газовиками вырос до 2млрд.тен...   \n",
       "20      Предпринимателей призвали жаловаться Предприни...   \n",
       "21      В 2017 году продажи новых авто в Казахстане сн...   \n",
       "22      Продажи новых авто в Казахстане снизились на т...   \n",
       "23      В 2017 году продажи авто в Казахстане снизилис...   \n",
       "24      Некоторые российские автозаводы приостановили ...   \n",
       "25      Эксперт объяснил, почему многие казахстанцы не...   \n",
       "26      Люди, километры и деньги 77-е место из 160 зан...   \n",
       "27      Продажи новых автомобилей в РК в январе сократ...   \n",
       "28      Итоги торгов KASE в среду: индекс повысился до...   \n",
       "29      В Караганде жителям многоэтажных домов отказыв...   \n",
       "...                                                   ...   \n",
       "167849  МИР ВСТУПАЕТ В ЭПОХУ ГЛУБОКИХ И СТРЕМИТЕЛЬНЫХ ...   \n",
       "167850  10 января родился первый североказахстанец, ко...   \n",
       "167851  Энергетики рассказали, когда в Павлодаре и Эки...   \n",
       "167852  Первая мама в ВКО получила свидетельство о рож...   \n",
       "167853  Нефтяники Кашагана перевыполнили в 2017 году п...   \n",
       "167854  Потенциал роста Потенциал роста акций КМГ сост...   \n",
       "167855  Атырауский НПЗ перешел на выпуск дизельного то...   \n",
       "167856  Атырауский НПЗ перешел на выпуск дизельного то...   \n",
       "167857  Атырауский НПЗ начал производство дизтоплива к...   \n",
       "167858  Атырауский НПЗ перешел на выпуск дизельного то...   \n",
       "167859  Интернет-магазин http://shinline.kz при поддер...   \n",
       "167860  Парламентарии п Парламентарии посетили порт Ку...   \n",
       "167861  Технологические вызовы для телекоммуникационно...   \n",
       "167862  КЛИЕНТЫ ЖИЛСТРОЙСБЕРБАНКА МОГУТ ОТКРЫТЬ СЧЕТ В...   \n",
       "167863  Перевозки товаров для Кыргызстана стали дешевл...   \n",
       "167864  На защиту МЦПС \"Хоргос\" от селей выделено еще ...   \n",
       "167865  КАЗАХСТАН И КИТ КАЗАХСТАН И КИТАЙ ДОГОВОРИЛИСЬ...   \n",
       "167866  Казахстан и Киргизия полностью перешли на топл...   \n",
       "167867  Назначен заместитель председателя правления хо...   \n",
       "167868  Галымжан Таджияков назначен замом главы Холдин...   \n",
       "167869  Галымжан Таджияков получил повышение в холдинг...   \n",
       "167870  Галымжан Таджияков получил должность Решением ...   \n",
       "167871  Строительство бассейна в Абае профинансирует Е...   \n",
       "167872  Экспорт казахстанского газа в Китай будет увел...   \n",
       "167873  АО «Казпочта» откроет первый в Караганде цифро...   \n",
       "167874  Обладателями собственного автомобиля стали жит...   \n",
       "167875  #жизнь_todaykz \\n \\nСовет директоров компании ...   \n",
       "167876  Галымжан #Таджи Галымжан #Таджияков назначен з...   \n",
       "167877  Решением совета директоров АО «Национальный уп...   \n",
       "167878  В Астанинском эксплуатационном локомотивного д...   \n",
       "\n",
       "                                        preprocessed_text  labels  class  \n",
       "0       секретный прессконференция енпф отставка акише...      -1  train  \n",
       "1       суд продлять арест бывший руководитель енпф не...      -1    val  \n",
       "2       « сумма премия работник дочка мир рк    год пр...      -1  train  \n",
       "3       руководитель крупный супермаркет алматы заявля...      -1  train  \n",
       "4       эксглава енпф руслан ерденаев продлять арест э...      -1  train  \n",
       "5       арест бывший глава енпф руслан ерденаев продля...      -1  train  \n",
       "6       эксглава енпф руслан ерденаев продлять арест с...      -1   test  \n",
       "7       суд продлять арест эксглава енпф руслан ердена...      -1    val  \n",
       "8       суд продлять арест эксглава енпф руслан ердена...      -1   test  \n",
       "9       суд продлять арест эксглава енпф руслан ердена...      -1   test  \n",
       "10      эксглава единый накопительный пенсионный фонд ...      -1  train  \n",
       "11      эксглава енпф ерденаев продлять арест бывший п...      -1  train  \n",
       "12      « эксглава енпф оставаться арест конец март » ...      -1  train  \n",
       "13      глава енпф ерденаев продлять арест арест бывши...      -1   test  \n",
       "14      глава енпф руслан ерденаев продлять арест арес...      -1  train  \n",
       "15      индекс kase понедельник повышаться       итог ...      -1  train  \n",
       "16      индекс kase понедельник повышаться       итог ...      -1   test  \n",
       "17      год сотрудник казтрансгаз аймак приходить домп...      -1  train  \n",
       "18      аэропорт карагандинский область    убыточный к...      -1  train  \n",
       "19      долг тэц газовик вырастать млрдтенге тэц задол...      -1  train  \n",
       "20      предприниматель призывать жаловаться предприни...      -1  train  \n",
       "21      год продажа новый авто казахстан снижаться тре...      -1    val  \n",
       "22      продажа новый авто казахстан снижаться треть ч...      -1  train  \n",
       "23      год продажа авто казахстан снижаться треть аст...      -1  train  \n",
       "24      некоторый российский автозавод приостанавливат...      -1   test  \n",
       "25      эксперт объяснять многий казахстанец смочь пок...      -1  train  \n",
       "26      человек километр деньги место занимать казахст...      -1   test  \n",
       "27      продажа новый автомобиль рк январь сокращаться...      -1  train  \n",
       "28      итог торги kase среда индекс повышаться    ито...      -1  train  \n",
       "29      караганда житель многоэтажный дом отказываться...      -1  train  \n",
       "...                                                   ...     ...    ...  \n",
       "167849  мир вступать эпоха глубокий стремительный изме...       1   test  \n",
       "167850  январь рождаться первый североказахстанец заре...       1  train  \n",
       "167851  энергетик рассказывать павлодар экибастуз подк...       1  train  \n",
       "167852  первый мама вко получать свидетельство рождени...       1   test  \n",
       "167853  нефтяник кашаган перевыполнять год план добыча...       1  train  \n",
       "167854  потенциал рост потенциал рост акция кмг состав...       1  train  \n",
       "167855  атырауский нпз переходить выпуск дизельный топ...       1  train  \n",
       "167856  атырауский нпз переходить выпуск дизельный топ...       1  train  \n",
       "167857  атырауский нпз начинать производство дизтоплив...       1  train  \n",
       "167858  атырауский нпз переходить выпуск дизельный топ...       1   test  \n",
       "167859  интернетмагазин httpshinlinekz поддержка бренд...       1   test  \n",
       "167860  парламентарий парламентарий посещать порт куры...       1  train  \n",
       "167861  технологический вызов телекоммуникационный отр...       1  train  \n",
       "167862  клиент жилстройсбербанк мочь открывать счет от...       1  train  \n",
       "167863  перевозка товар кыргызстан становиться дешево ...       1  train  \n",
       "167864  защита мцпс хоргос сель выделять около миллиар...       1  train  \n",
       "167865  казахстан кит казахстан китай договариваться у...       1  train  \n",
       "167866  казахстан киргизия полностью переходить топлив...       1  train  \n",
       "167867  назначать заместитель председатель правление х...       1   test  \n",
       "167868  галымжан таджияк назначать зам глава холдинг  ...       1   test  \n",
       "167869  галымжан таджияк получать повышение холдинг  «...       1   test  \n",
       "167870  галымжан таджияк получать должность решение со...       1   test  \n",
       "167871  строительство бассейн абай профинансировать ев...       1  train  \n",
       "167872  экспорт казахстанский газ китай увеличивать мл...       1  train  \n",
       "167873  ао  « казпочта »  открывать первый караганда ц...       1   test  \n",
       "167874  обладатель собственный автомобиль становиться ...       1  train  \n",
       "167875  жизньtodaykz совет директор компания байтерек ...       1  train  \n",
       "167876  галымжан тадж галымжан таджияк назначать замес...       1  train  \n",
       "167877  решение совет директор ао  « национальный упра...       1    val  \n",
       "167878  астанинский эксплуатационный локомотивный депо...       1   test  \n",
       "\n",
       "[167879 rows x 4 columns]"
      ]
     },
     "execution_count": 98,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X.rename(columns={('lables'):('labels')}, inplace=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Checking"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "Vectorizer = TfidfVectorizer(analyzer='word', ngram_range=(1,2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "train_vecs = Vectorizer.fit_transform(X.preprocessed_text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_vecs =  Vectorizer.transform(X[X['class']=='test'].preprocessed_text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {},
   "outputs": [],
   "source": [
    "val_vecs =  Vectorizer.transform(X[X['class']=='val'].preprocessed_text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 100,
   "metadata": {},
   "outputs": [],
   "source": [
    "test_pred = model.predict(test_vecs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.807  Precision: 0.797  Recall: 0.731  F1: 0.759\n"
     ]
    }
   ],
   "source": [
    "test_y = X[X['class']=='test'].labels\n",
    "print('Accuracy: %.3f  Precision: %.3f  Recall: %.3f  F1: %.3f' % \n",
    "      (accuracy_score(test_y, test_pred), \n",
    "       precision_score(test_y, test_pred, average='macro'),\n",
    "       recall_score(test_y, test_pred, average='macro'),\n",
    "       f1_score(test_y, test_pred, average='macro')))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "metadata": {},
   "outputs": [],
   "source": [
    "val_pred = model.predict(val_vecs)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 103,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Accuracy: 0.805  Precision: 0.798  Recall: 0.725  F1: 0.755\n"
     ]
    }
   ],
   "source": [
    "val_y = X[X['class']=='val'].labels\n",
    "print('Accuracy: %.3f  Precision: %.3f  Recall: %.3f  F1: %.3f' % \n",
    "      (accuracy_score(val_y, val_pred), \n",
    "       precision_score(val_y, val_pred, average='macro'),\n",
    "       recall_score(val_y, val_pred, average='macro'),\n",
    "       f1_score(val_y, val_pred, average='macro')))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = LinearSVC(C=0.3).fit(train_vecs, X.lables)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Save"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['sentiment_model.pkl']"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.externals import joblib\n",
    "\n",
    "joblib.dump(model, 'sentiment_model.pkl') "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pickle"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('vectorizer_TfIdf.pkl', 'wb') as fin:\n",
    "    pickle.dump(Vectorizer, fin)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "X.to_csv('data_full.csv')"
   ]
  }
 ],
 "metadata": {
  "hide_input": false,
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "256px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}