finetune_training_scripts.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "executionInfo": {
     "elapsed": 575,
     "status": "ok",
     "timestamp": 1688826347400,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "YUemQib7ZE4D"
   },
   "outputs": [],
   "source": [
    "import torch\n",
    "import sys\n",
    "import numpy as np\n",
    "import os\n",
    "import yaml\n",
    "import matplotlib.pyplot as plt\n",
    "import torchvision\n",
    "import pandas as pd\n",
    "from datetime import datetime\n",
    "from tqdm import tqdm\n",
    "from sklearn.metrics import cohen_kappa_score\n",
    "from torch.utils.tensorboard import SummaryWriter\n",
    "from sklearn.metrics import accuracy_score, cohen_kappa_score, classification_report, precision_score, recall_score, f1_score, roc_auc_score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "executionInfo": {
     "elapsed": 5,
     "status": "ok",
     "timestamp": 1688826717118,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "3_nypQVEv-hn"
   },
   "outputs": [],
   "source": [
    "from torch.utils.data import DataLoader\n",
    "import torchvision.transforms as transforms\n",
    "from torchvision import datasets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 14,
     "status": "ok",
     "timestamp": 1688826717615,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "lDfbL3w_Z0Od",
    "outputId": "8ea6609d-34e6-4caf-dad8-0d378ff6ec6c"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Using device: cuda\n"
     ]
    }
   ],
   "source": [
    "device = 'cuda' if torch.cuda.is_available() else 'cpu'\n",
    "print(\"Using device:\", device)\n",
    "a = \"/home/hdamari/SSL/MURA-v1.1./MURA-v1.1//\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 11,
     "status": "ok",
     "timestamp": 1688653602708,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "V367DK8Y94f9",
    "outputId": "4011049a-20f6-4cef-f0ee-75f9751d10c7"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "backup_finetune-Copy1.ipynb  finetuned\n",
      "checkpoint_0018.pth.tar      finetune.ipynb\n",
      "colab_test_hand_only.pkl     LICENSE.txt\n",
      "colab_test.pkl\t\t     models\n",
      "colab_train_hand_only.pkl    pretraining_training_scripts.ipynb\n",
      "colab_train.pkl\t\t     __pycache__\n",
      "data_aug\t\t     README.md\n",
      "df_test.pkl\t\t     requirements.txt\n",
      "df_train.pkl\t\t     run.py\n",
      "env.yml\t\t\t     runs\n",
      "ex3.ipynb\t\t     simclr.py\n",
      "exceptions\t\t     utils.py\n",
      "feature_eval\n"
     ]
    }
   ],
   "source": [
    "!ls"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "executionInfo": {
     "elapsed": 5920,
     "status": "ok",
     "timestamp": 1688826729498,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "oMUzmsqC9Vll"
   },
   "outputs": [],
   "source": [
    "from data_aug.contrastive_learning_dataset import MuraDataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "executionInfo": {
     "elapsed": 3,
     "status": "ok",
     "timestamp": 1688826751268,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "9TRBDVBTGMSs"
   },
   "outputs": [],
   "source": [
    "batch_size = 16"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "transform = transforms.Compose([transforms.Resize((244, 244)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "body_parts = [\"XR_ELBOW\", \"XR_SHOULDER\", \"XR_HAND\"]\n",
    "weights_no_normalize = [\"runs/07-10_18-15-27_Elbow/XR_ELBOW_resnet50checkpoint_0100.pth.tar\",\n",
    "                       \"runs/07-10_18-40-29_Shoulder/XR_SHOULDER_resnet50checkpoint_0100.pth.tar\",\n",
    "                       \"runs/07-10_19-21-48_Hand/XR_HAND_resnet50checkpoint_0100.pth.tar\"]\n",
    "weights_normalzie = [\"runs/07-11_11-25-30_XR_ELBOW_resnet50_w_norm/XR_ELBOW_resnet50checkpoint_0100.pth.tar\",\n",
    "                     \"runs/07-11_11-50-28_XR_SHOULDER_resnet50_w_norm/XR_SHOULDER_resnet50checkpoint_0100.pth.tar\",\n",
    "                     \"runs/07-11_12-31-46_XR_HAND_resnet50_w_norm/XR_HAND_resnet50checkpoint_0100.pth.tar\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 397
    },
    "executionInfo": {
     "elapsed": 255410,
     "status": "error",
     "timestamp": 1688831236968,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "qOder0dAMI7X",
    "outputId": "58f5563b-8129-4afd-f98a-370ce847c021"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "loaded MURA Dataset (4931, 5)\n",
      "loaded MURA Dataset (465, 5)\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/home/hdamari/venv/lib/python3.10/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.\n",
      "  warnings.warn(\n",
      "/home/hdamari/venv/lib/python3.10/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=None`.\n",
      "  warnings.warn(msg)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Number of trainable parameters: 4098\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 0\t loss 7.171902656555176, kappa 0.3221763149343113, roc: 0.6604995374653099\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.63it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1\t loss 6.833047866821289, kappa 0.3354060324825987, roc: 0.6671600370027753\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 2\t loss 6.723464488983154, kappa 0.31808056432151477, roc: 0.6585106382978724\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 3\t loss 6.662586688995361, kappa 0.31814385150812075, roc: 0.6585568917668825\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 4\t loss 6.621592998504639, kappa 0.32689987937273823, roc: 0.6629509713228492\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 5\t loss 6.590333938598633, kappa 0.3398747390396659, roc: 0.6694264569842737\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 6\t loss 6.564623832702637, kappa 0.3527883455507098, roc: 0.6758556891766883\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 7\t loss 6.5425496101379395, kappa 0.3485038274182324, roc: 0.6737280296022203\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.60it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 8\t loss 6.523111820220947, kappa 0.3614770829467434, roc: 0.6802035152636448\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 9\t loss 6.505740642547607, kappa 0.36587967902036267, roc: 0.6824236817761332\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.04it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 10\t loss 6.490057945251465, kappa 0.361595547309833, roc: 0.6802960222016651\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 11\t loss 6.475793838500977, kappa 0.3702226345083488, roc: 0.6845975948196116\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.66it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 12\t loss 6.462737083435059, kappa 0.37450716638062986, roc: 0.6867252543940796\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 13\t loss 6.450725078582764, kappa 0.3788497217068645, roc: 0.6888991674375577\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 14\t loss 6.43962287902832, kappa 0.3788497217068645, roc: 0.6888991674375577\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 15\t loss 6.429319381713867, kappa 0.37450716638062986, roc: 0.6867252543940796\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 16\t loss 6.419717311859131, kappa 0.3831918742173368, roc: 0.6910730804810361\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 17\t loss 6.410735130310059, kappa 0.3789073369817272, roc: 0.6889454209065682\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 18\t loss 6.402314186096191, kappa 0.37456518714345344, roc: 0.6867715078630897\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 19\t loss 6.394375801086426, kappa 0.3789073369817272, roc: 0.6889454209065682\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 20\t loss 6.386885166168213, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 21\t loss 6.379793643951416, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.66it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 22\t loss 6.373059272766113, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 23\t loss 6.366650104522705, kappa 0.3875336239680921, roc: 0.6932469935245142\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 24\t loss 6.360536098480225, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.07it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 25\t loss 6.354691028594971, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.07it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 26\t loss 6.34909200668335, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 27\t loss 6.343718528747559, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 28\t loss 6.3385491371154785, kappa 0.38324908407920977, roc: 0.6911193339500462\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.70it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 29\t loss 6.333573818206787, kappa 0.38759042849193104, roc: 0.6932932469935246\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 30\t loss 6.328769207000732, kappa 0.38759042849193104, roc: 0.6932932469935246\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 31\t loss 6.324130535125732, kappa 0.3919313702759101, roc: 0.6954671600370028\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 32\t loss 6.319638729095459, kappa 0.3919313702759101, roc: 0.6954671600370028\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 33\t loss 6.315292835235596, kappa 0.3876472224798293, roc: 0.6933395004625346\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.64it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 34\t loss 6.311072826385498, kappa 0.3876472224798293, roc: 0.6933395004625346\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 35\t loss 6.306975364685059, kappa 0.38330628332946903, roc: 0.6911655874190564\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.66it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 36\t loss 6.302994728088379, kappa 0.38330628332946903, roc: 0.6911655874190564\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 37\t loss 6.299116134643555, kappa 0.38330628332946903, roc: 0.6911655874190564\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 38\t loss 6.2953410148620605, kappa 0.38330628332946903, roc: 0.6911655874190564\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 39\t loss 6.291660785675049, kappa 0.379022535472503, roc: 0.6890379278445884\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.66it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 40\t loss 6.288069248199463, kappa 0.379022535472503, roc: 0.6890379278445884\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 41\t loss 6.284560680389404, kappa 0.379022535472503, roc: 0.6890379278445884\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.07it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 42\t loss 6.281129837036133, kappa 0.379022535472503, roc: 0.6890379278445884\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 43\t loss 6.277775764465332, kappa 0.3833634719710668, roc: 0.6912118408880666\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 44\t loss 6.274493217468262, kappa 0.3833634719710668, roc: 0.6912118408880666\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 45\t loss 6.27127742767334, kappa 0.3833634719710668, roc: 0.6912118408880666\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 46\t loss 6.268128395080566, kappa 0.3876472224798293, roc: 0.6933395004625346\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.64it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 47\t loss 6.265036582946777, kappa 0.3876472224798293, roc: 0.6933395004625346\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 48\t loss 6.262007236480713, kappa 0.3876472224798293, roc: 0.6933395004625346\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 49\t loss 6.259029865264893, kappa 0.3919877590763666, roc: 0.6955134135060129\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 50\t loss 6.256106853485107, kappa 0.3919877590763666, roc: 0.6955134135060129\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 51\t loss 6.253233909606934, kappa 0.3963278931750742, roc: 0.6976873265494912\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 52\t loss 6.2504143714904785, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 53\t loss 6.24763298034668, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 54\t loss 6.2449049949646, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.07it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 55\t loss 6.24221658706665, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 56\t loss 6.239569664001465, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 57\t loss 6.236964702606201, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 58\t loss 6.234398365020752, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.19it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 59\t loss 6.231867790222168, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 60\t loss 6.229372978210449, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 61\t loss 6.226912498474121, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 62\t loss 6.224484920501709, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 63\t loss 6.222092151641846, kappa 0.3963838664812239, roc: 0.6977335800185014\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 64\t loss 6.219732761383057, kappa 0.3963838664812239, roc: 0.6977335800185014\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 65\t loss 6.217397212982178, kappa 0.3963838664812239, roc: 0.6977335800185014\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 66\t loss 6.215094566345215, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 67\t loss 6.212821006774902, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 68\t loss 6.210574150085449, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 69\t loss 6.208356857299805, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 70\t loss 6.206164360046387, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 71\t loss 6.203995704650879, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.66it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 72\t loss 6.201852321624756, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.66it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 73\t loss 6.199735641479492, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 74\t loss 6.1976399421691895, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 75\t loss 6.195568561553955, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 76\t loss 6.193518161773682, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 77\t loss 6.191491603851318, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 78\t loss 6.189483165740967, kappa 0.39204413741944455, roc: 0.6955596669750231\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 79\t loss 6.187499523162842, kappa 0.3963838664812239, roc: 0.6977335800185014\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.04it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 80\t loss 6.185533046722412, kappa 0.3963838664812239, roc: 0.6977335800185014\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 81\t loss 6.183588027954102, kappa 0.3921005053080524, roc: 0.6956059204440332\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 82\t loss 6.181662559509277, kappa 0.3921005053080524, roc: 0.6956059204440332\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 83\t loss 6.179754734039307, kappa 0.3921005053080524, roc: 0.6956059204440332\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 84\t loss 6.1778669357299805, kappa 0.3921005053080524, roc: 0.6956059204440332\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.07it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 85\t loss 6.175995349884033, kappa 0.3921005053080524, roc: 0.6956059204440332\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 86\t loss 6.174142837524414, kappa 0.3877607788595271, roc: 0.6934320074005549\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 87\t loss 6.172305583953857, kappa 0.3877607788595271, roc: 0.6934320074005549\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 88\t loss 6.170488357543945, kappa 0.38342065000695447, roc: 0.6912580943570767\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 89\t loss 6.168687343597412, kappa 0.38342065000695447, roc: 0.6912580943570767\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.66it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 90\t loss 6.166901588439941, kappa 0.3919877590763666, roc: 0.6955134135060129\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 91\t loss 6.165131092071533, kappa 0.3963278931750742, roc: 0.6976873265494912\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 92\t loss 6.163379192352295, kappa 0.3963278931750742, roc: 0.6976873265494912\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.65it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 93\t loss 6.161638259887695, kappa 0.40066762483193474, roc: 0.6998612395929694\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 94\t loss 6.159913539886475, kappa 0.40066762483193474, roc: 0.6998612395929694\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 95\t loss 6.158204078674316, kappa 0.40072319317602334, roc: 0.6999074930619797\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.69it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 96\t loss 6.156513690948486, kappa 0.40072319317602334, roc: 0.6999074930619797\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.05it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 97\t loss 6.154833793640137, kappa 0.40072319317602334, roc: 0.6999074930619797\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.68it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 98\t loss 6.153168678283691, kappa 0.4050621175597997, roc: 0.7020814061054579\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 155/155 [00:20<00:00,  7.67it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n",
      "/home/hdamari/venv/lib/python3.10/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.\n",
      "  warnings.warn(\n",
      "/home/hdamari/venv/lib/python3.10/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=None`.\n",
      "  warnings.warn(msg)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 99\t loss 6.151515483856201, kappa 0.4050621175597997, roc: 0.7020814061054579\n",
      "loaded MURA Dataset (8379, 5)\n",
      "loaded MURA Dataset (563, 5)\n",
      "Number of trainable parameters: 4098\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 0\t loss 10.203019142150879, kappa 0.38335158817086523, roc: 0.6910576801716523\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1\t loss 9.715386390686035, kappa 0.376554263982839, roc: 0.6877697841726619\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 2\t loss 9.55290412902832, kappa 0.3803089535810529, roc: 0.6897008708822416\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 3\t loss 9.461174964904785, kappa 0.3803089535810529, roc: 0.6897008708822416\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 4\t loss 9.397106170654297, kappa 0.3911280886938153, roc: 0.6951407295216459\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.02it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 5\t loss 9.34716796875, kappa 0.3912358911125865, roc: 0.6952290798939795\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 6\t loss 9.305831909179688, kappa 0.40558123067780216, roc: 0.7024233244982961\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 7\t loss 9.270393371582031, kappa 0.42708971968523846, roc: 0.7132146914047709\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 8\t loss 9.239374160766602, kappa 0.42355677465839137, roc: 0.7114603054398586\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 9\t loss 9.211848258972168, kappa 0.42007545357456566, roc: 0.7097500946611132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 10\t loss 9.187166213989258, kappa 0.416491822341313, roc: 0.707951533510034\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 11\t loss 9.164855003356934, kappa 0.42007545357456566, roc: 0.7097500946611132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 12\t loss 9.144570350646973, kappa 0.42007545357456566, roc: 0.7097500946611132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 13\t loss 9.126001358032227, kappa 0.42724176497722055, roc: 0.7133472169632713\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.00it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 14\t loss 9.108930587768555, kappa 0.42724176497722055, roc: 0.7133472169632713\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.39it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 15\t loss 9.093162536621094, kappa 0.42724176497722055, roc: 0.7133472169632713\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 16\t loss 9.07852840423584, kappa 0.4308747899265849, roc: 0.7151899533005174\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 17\t loss 9.064897537231445, kappa 0.43092512571702934, roc: 0.7152341284866843\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 18\t loss 9.052163124084473, kappa 0.4345568588808246, roc: 0.7170768648239304\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 19\t loss 9.040215492248535, kappa 0.4310257705912077, roc: 0.7153224788590181\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.93it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 20\t loss 9.028979301452637, kappa 0.4346068579585288, roc: 0.7171210400100971\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 21\t loss 9.018381118774414, kappa 0.4453482203753758, roc: 0.7225167234633347\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 22\t loss 9.0083646774292, kappa 0.44892804142591014, roc: 0.7243152846144137\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.93it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 23\t loss 8.998858451843262, kappa 0.44892804142591014, roc: 0.7243152846144137\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.46it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 24\t loss 8.989840507507324, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.02it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 25\t loss 8.98124885559082, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.04it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 26\t loss 8.973053932189941, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 27\t loss 8.965225219726562, kappa 0.4559905520364278, roc: 0.7278240565442384\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.02it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 28\t loss 8.957727432250977, kappa 0.45245914062697346, roc: 0.726069670579326\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  6.00it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 29\t loss 8.950546264648438, kappa 0.45245914062697346, roc: 0.726069670579326\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 30\t loss 8.943650245666504, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.92it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 31\t loss 8.937016487121582, kappa 0.4453482203753758, roc: 0.7225167234633347\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 32\t loss 8.930630683898926, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 33\t loss 8.924476623535156, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.02it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 34\t loss 8.918538093566895, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 35\t loss 8.912801742553711, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 36\t loss 8.907247543334961, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 37\t loss 8.901876449584961, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 38\t loss 8.896665573120117, kappa 0.44887931742252485, roc: 0.724271109428247\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.38it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 39\t loss 8.891621589660645, kappa 0.45245914062697346, roc: 0.726069670579326\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.02it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 40\t loss 8.886720657348633, kappa 0.45603864734299515, roc: 0.7278682317304053\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 41\t loss 8.881951332092285, kappa 0.45603864734299515, roc: 0.7278682317304053\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 42\t loss 8.87731647491455, kappa 0.45603864734299515, roc: 0.7278682317304053\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 43\t loss 8.872815132141113, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 44\t loss 8.868423461914062, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.01it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 45\t loss 8.86414909362793, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 46\t loss 8.859976768493652, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 47\t loss 8.85590934753418, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.39it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  6.00it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 48\t loss 8.851937294006348, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 49\t loss 8.848052978515625, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 50\t loss 8.844259262084961, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 51\t loss 8.840553283691406, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 52\t loss 8.836922645568848, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 53\t loss 8.833366394042969, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 54\t loss 8.829889297485352, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 55\t loss 8.8264799118042, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 56\t loss 8.823136329650879, kappa 0.4596178376125586, roc: 0.7296667928814843\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 57\t loss 8.819860458374023, kappa 0.4596178376125586, roc: 0.7296667928814843\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 58\t loss 8.816643714904785, kappa 0.4596178376125586, roc: 0.7296667928814843\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 59\t loss 8.813492774963379, kappa 0.46672812922291973, roc: 0.7332197399974757\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  6.00it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 60\t loss 8.810388565063477, kappa 0.46672812922291973, roc: 0.7332197399974757\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.00it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 61\t loss 8.807350158691406, kappa 0.46672812922291973, roc: 0.7332197399974757\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 62\t loss 8.804359436035156, kappa 0.46672812922291973, roc: 0.7332197399974757\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 63\t loss 8.801417350769043, kappa 0.46672812922291973, roc: 0.7332197399974757\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.88it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 64\t loss 8.798531532287598, kappa 0.46672812922291973, roc: 0.7332197399974757\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 65\t loss 8.795690536499023, kappa 0.46677526898014854, roc: 0.7332639151836426\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 66\t loss 8.792898178100586, kappa 0.46677526898014854, roc: 0.7332639151836426\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.02it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 67\t loss 8.790144920349121, kappa 0.46677526898014854, roc: 0.7332639151836426\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 68\t loss 8.787440299987793, kappa 0.46677526898014854, roc: 0.7332639151836426\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  6.00it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 69\t loss 8.784774780273438, kappa 0.46324416130519064, roc: 0.7315095292187302\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 70\t loss 8.782150268554688, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 71\t loss 8.779563903808594, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 72\t loss 8.777016639709473, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 73\t loss 8.774504661560059, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 74\t loss 8.772027969360352, kappa 0.4596656058998838, roc: 0.7297109680676512\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.90it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 75\t loss 8.769593238830566, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 76\t loss 8.767181396484375, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 77\t loss 8.764812469482422, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 78\t loss 8.762463569641113, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 79\t loss 8.760159492492676, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.93it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 80\t loss 8.757874488830566, kappa 0.4631967114776251, roc: 0.7314653540325635\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 81\t loss 8.755623817443848, kappa 0.46677526898014854, roc: 0.7332639151836426\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.43it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 82\t loss 8.753400802612305, kappa 0.47388493206041316, roc: 0.736816862299634\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 83\t loss 8.751204490661621, kappa 0.47388493206041316, roc: 0.736816862299634\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.96it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 84\t loss 8.74903678894043, kappa 0.47388493206041316, roc: 0.736816862299634\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 85\t loss 8.746895790100098, kappa 0.47746285901896046, roc: 0.7386154234507132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 86\t loss 8.744776725769043, kappa 0.47746285901896046, roc: 0.7386154234507132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 87\t loss 8.742690086364746, kappa 0.47746285901896046, roc: 0.7386154234507132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.00it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 88\t loss 8.740622520446777, kappa 0.47746285901896046, roc: 0.7386154234507132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 89\t loss 8.738579750061035, kappa 0.47746285901896046, roc: 0.7386154234507132\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.95it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 90\t loss 8.736562728881836, kappa 0.4739314350653451, roc: 0.7368610374858009\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 91\t loss 8.734561920166016, kappa 0.4739314350653451, roc: 0.7368610374858009\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.99it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 92\t loss 8.732585906982422, kappa 0.4739314350653451, roc: 0.7368610374858009\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 93\t loss 8.730637550354004, kappa 0.4739314350653451, roc: 0.7368610374858009\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 94\t loss 8.728703498840332, kappa 0.4739314350653451, roc: 0.7368610374858009\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.97it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 95\t loss 8.726799011230469, kappa 0.4739314350653451, roc: 0.7368610374858009\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.39it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.94it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 96\t loss 8.724906921386719, kappa 0.4739314350653451, roc: 0.7368610374858009\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.41it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.98it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 97\t loss 8.723036766052246, kappa 0.47750904373188885, roc: 0.7386595986368799\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.40it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:03<00:00,  5.92it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 98\t loss 8.721184730529785, kappa 0.47750904373188885, roc: 0.7386595986368799\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 262/262 [00:35<00:00,  7.42it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 18/18 [00:02<00:00,  6.04it/s]\n",
      "/home/hdamari/venv/lib/python3.10/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.\n",
      "  warnings.warn(\n",
      "/home/hdamari/venv/lib/python3.10/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=None`.\n",
      "  warnings.warn(msg)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 99\t loss 8.719356536865234, kappa 0.47750904373188885, roc: 0.7386595986368799\n",
      "loaded MURA Dataset (5543, 5)\n",
      "loaded MURA Dataset (460, 5)\n",
      "Number of trainable parameters: 4098\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n",
      "/home/hdamari/venv/lib/python3.10/site-packages/sklearn/metrics/_classification.py:1344: UndefinedMetricWarning: Precision is ill-defined and being set to 0.0 due to no predicted samples. Use `zero_division` parameter to control this behavior.\n",
      "  _warn_prf(average, modifier, msg_start, len(result))\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 0\t loss 7.157553672790527, kappa 0.0, roc: 0.5\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1\t loss 6.982376575469971, kappa -0.004343729171933486, roc: 0.4981549815498155\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 2\t loss 6.941915035247803, kappa 0.011815252416756294, roc: 0.505046955231457\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 3\t loss 6.919338703155518, kappa 0.013663632838340267, roc: 0.5058474394267752\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 4\t loss 6.902127742767334, kappa 0.009343664539653629, roc: 0.5040024209765908\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 5\t loss 6.887398719787598, kappa 0.017339726836806624, roc: 0.5074484078174114\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 6\t loss 6.874234676361084, kappa 0.023476523476523292, roc: 0.5100939104629142\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 7\t loss 6.862245082855225, kappa 0.023476523476523292, roc: 0.5100939104629142\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 8\t loss 6.851207256317139, kappa 0.029601905410003404, roc: 0.5127394131084168\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 9\t loss 6.840975761413574, kappa 0.029601905410003404, roc: 0.5127394131084168\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 10\t loss 6.831441879272461, kappa 0.029601905410003404, roc: 0.5127394131084168\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 11\t loss 6.822520732879639, kappa 0.031403536577082614, roc: 0.513539897303735\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 12\t loss 6.814137935638428, kappa 0.0435942055187688, roc: 0.5188309025947402\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 13\t loss 6.806240558624268, kappa 0.0435942055187688, roc: 0.5188309025947402\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 14\t loss 6.798777103424072, kappa 0.0435942055187688, roc: 0.5188309025947402\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.30it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 15\t loss 6.791707992553711, kappa 0.04967261232783937, roc: 0.5214764052402429\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 16\t loss 6.7849931716918945, kappa 0.04967261232783937, roc: 0.5214764052402429\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 17\t loss 6.77861213684082, kappa 0.04967261232783937, roc: 0.5214764052402429\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 18\t loss 6.772523880004883, kappa 0.05573977577767242, roc: 0.5241219078857454\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 19\t loss 6.766714096069336, kappa 0.05573977577767242, roc: 0.5241219078857454\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 20\t loss 6.7611589431762695, kappa 0.05573977577767242, roc: 0.5241219078857454\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 21\t loss 6.7558369636535645, kappa 0.061795727035067194, roc: 0.5267674105312481\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 22\t loss 6.750736713409424, kappa 0.05748316934230979, roc: 0.5249223920810636\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 23\t loss 6.7458415031433105, kappa 0.05748316934230979, roc: 0.5249223920810636\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 24\t loss 6.7411322593688965, kappa 0.0695583773457692, roc: 0.530213397372069\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.19it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 25\t loss 6.736605644226074, kappa 0.07557930662834567, roc: 0.5328589000175716\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 26\t loss 6.732240676879883, kappa 0.08158916032931773, roc: 0.5355044026630742\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 27\t loss 6.72803258895874, kappa 0.08158916032931773, roc: 0.5355044026630742\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 28\t loss 6.723973751068115, kappa 0.08158916032931773, roc: 0.5355044026630742\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 29\t loss 6.720049858093262, kappa 0.08158916032931773, roc: 0.5355044026630742\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 30\t loss 6.7162580490112305, kappa 0.08158916032931773, roc: 0.5355044026630742\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 31\t loss 6.712588787078857, kappa 0.08158916032931773, roc: 0.5355044026630742\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.38it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 32\t loss 6.709038257598877, kappa 0.08758796898112875, roc: 0.5381499053085769\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 33\t loss 6.705598831176758, kappa 0.09357576300409776, roc: 0.5407954079540795\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 34\t loss 6.7022600173950195, kappa 0.09357576300409776, roc: 0.5407954079540795\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 35\t loss 6.699023246765137, kappa 0.09357576300409776, roc: 0.5407954079540795\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 36\t loss 6.695875644683838, kappa 0.09357576300409776, roc: 0.5407954079540795\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 37\t loss 6.692819595336914, kappa 0.09955257270693507, roc: 0.543440910599582\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 38\t loss 6.689850807189941, kappa 0.09955257270693507, roc: 0.543440910599582\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 39\t loss 6.6869611740112305, kappa 0.09955257270693507, roc: 0.543440910599582\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 40\t loss 6.684150218963623, kappa 0.09955257270693507, roc: 0.543440910599582\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 41\t loss 6.68140983581543, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 42\t loss 6.678745746612549, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 43\t loss 6.676145076751709, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 44\t loss 6.673609256744385, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 45\t loss 6.6711320877075195, kappa 0.11147335983207551, roc: 0.5487319158905875\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 46\t loss 6.668713092803955, kappa 0.11147335983207551, roc: 0.5487319158905875\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 47\t loss 6.66635799407959, kappa 0.11147335983207551, roc: 0.5487319158905875\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 48\t loss 6.6640496253967285, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 49\t loss 6.661795139312744, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.31it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 50\t loss 6.659594535827637, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 51\t loss 6.657433986663818, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 52\t loss 6.655324935913086, kappa 0.10551842828725333, roc: 0.5460864132450848\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 53\t loss 6.653254508972168, kappa 0.11147335983207551, roc: 0.5487319158905875\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 54\t loss 6.651230812072754, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 55\t loss 6.649248123168945, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.39it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 56\t loss 6.647302150726318, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.03it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 57\t loss 6.6453938484191895, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 58\t loss 6.643523693084717, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.38it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 59\t loss 6.641686916351318, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.38it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.20it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 60\t loss 6.6398844718933105, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 61\t loss 6.638113975524902, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 62\t loss 6.636376857757568, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 63\t loss 6.634669303894043, kappa 0.11741739731834089, roc: 0.5513774185360901\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 64\t loss 6.632992744445801, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 65\t loss 6.6313395500183105, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 66\t loss 6.6297197341918945, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 67\t loss 6.628122806549072, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 68\t loss 6.626554012298584, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 69\t loss 6.625007152557373, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 70\t loss 6.623486518859863, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.38it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 71\t loss 6.6219868659973145, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.34it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 72\t loss 6.620514869689941, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 73\t loss 6.6190595626831055, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.16it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 74\t loss 6.61762809753418, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.38it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 75\t loss 6.61621618270874, kappa 0.12335057061340937, roc: 0.5540229211815928\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 76\t loss 6.614823341369629, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.04it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 77\t loss 6.613453388214111, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 78\t loss 6.612100124359131, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 79\t loss 6.610762119293213, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 80\t loss 6.609447002410889, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 81\t loss 6.6081461906433105, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.20it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 82\t loss 6.606865406036377, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.13it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 83\t loss 6.605599403381348, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 84\t loss 6.604344844818115, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 85\t loss 6.603111743927002, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.07it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 86\t loss 6.6018900871276855, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 87\t loss 6.600687503814697, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.09it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 88\t loss 6.5994954109191895, kappa 0.12927290947555958, roc: 0.5566684238270954\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.06it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 89\t loss 6.598317623138428, kappa 0.13518444355448755, roc: 0.559313926472598\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.10it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 90\t loss 6.597154140472412, kappa 0.13518444355448755, roc: 0.559313926472598\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 91\t loss 6.596001625061035, kappa 0.13518444355448755, roc: 0.559313926472598\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 92\t loss 6.594865322113037, kappa 0.13518444355448755, roc: 0.559313926472598\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 93\t loss 6.593738079071045, kappa 0.141085202391802, roc: 0.5619594291181007\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.11it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 94\t loss 6.592625141143799, kappa 0.141085202391802, roc: 0.5619594291181007\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.08it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 95\t loss 6.591525554656982, kappa 0.141085202391802, roc: 0.5619594291181007\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.12it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 96\t loss 6.590437889099121, kappa 0.141085202391802, roc: 0.5619594291181007\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.37it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.14it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 97\t loss 6.589357376098633, kappa 0.141085202391802, roc: 0.5619594291181007\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.36it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.15it/s]\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 98\t loss 6.588289737701416, kappa 0.141085202391802, roc: 0.5619594291181007\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 174/174 [00:23<00:00,  7.35it/s]\n",
      "100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 15/15 [00:02<00:00,  6.17it/s]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 99\t loss 6.587233066558838, kappa 0.141085202391802, roc: 0.5619594291181007\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "for body_part_index in range(3):\n",
    "    body_part = body_parts[body_part_index]\n",
    "    cur_weights = weights_normalzie[body_part_index]\n",
    "    \n",
    "    train_dataset = MuraDataset(\"colab_train.pkl\", transform=transform, body_part=body_part)\n",
    "    train_loader = DataLoader(train_dataset, batch_size=2*batch_size, drop_last=False, shuffle=False)\n",
    "    \n",
    "    test_dataset = MuraDataset(\"colab_test.pkl\", transform=transform, body_part=body_part)\n",
    "    test_loader = DataLoader(test_dataset, batch_size=2*batch_size, drop_last=False, shuffle=False)\n",
    "    \n",
    "    model = torchvision.models.resnet50(pretrained=False, num_classes=2).to(device)\n",
    "    \n",
    "    checkpoint = torch.load(cur_weights, map_location=device)\n",
    "    # checkpoint = torch.load('pretrain/checkpoint_0100.pth.tar', map_location=device)\n",
    "    state_dict = checkpoint['state_dict']\n",
    "    \n",
    "    for k in list(state_dict.keys()):\n",
    "    \n",
    "      if k.startswith('backbone.'):\n",
    "        if k.startswith('backbone') and not k.startswith('backbone.fc'):\n",
    "          # remove prefix\n",
    "          state_dict[k[len(\"backbone.\"):]] = state_dict[k]\n",
    "      del state_dict[k]\n",
    "    \n",
    "    log = model.load_state_dict(state_dict, strict=False)\n",
    "    assert log.missing_keys == ['fc.weight', 'fc.bias']\n",
    "    \n",
    "    #freeze all layers but the last fc\n",
    "    for name, param in model.named_parameters():\n",
    "        if name not in ['fc.weight', 'fc.bias']:\n",
    "            param.requires_grad = False\n",
    "    \n",
    "    parameters = list(filter(lambda p: p.requires_grad, model.parameters()))\n",
    "    assert len(parameters) == 2  # fc.weight, fc.bias\n",
    "    \n",
    "    trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad)\n",
    "    print(\"Number of trainable parameters:\", trainable_params)\n",
    "    \n",
    "    optimizer = torch.optim.Adam(model.parameters(), lr=0.0003, weight_decay=0.0008)\n",
    "    criterion = torch.nn.CrossEntropyLoss().to(device)\n",
    "    \n",
    "    def accuracy(output, target, topk=(1,)):\n",
    "        \"\"\"Computes the accuracy over the k top predictions for the specified values of k\"\"\"\n",
    "        with torch.no_grad():\n",
    "            maxk = max(topk)\n",
    "            batch_size = target.size(0)\n",
    "    \n",
    "            _, pred = output.topk(maxk, 1, True, True)\n",
    "            pred = pred.t()\n",
    "            correct = pred.eq(target.view(1, -1).expand_as(pred))\n",
    "    \n",
    "            res = []\n",
    "            for k in topk:\n",
    "                correct_k = correct[:k].reshape(-1).float().sum(0, keepdim=True)\n",
    "                res.append(correct_k.mul_(100.0 / batch_size))\n",
    "            return res\n",
    "    \n",
    "    now = datetime.now()\n",
    "    formatted_datetime = \"runs/\" + now.strftime(\"%m-%d_%H-%M-%S\") \n",
    "    log_dir = formatted_datetime + f\"finetuned_{body_part}_normalzied\"\n",
    "    writer = SummaryWriter(log_dir=log_dir)\n",
    "    \n",
    "    epochs = 100\n",
    "    for epoch in range(epochs):\n",
    "      top1_train_accuracy = 0\n",
    "      all_loss = 0\n",
    "      model.train()\n",
    "      optimizer.zero_grad()\n",
    "      for counter, (x_batch, y_batch) in tqdm(enumerate(train_loader), total=len(train_loader)):\n",
    "        x_batch = x_batch.to(device)\n",
    "        y_batch = y_batch.to(device)\n",
    "    \n",
    "        logits = model(x_batch)\n",
    "        loss = criterion(logits, y_batch)\n",
    "        if counter % 50 == 0:\n",
    "            writer.add_scalar(\"loss\", loss.item(), counter)\n",
    "        all_loss += loss\n",
    "    \n",
    "        optimizer.zero_grad()\n",
    "        loss.backward()\n",
    "        optimizer.step()\n",
    "    \n",
    "      actual_labels = []\n",
    "      predicted_labels = []\n",
    "      model.eval()\n",
    "      for counter, (x_batch, y_batch) in tqdm(enumerate(test_loader), total=len(test_loader)):\n",
    "        x_batch = x_batch.to(device)\n",
    "        y_batch = y_batch.to(device)\n",
    "    \n",
    "        logits = model(x_batch)\n",
    "    \n",
    "        _, predicted = logits.max(1)\n",
    "        predicted = predicted.detach().cpu().numpy().tolist()\n",
    "    \n",
    "        actual_labels.extend(y_batch.detach().cpu().numpy().tolist())\n",
    "        predicted_labels.extend(predicted)\n",
    "    \n",
    "      kappa_score = cohen_kappa_score(actual_labels, predicted_labels)\n",
    "      roc_score = roc_auc_score(actual_labels, predicted_labels)\n",
    "      precision = precision_score(actual_labels, predicted_labels)\n",
    "      recall = recall_score(actual_labels, predicted_labels)\n",
    "      f1 = f1_score(actual_labels, predicted_labels)\n",
    "        \n",
    "      writer.add_scalar(\"Test/ROC Score\", roc_score, epoch)  \n",
    "      writer.add_scalar(\"Test/Kappa Score\", kappa_score, epoch)\n",
    "      writer.add_scalar(\"Test/Precision\", precision, epoch)\n",
    "      writer.add_scalar(\"Test/Recall\", recall, epoch)\n",
    "      writer.add_scalar(\"Test/F1-score\", f1, epoch)\n",
    "        \n",
    "      print(f\"Epoch {epoch}\\t loss {all_loss/counter}, kappa {kappa_score}, roc: {roc_score}\")\n",
    "    \n",
    "      if epoch % 20 == 0:\n",
    "          torch.save(model, f\"finetuned/finetuned_{body_part}_epoch_{epoch}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0,\n",
       "        0, 0, 0, 0, 0, 0, 0, 0], device='cuda:0')"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "logits.max(1)[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([0, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,\n",
       "        0, 0, 0, 0, 0, 0, 1, 1])"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_batch"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [],
   "source": [
    "# list(zip(actual_labels, predicted_labels))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "executionInfo": {
     "elapsed": 13,
     "status": "aborted",
     "timestamp": 1688653800589,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "i9MpfRjlI90z"
   },
   "outputs": [],
   "source": [
    "im = x_batch[4].permute(2, 1, 0).cpu().numpy()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "executionInfo": {
     "elapsed": 13,
     "status": "aborted",
     "timestamp": 1688653800589,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "w98ap70sJAwk"
   },
   "outputs": [],
   "source": [
    "plt.imshow(im)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "executionInfo": {
     "elapsed": 13,
     "status": "aborted",
     "timestamp": 1688653800589,
     "user": {
      "displayName": "Harel Damari",
      "userId": "15906612586705413913"
     },
     "user_tz": -180
    },
    "id": "uutxoZhNJNLE"
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "accelerator": "GPU",
  "colab": {
   "provenance": [
    {
     "file_id": "https://github.com/sthalles/SimCLR/blob/simclr-refactor/feature_eval/mini_batch_logistic_regression_evaluator.ipynb",
     "timestamp": 1688641595424
    }
   ]
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}