LSTM_classification.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "# imports\n",
    "\n",
    "import pickle\n",
    "from collections import Counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "with open('data.json', encoding='utf-8') as fh:\n",
    "    data = json.load(fh)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "list"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'author': 'গাজীপুর প্রতিনিধি',\n",
       " 'category': 'bangladesh',\n",
       " 'category_bn': 'বাংলাদেশ',\n",
       " 'published_date': '০৪ জুলাই ২০১৩, ২৩:২৬',\n",
       " 'modification_date': '০৪ জুলাই ২০১৩, ২৩:২৭',\n",
       " 'tag': ['গাজীপুর'],\n",
       " 'comment_count': 0,\n",
       " 'title': 'কালিয়াকৈরে টিফিন খেয়ে ৫০০ শ্রমিক অসুস্থ, বিক্ষোভ',\n",
       " 'url': 'http://www.prothom-alo.com/bangladesh/article/19030',\n",
       " 'content': 'গাজীপুরের কালিয়াকৈর উপজেলার তেলিরচালা এলাকায় আজ বৃহস্পতিবার রাতের টিফিন খেয়ে একটি পোশাক কারখানার ৫০০ শ্রমিক অসুস্থ হয়ে পড়েছেন। এ ঘটনায় বিক্ষোভ করেছেন ওই কারখানার শ্রমিকেরা।সফিপুর মডার্ন হাসপাতালের জরুরি বিভাগের চিকিত্সক আল আমিন প্রথম আলো ডটকমকে বলেন, খাদ্যে বিষক্রিয়ায় তাঁরা (শ্রমিকেরা) অসুস্থ হয়ে পড়েছেন। এতে আতঙ্কিত হওয়ার কিছু নেই। অসুস্থদের চিকিত্সা দেওয়া হয়েছে।কারখানার শ্রমিক ও পুলিশ সূত্রে জানা যায়, উপজেলার তেলিরচালা এলাকার সেজাদ সোয়েটার লিমিটেড কারখানার শ্রমিকদের আজ রাত সাড়ে সাতটার দিকে টিফিন দেওয়া হয়। টিফিনে ছিল ডিম, রুটি, পেটিস ও কলা। টিফিন খেয়ে শ্রমিকেরা যথারীতি কাজে যোগ দেন। ওই টিফিন খাওয়ার প্রায় এক ঘণ্টা পর রাত সাড়ে আটটার দিকে কয়েকজন শ্রমিকের বমি ও পেট ব্যথা শুরু হয়। এরপর ধীরে ধীরে পুরো কারখানার শ্রমিকেরা অসুস্থ হতে থাকে। অনেকেই কারখানার মেঝেতে ঢলে পড়ে। এতে পাঁচ শতাধিক শ্রমিক অসুস্থ হয়ে পড়ে।পরে কারখানা কর্তৃপক্ষ দ্রুত যানবাহনের ব্যবস্থা করে তাদের সফিপুর জেনারেল হাসপাতাল, সফিপুর মডার্ন হাসপাতাল, উপজেলা স্বাস্থ্য কমপ্লেক্সসহ বিভিন্ন ক্লিনিকে ভর্তি করে। বাসি পচা খাবার দেওয়ায় শ্রমিকরা ক্ষুব্ধ হয়ে কারখানার সামনে বিক্ষোভ করে। খবর পেয়ে পুলিশ গিয়ে শ্রমিকদের বুঝিয়ে ও খাবার সরবরাহ প্রতিষ্ঠানের বিরুদ্ধে ব্যবস্থা নেওয়ার আশ্বাস দিলে শ্রমিকেরা শান্ত হয়।সফিপুর জেনারেল হাসপাতালে ভর্তি শ্রমিক জাকির হোসেন ও আসমা আক্তার বলেন, টিফিন খাওয়ার সময় ডিম ও কেক থেকে দুর্গন্ধ বের হচ্ছিল। এ কারণে অনেকেই ওই খাবার খায়নি। তবে বেশির ভাগ শ্রমিকই ওই খাবার খেয়েছে।কারখানার সহকারী উত্পাদন কর্মকর্তা (এপিএম) বছির উদ্দিন বলেন, টিফিনগুলি যে ঠিকাদারি প্রতিষ্ঠান কারখানায় সরবরাহ করে তাদের বিরুদ্ধে ব্যবস্থা নেওয়া হবে।মৌচাক পুলিশ ফাঁড়ির উপ-পরিদর্শক (এসআই) সৈয়দ আজহারুল ইসলাম প্রথম আলো ডটকমকে বলেন, শ্রমিকদের বুঝিয়ে শান্ত করা হয়েছে। এ ছাড়া কারখানা কর্তৃপক্ষকে খাদ্য সরবরাহ প্রতিষ্ঠানের বিরুদ্ধে ব্যবস্থা নিতে বলা হয়েছে।'}"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "set_cats = set([a['category'] for a in data])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'-1',\n",
       " '22221',\n",
       " 'AskEditor',\n",
       " 'bangladesh',\n",
       " 'bondhushava',\n",
       " 'bs-events',\n",
       " 'chakri-bakri',\n",
       " 'demo-content',\n",
       " 'diverse',\n",
       " 'durporobash',\n",
       " 'economy',\n",
       " 'education',\n",
       " 'entertainment',\n",
       " 'events',\n",
       " 'facebook',\n",
       " 'international',\n",
       " 'kishoralo',\n",
       " 'life-style',\n",
       " 'mpaward1',\n",
       " 'nagorik-kantho',\n",
       " 'northamerica',\n",
       " 'onnoalo',\n",
       " 'opinion',\n",
       " 'pachmisheli',\n",
       " 'protichinta',\n",
       " 'roshalo',\n",
       " 'special-supplement',\n",
       " 'sports',\n",
       " 'tarunno',\n",
       " 'technology',\n",
       " 'trust',\n",
       " 'we-are'}"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set_cats"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "437948"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "all_cats = [a['category'] for a in data]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "437948"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(all_cats)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "cat_cnts = []\n",
    "\n",
    "for cat in set_cats:\n",
    "    cat_cnts.append(all_cats.count(cat))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[2,\n",
       " 2999,\n",
       " 10,\n",
       " 11,\n",
       " 75,\n",
       " 83,\n",
       " 232504,\n",
       " 170,\n",
       " 15699,\n",
       " 6990,\n",
       " 123,\n",
       " 2702,\n",
       " 859,\n",
       " 443,\n",
       " 10852,\n",
       " 30856,\n",
       " 1,\n",
       " 7402,\n",
       " 1,\n",
       " 508,\n",
       " 9721,\n",
       " 2,\n",
       " 2,\n",
       " 40,\n",
       " 3443,\n",
       " 17245,\n",
       " 17,\n",
       " 12116,\n",
       " 49012,\n",
       " 2604,\n",
       " 990,\n",
       " 30466]"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cat_cnts"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[232504,\n",
       " 49012,\n",
       " 30856,\n",
       " 30466,\n",
       " 17245,\n",
       " 15699,\n",
       " 12116,\n",
       " 10852,\n",
       " 9721,\n",
       " 7402,\n",
       " 6990,\n",
       " 3443,\n",
       " 2999,\n",
       " 2702,\n",
       " 2604,\n",
       " 990,\n",
       " 859,\n",
       " 508,\n",
       " 443,\n",
       " 170,\n",
       " 123,\n",
       " 83,\n",
       " 75,\n",
       " 40,\n",
       " 17,\n",
       " 11,\n",
       " 10,\n",
       " 2,\n",
       " 2,\n",
       " 2,\n",
       " 1,\n",
       " 1]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sorted(cat_cnts)[::-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "z = zip(cat_cnts, set_cats)\n",
    "z = list(z)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(2, 'events'),\n",
       " (2999, 'we-are'),\n",
       " (10, 'facebook'),\n",
       " (11, '22221'),\n",
       " (75, 'chakri-bakri'),\n",
       " (83, 'nagorik-kantho'),\n",
       " (232504, 'bangladesh'),\n",
       " (170, 'protichinta'),\n",
       " (15699, 'opinion'),\n",
       " (6990, 'northamerica'),\n",
       " (123, '-1'),\n",
       " (2702, 'onnoalo'),\n",
       " (859, 'special-supplement'),\n",
       " (443, 'trust'),\n",
       " (10852, 'life-style'),\n",
       " (30856, 'international'),\n",
       " (1, 'bs-events'),\n",
       " (7402, 'durporobash'),\n",
       " (1, 'AskEditor'),\n",
       " (508, 'kishoralo'),\n",
       " (9721, 'education'),\n",
       " (2, 'diverse'),\n",
       " (2, 'demo-content'),\n",
       " (40, 'tarunno'),\n",
       " (3443, 'pachmisheli'),\n",
       " (17245, 'economy'),\n",
       " (17, 'mpaward1'),\n",
       " (12116, 'technology'),\n",
       " (49012, 'sports'),\n",
       " (2604, 'roshalo'),\n",
       " (990, 'bondhushava'),\n",
       " (30466, 'entertainment')]"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "z"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "sel_cats = []\n",
    "\n",
    "for p in z:\n",
    "    if p[0] > 8000:\n",
    "        sel_cats.append(p[1])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['bangladesh',\n",
       " 'opinion',\n",
       " 'life-style',\n",
       " 'international',\n",
       " 'education',\n",
       " 'economy',\n",
       " 'technology',\n",
       " 'sports',\n",
       " 'entertainment']"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sel_cats"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "X_text = []\n",
    "y_label = []\n",
    "\n",
    "for p in data:\n",
    "    if p['category'] in sel_cats:\n",
    "        y_label.append(p['category'])\n",
    "        X_text.append(p['content'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "408471"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(X_text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "408471"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(y_label)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'গাজীপুরের কালিয়াকৈর উপজেলার তেলিরচালা এলাকায় আজ বৃহস্পতিবার রাতের টিফিন খেয়ে একটি পোশাক কারখানার ৫০০ শ্রমিক অসুস্থ হয়ে পড়েছেন। এ ঘটনায় বিক্ষোভ করেছেন ওই কারখানার শ্রমিকেরা।সফিপুর মডার্ন হাসপাতালের জরুরি বিভাগের চিকিত্সক আল আমিন প্রথম আলো ডটকমকে বলেন, খাদ্যে বিষক্রিয়ায় তাঁরা (শ্রমিকেরা) অসুস্থ হয়ে পড়েছেন। এতে আতঙ্কিত হওয়ার কিছু নেই। অসুস্থদের চিকিত্সা দেওয়া হয়েছে।কারখানার শ্রমিক ও পুলিশ সূত্রে জানা যায়, উপজেলার তেলিরচালা এলাকার সেজাদ সোয়েটার লিমিটেড কারখানার শ্রমিকদের আজ রাত সাড়ে সাতটার দিকে টিফিন দেওয়া হয়। টিফিনে ছিল ডিম, রুটি, পেটিস ও কলা। টিফিন খেয়ে শ্রমিকেরা যথারীতি কাজে যোগ দেন। ওই টিফিন খাওয়ার প্রায় এক ঘণ্টা পর রাত সাড়ে আটটার দিকে কয়েকজন শ্রমিকের বমি ও পেট ব্যথা শুরু হয়। এরপর ধীরে ধীরে পুরো কারখানার শ্রমিকেরা অসুস্থ হতে থাকে। অনেকেই কারখানার মেঝেতে ঢলে পড়ে। এতে পাঁচ শতাধিক শ্রমিক অসুস্থ হয়ে পড়ে।পরে কারখানা কর্তৃপক্ষ দ্রুত যানবাহনের ব্যবস্থা করে তাদের সফিপুর জেনারেল হাসপাতাল, সফিপুর মডার্ন হাসপাতাল, উপজেলা স্বাস্থ্য কমপ্লেক্সসহ বিভিন্ন ক্লিনিকে ভর্তি করে। বাসি পচা খাবার দেওয়ায় শ্রমিকরা ক্ষুব্ধ হয়ে কারখানার সামনে বিক্ষোভ করে। খবর পেয়ে পুলিশ গিয়ে শ্রমিকদের বুঝিয়ে ও খাবার সরবরাহ প্রতিষ্ঠানের বিরুদ্ধে ব্যবস্থা নেওয়ার আশ্বাস দিলে শ্রমিকেরা শান্ত হয়।সফিপুর জেনারেল হাসপাতালে ভর্তি শ্রমিক জাকির হোসেন ও আসমা আক্তার বলেন, টিফিন খাওয়ার সময় ডিম ও কেক থেকে দুর্গন্ধ বের হচ্ছিল। এ কারণে অনেকেই ওই খাবার খায়নি। তবে বেশির ভাগ শ্রমিকই ওই খাবার খেয়েছে।কারখানার সহকারী উত্পাদন কর্মকর্তা (এপিএম) বছির উদ্দিন বলেন, টিফিনগুলি যে ঠিকাদারি প্রতিষ্ঠান কারখানায় সরবরাহ করে তাদের বিরুদ্ধে ব্যবস্থা নেওয়া হবে।মৌচাক পুলিশ ফাঁড়ির উপ-পরিদর্শক (এসআই) সৈয়দ আজহারুল ইসলাম প্রথম আলো ডটকমকে বলেন, শ্রমিকদের বুঝিয়ে শান্ত করা হয়েছে। এ ছাড়া কারখানা কর্তৃপক্ষকে খাদ্য সরবরাহ প্রতিষ্ঠানের বিরুদ্ধে ব্যবস্থা নিতে বলা হয়েছে।'"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_text[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1752\n"
     ]
    }
   ],
   "source": [
    "print(len(X_text[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'bangladesh'"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_label[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'bangladesh',\n",
       " 'economy',\n",
       " 'education',\n",
       " 'entertainment',\n",
       " 'international',\n",
       " 'life-style',\n",
       " 'opinion',\n",
       " 'sports',\n",
       " 'technology'}"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(y_label)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "408471\n",
      "408471\n"
     ]
    }
   ],
   "source": [
    "print(len(X_text))\n",
    "print(len(y_label))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.preprocessing import LabelEncoder\n",
    "\n",
    "encoder = LabelEncoder()\n",
    "class_labels = encoder.fit_transform(y_label)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{0, 1, 2, 3, 4, 5, 6, 7, 8}"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "set(class_labels)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\users\\user\\anaconda3\\envs\\ml\\lib\\site-packages\\sklearn\\preprocessing\\label.py:273: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), for example using ravel().\n",
      "  y = column_or_1d(y, warn=True)\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "array(['entertainment'], dtype='<U13')"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "encoder.inverse_transform([[3]])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(408471,)"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "class_labels.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\users\\user\\anaconda3\\envs\\ml\\lib\\site-packages\\sklearn\\preprocessing\\_encoders.py:415: FutureWarning: The handling of integer data will change in version 0.22. Currently, the categories are determined based on the range [0, max(values)], while in the future they will be determined based on the unique values.\n",
      "If you want the future behaviour and silence this warning, you can specify \"categories='auto'\".\n",
      "In case you used a LabelEncoder before this OneHotEncoder to convert the categories to integers, then you can now use the OneHotEncoder directly.\n",
      "  warnings.warn(msg, FutureWarning)\n"
     ]
    }
   ],
   "source": [
    "from sklearn.preprocessing import OneHotEncoder\n",
    "\n",
    "encoder = OneHotEncoder(sparse=False)\n",
    "class_labels = class_labels.reshape((class_labels.shape[0], 1))\n",
    "y_ohe = encoder.fit_transform(class_labels)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0], dtype=int64)"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "class_labels[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[1., 0., 0., ..., 0., 0., 0.],\n",
       "       [0., 0., 0., ..., 0., 1., 0.],\n",
       "       [1., 0., 0., ..., 0., 0., 0.],\n",
       "       ...,\n",
       "       [0., 0., 0., ..., 0., 1., 0.],\n",
       "       [0., 0., 0., ..., 0., 1., 0.],\n",
       "       [1., 0., 0., ..., 0., 0., 0.]])"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_ohe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(408471, 9)"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_ohe.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "from keras.preprocessing.text import Tokenizer\n",
    "\n",
    "tokenizer = Tokenizer()\n",
    "tokenizer.fit_on_texts(X_text)\n",
    "\n",
    "X_token = tokenizer.texts_to_sequences(X_text)\n",
    "\n",
    "vocab_size = len(tokenizer.word_index) + 1  # Adding 1 because of reserved 0 index"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2413449"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vocab_size"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[[23713,\n",
       "  1802,\n",
       "  467,\n",
       "  1098,\n",
       "  49,\n",
       "  1327,\n",
       "  158,\n",
       "  2576,\n",
       "  30,\n",
       "  832,\n",
       "  7,\n",
       "  127,\n",
       "  731,\n",
       "  910,\n",
       "  612,\n",
       "  7126,\n",
       "  4199,\n",
       "  5,\n",
       "  15,\n",
       "  1310,\n",
       "  1499,\n",
       "  767,\n",
       "  14,\n",
       "  28345,\n",
       "  577,\n",
       "  1499,\n",
       "  767,\n",
       "  148,\n",
       "  803,\n",
       "  770,\n",
       "  6,\n",
       "  49,\n",
       "  490,\n",
       "  2810,\n",
       "  67,\n",
       "  5441,\n",
       "  202,\n",
       "  1025,\n",
       "  155,\n",
       "  4234,\n",
       "  53,\n",
       "  625,\n",
       "  1024,\n",
       "  3,\n",
       "  1025,\n",
       "  15,\n",
       "  467,\n",
       "  595,\n",
       "  16,\n",
       "  18,\n",
       "  110,\n",
       "  1327,\n",
       "  158,\n",
       "  572,\n",
       "  256,\n",
       "  30,\n",
       "  175,\n",
       "  857,\n",
       "  416,\n",
       "  152,\n",
       "  5441,\n",
       "  58,\n",
       "  1025,\n",
       "  15,\n",
       "  467,\n",
       "  3050,\n",
       "  288,\n",
       "  18,\n",
       "  2,\n",
       "  9,\n",
       "  58,\n",
       "  1025,\n",
       "  16758,\n",
       "  9,\n",
       "  91,\n",
       "  6948,\n",
       "  1754,\n",
       "  5185,\n",
       "  1322,\n",
       "  491,\n",
       "  18,\n",
       "  625,\n",
       "  1032,\n",
       "  729,\n",
       "  2810,\n",
       "  49,\n",
       "  1327,\n",
       "  158,\n",
       "  2576,\n",
       "  30,\n",
       "  435,\n",
       "  29455,\n",
       "  31,\n",
       "  1413,\n",
       "  39,\n",
       "  21,\n",
       "  2884,\n",
       "  49,\n",
       "  347,\n",
       "  1624,\n",
       "  30,\n",
       "  384,\n",
       "  69,\n",
       "  35,\n",
       "  71,\n",
       "  117,\n",
       "  1371,\n",
       "  431,\n",
       "  349,\n",
       "  1516,\n",
       "  795,\n",
       "  569,\n",
       "  1481,\n",
       "  198,\n",
       "  4,\n",
       "  46,\n",
       "  28,\n",
       "  577,\n",
       "  612,\n",
       "  11764,\n",
       "  213,\n",
       "  290,\n",
       "  5779,\n",
       "  731,\n",
       "  1170,\n",
       "  577,\n",
       "  53,\n",
       "  3,\n",
       "  490,\n",
       "  2810,\n",
       "  213,\n",
       "  625,\n",
       "  912,\n",
       "  22553,\n",
       "  50,\n",
       "  76,\n",
       "  3772,\n",
       "  44,\n",
       "  288,\n",
       "  165,\n",
       "  18,\n",
       "  2529,\n",
       "  28963,\n",
       "  3,\n",
       "  108,\n",
       "  169,\n",
       "  137,\n",
       "  187,\n",
       "  612,\n",
       "  7126,\n",
       "  85,\n",
       "  695,\n",
       "  4199,\n",
       "  44,\n",
       "  820,\n",
       "  15,\n",
       "  1499,\n",
       "  3334,\n",
       "  23022,\n",
       "  311,\n",
       "  39,\n",
       "  33,\n",
       "  592,\n",
       "  9340,\n",
       "  110,\n",
       "  1340,\n",
       "  47,\n",
       "  19307,\n",
       "  25064,\n",
       "  27431,\n",
       "  577,\n",
       "  1499,\n",
       "  1108,\n",
       "  1451,\n",
       "  1108,\n",
       "  967,\n",
       "  1108,\n",
       "  1630,\n",
       "  1108,\n",
       "  17358,\n",
       "  706,\n",
       "  1281,\n",
       "  539,\n",
       "  8508,\n",
       "  20444,\n",
       "  14361,\n",
       "  1519,\n",
       "  331,\n",
       "  65,\n",
       "  20551,\n",
       "  65,\n",
       "  1451,\n",
       "  1,\n",
       "  5924,\n",
       "  1795,\n",
       "  3896,\n",
       "  11680,\n",
       "  91,\n",
       "  280,\n",
       "  391,\n",
       "  1519,\n",
       "  1,\n",
       "  133,\n",
       "  9015,\n",
       "  900,\n",
       "  1956,\n",
       "  1058,\n",
       "  4703,\n",
       "  292,\n",
       "  376,\n",
       "  1499,\n",
       "  1108,\n",
       "  2921,\n",
       "  3069,\n",
       "  136769,\n",
       "  56,\n",
       "  497,\n",
       "  490,\n",
       "  7126,\n",
       "  163,\n",
       "  2901,\n",
       "  506,\n",
       "  108,\n",
       "  7126,\n",
       "  163,\n",
       "  290,\n",
       "  714,\n",
       "  2397,\n",
       "  1181,\n",
       "  121]]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.texts_to_sequences(['দ্রব্যমূল্য নিয়ন্ত্রণে অভিযান শুরুর আগে বাজারের নাম ফাঁস হয়ে যাচ্ছে। এই অভিযোগ উঠে এসেছে বাজার তদারকি জোরদার করা নিয়ে আয়োজিত বাণিজ্য মন্ত্রণালয়ের একটি সভায়। সভায় বাণিজ্য মন্ত্রণালয়ের একজন যুগ্ম সচিব বলেন, আগে বাজারে অভিযানের দিন রিজার্ভ পুলিশের সদস্যদের পাওয়া যেত। এখন সংশ্লিষ্ট থানা থেকে সদস্যদের নিয়ে অভিযান পরিচালনা করতে হয়। এতে বাজারের নাম আগেই প্রকাশ হয়ে যায়।  বৈঠকে আগের মতো রিজার্ভ পুলিশ সদস্যদের নিয়ে অভিযান চালানোর সিদ্ধান্ত হয়। এ জন্য পুলিশ সদস্যদের মোতায়েনের জন্য ঢাকা মেট্রোপলিটন পুলিশকে (ডিএমপি) অনুরোধ জানানো হয়। সংশ্লিষ্ট ব্যক্তিরা বলছেন, অভিযানের আগে বাজারের নাম ফাঁস হয়ে গেলে তদারকিতে কোনো লাভ হয় না। ব্যবসায়ীরা আগে থেকেই সতর্ক হয়ে যান। অনেক সময় দেখা যায়, ভ্রাম্যমাণ আদালত যাওয়ার পরই বেশির ভাগ দোকান বন্ধ করে দেওয়া হয়েছে।  সভায় বাজার তদারকির ক্ষেত্রে নানা দুর্বলতা উঠে আসে। সভায় এখন থেকে বাজারে অভিযানের ক্ষেত্রে সংশ্লিষ্ট ব্যবসায়ী সমিতিকে আরও বেশি সম্পৃক্ত করার সিদ্ধান্ত নেওয়া হয়। সভার কার্যবিবরণী থেকে এসব তথ্য জানা গেছে।  বাজার তদারকি দলের কার্যক্রম জোরদার করার লক্ষ্য নিয়ে বাণিজ্য মন্ত্রণালয়ে সভাটি অনুষ্ঠিত হয় গত ২৩ জানুয়ারি। এতে সভাপতিত্ব করেন বাণিজ্যসচিব শুভাশীষ বসু। সভায় বাণিজ্য মন্ত্রণালয়, শিল্প মন্ত্রণালয়, কৃষি মন্ত্রণালয়, খাদ্য মন্ত্রণালয়, ট্যারিফ কমিশন, রপ্তানি উন্নয়ন ব্যুরো (ইপিবি) , ট্রেডিং করপোরেশন অব বাংলাদেশ (টিসিবি) , বাংলাদেশ শিল্প ও বণিক সমিতি ফেডারেশন (এফবিসিসিআই) , ঢাকা উত্তর সিটি করপোরেশন ও জাতীয় ভোক্তা অধিকার সংরক্ষণ অধিদপ্তরের প্রতিনিধিরা উপস্থিত ছিলেন।  বাণিজ্য মন্ত্রণালয় পবিত্র রমজান মাসসহ বিভিন্ন সময়ে বাজারে তদারকি দল পাঠিয়ে থাকে। এসব তদারকি দল নানা অভিযোগে ব্যবসায়ীদের জরিমানা করে।'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "জাতীয় সংসদে বিএনপি চেয়ারপারসন ও বিরোধীদলীয় নেতা খালেদা জিয়ার দেওয়া ভাষণে ভারত সম্পর্কে আনা নানা অভিযোগের জবাব দিয়েছে দেশটি। ভারতের পক্ষ থেকে এ সংক্রান্ত একটি লিখিত জবাব খালেদা জিয়াকে দেওয়া হয়েছে। আজ বৃহস্পতিবার রাতে বিএনপির গুলশান কার্যালয়ে খালেদা জিয়ার সঙ্গে বাংলাদেশে নিযুক্ত ভারতের হাইকমিশনার পঙ্কজ সরণ সৌজন্য সাক্ষাত্ করেন। সেখানে তিনি খালেদা জিয়ার কাছে ভারতের জবাব সম্বলিত একটি চিঠি দেন। এ সময় বিএনপি চেয়ারপারসনের উপদেষ্টা রিয়াজ রহমান উপস্থিত ছিলেন। সৌজন্য সাক্ষাত্ শেষে রিয়াজ রহমান গুলশান কার্যালয় থেকে বেরিয়ে যাওয়ার সময় প্রথম আলো ডটকমকে একথা বলেন। তিনি জানান, এ ধরনের একটি চিঠি ভারতের পক্ষ থেকে সরকারকেও দেওয়া হয়েছে। বিএনপি চেয়ারপারসন ভারতের হাইকমিশনারকে বলেন, ‘আমরা এই বিষয়গুলো সম্পর্কে কিছুই জানতে পারছি না। ভারত ও বাংলাদেশ সরকারের পক্ষ থেকেও কোনো কিছু জানানো হচ্ছিল না।’ গত ২৯ জুন সংসদে দেওয়া ভাষণে খালেদা জিয়া নারায়ণগঞ্জের কনটেইনার টার্মিনাল নির্মাণের জন্য বাংলাদেশকে না জানিয়ে ভারতের দরপত্র আহ্বান, তিস্তা চুক্তি না হওয়া, টিপাইমুখ বাঁধ নির্মাণ ও সীমান্তে অব্যাহত বাংলাদেশি নাগরিকদের হত্যার অভিযোগ তুলে ধরেন। আজ খালেদাকে দেওয়া চিঠিতে এ সংক্রান্ত বিষয়ে ভারতের অবস্থান তুলে ধরা হয়। এই বিষয়গুলো নিয়ে ভুল বোঝাবুঝির অবসানের জন্য ভারতের পক্ষ থেকে এ চিঠি দেওয়া হয়েছে বলে পঙ্কজ সরণ খালেদা জিয়াকে জানান।রিয়াজ রহমান প্রথম আলো ডটকমকে এ কথা জানিয়ে আরও বলেন, ‘বৈঠকে দেশের সার্বিক রাজনৈতিক পরিস্থিতি নিয়েও কথা হয়েছে।’ তিনি বলেন, চার সিটি করপোরেশন নির্বাচন নিয়েও কথা হয়েছে। নির্দলীয় তত্ত্বাবধায়ক সরকারের দাবি জানিয়ে খালেদা জিয়া বলেন, এর মাধ্যমে সুষ্ঠুভাবে নির্বাচন হয় এবং এটাই তারা চায়। এ সময় পঙ্কজ সরণ খালেদা জিয়াকে বলেন, ‘আপনারা তো সিটি করপোরেশন নির্বাচনে জিতেছেন।’ এর জবাবে খালেদা জিয়া বলেন, ‘চার সিটিতে সুষ্ঠু নির্বাচন হলে আমাদের প্রার্থীরা আরও বেশি ভোটের ব্যবধানে জয়ী হতো।’দুটি দেশের পারষ্পারিক সম্পর্ক নিয়ে বৈঠকে আলোচনা হয়েছে। খালেদা জিয়াকে ভারতের হাইকমিশনার বলেছেন, বিএনপি ভারতের সঙ্গে সুসম্পর্ক চায়। এ প্রসঙ্গে হাইকমিশনার বলেন, ভারতও তাই চায়। তারা বাংলাদেশের অভ্যন্তরীণ কোনো বিষয়ে হস্তক্ষেপ করতে চায় না। ভারত চায় দুটি দেশের জনগনের মধ্যে সম্পর্ক গড়ে উঠুক।বৈঠকে ভারতের হাইকমিশনার তাঁর দেশের প্রধানমন্ত্রী মনমোহন সিংহের একটি অভিনন্দনপত্র বিএনপি চেয়ারপারসনকে দেন। সম্প্রতি ভারতের বিভিন্ন রাজ্যে ভয়াবহ বন্যায় ব্যাপক ক্ষয়ক্ষতি ও প্রাণহানির ঘটনায় দু:খপ্রকাশ করে খালেদা জিয়া চিঠি দেওয়ার মনমোহন এই পত্র দেন।\n",
      "[949, 1730, 443, 6547, 1, 11259, 136, 527, 4627, 396, 5642, 521, 402, 701, 290, 2123, 1593, 3037, 13775, 260, 455, 3, 2, 1463, 14, 1157, 1593, 527, 12238, 396, 285, 60, 239, 218, 164, 2371, 2634, 527, 4627, 11, 469, 3205, 260, 5006, 8673, 76374, 10709, 23882, 59, 159, 10, 527, 4627, 73, 260, 1593, 188498, 14, 1099, 244, 2, 332, 443, 11590, 1286, 14429, 102, 292, 376, 10709, 23882, 250, 14429, 102, 2371, 3495, 3, 6557, 1803, 332, 22, 741, 6170, 46712, 1002, 10, 81, 2, 160, 14, 1099, 260, 455, 3, 32135, 396, 285, 443, 6547, 260, 36253, 6, 840, 7, 13487, 402, 1142, 299, 2920, 21, 521, 1, 65, 178, 455, 1987, 31, 66, 491, 2648, 1377, 33, 1078, 679, 1730, 396, 5642, 527, 4060, 9352, 4542, 4644, 1270, 9, 1978, 8, 3469, 260, 3129, 594, 5394, 801, 8, 1799, 66927, 2392, 676, 1, 3697, 1257, 1255, 2824, 686, 127, 205, 4309, 60, 48034, 396, 3158, 2, 1463, 936, 260, 487, 205, 705, 223, 7, 13487, 209, 876, 21784, 19253, 9, 260, 455, 3, 2, 1099, 396, 593, 27, 8673, 76374, 527, 12238, 797120, 102, 22, 741, 6170, 2, 29, 3469, 50, 6, 60963, 87, 2062, 272, 601, 9387, 29, 14259, 10, 6, 196, 391, 1519, 149, 9387, 29, 285, 14470, 6420, 178, 126, 3469, 527, 4060, 6, 24, 166, 7911, 149, 408, 17, 1417, 142, 10255, 2, 332, 8673, 76374, 527, 12238, 6, 9161, 179, 391, 1519, 296, 270830, 24, 922, 527, 4060, 6, 21690, 9082, 1449, 149, 95, 79, 3013, 50, 76, 2073, 2267, 10546, 525972, 87, 525973, 782, 209, 857, 423, 285, 527, 12238, 260, 5006, 224, 443, 260, 11, 12833, 10255, 2, 987, 5006, 6, 21395, 131, 10255, 142, 109, 2127, 31, 936, 4289, 16, 5939, 21, 521, 5939, 146, 87, 188499, 19, 782, 1698, 525974, 260, 5006, 12, 87, 298, 11456, 16182, 14, 108129, 443, 66928, 244, 574, 260, 56, 3176, 10547, 21435, 1138, 23750, 1, 9723, 1195, 1688, 525975, 4, 527, 4060, 1099, 1145, 11456, 7, 7144, 244]\n"
     ]
    }
   ],
   "source": [
    "print(X_text[2])\n",
    "print(X_token[2])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "258"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(X_token[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1752"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(X_text[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "from keras.preprocessing.sequence import pad_sequences\n",
    "maxlen = 300\n",
    "X_pad = pad_sequences(X_token, padding='post', maxlen=maxlen)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import Counter\n",
    "\n",
    "word_ls = []\n",
    "\n",
    "for sen in X_text:\n",
    "    word_ls.extend(sen.split())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "109678174"
      ]
     },
     "execution_count": 77,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(word_ls)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [],
   "source": [
    "Counter = Counter(word_ls)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[('ও', 1378969), ('এ', 737940), ('থেকে', 732706), ('করে', 699838), ('করা', 614734), ('বলেন,', 565353), ('এই', 552340), ('জন্য', 409721), ('তিনি', 390072), ('সঙ্গে', 378022), ('তাঁর', 368902), ('একটি', 350880), ('এক', 347677), ('নিয়ে', 335447), ('না', 322702), ('করতে', 316282), ('এবং', 312170), ('হয়।', 281108), ('মধ্যে', 273414), ('আর', 267909), ('না।', 254137), ('পর', 244514), ('প্রথম', 243004), ('ওই', 242435), ('কিন্তু', 241280), ('হয়েছে।', 235664), ('বলে', 226974), ('হয়ে', 222604), ('কোনো', 219931), ('কথা', 217626), ('গত', 217454), ('দুই', 213697), ('গতকাল', 210889), ('সময়', 210212), ('যে', 205382), ('এর', 201383), ('তবে', 200661), ('তা', 186705), ('হবে।', 186115), ('দিয়ে', 182785), ('হাজার', 181696), ('করার', 181361), ('তাঁদের', 178225), ('দেওয়া', 173766), ('শুরু', 165695), ('আরও', 162795), ('আগে', 162036), ('এখন', 156784), ('বা', 155063), ('কাজ', 153402), ('বছর', 153057), ('বিভিন্ন', 150626), ('করেন।', 147147), ('আজ', 145461), ('সব', 144512), ('হবে', 142897), ('পুলিশ', 142005), ('ছিল', 141096), ('হিসেবে', 140360), ('তাঁরা', 139720), ('কিছু', 138693), ('টাকা', 137096), ('সেই', 137029), ('অনেক', 137023), ('পর্যন্ত', 137001), ('দেখা', 135218), ('দিন', 134220), ('দিকে', 132402), ('নতুন', 130990), ('বাংলাদেশ', 130534), ('আমরা', 130278), ('কাছে', 130148), ('করেন', 124535), ('শেষ', 123584), ('আমাদের', 123140), ('বেশি', 122863), ('তাঁকে', 122671), ('তার', 120197), ('তাদের', 118438), ('দলের', 118304), ('হয়', 117602), ('দেশের', 117076), ('জেলা', 116997), ('সে', 116979), ('হতে', 116978), ('কর্মকর্তা', 115949), ('প্রধান', 115313), ('উপজেলার', 113239), ('মনে', 111426), ('মো.', 110715), ('হলে', 109757), ('বিরুদ্ধে', 109755), ('পরে', 108696), ('তিন', 108196), ('কারণে', 108170), ('আমি', 107826), ('দিতে', 107338), ('আমার', 105639), ('ওপর', 105413), ('উপজেলা', 104377)]\n"
     ]
    }
   ],
   "source": [
    "most_occur = Counter.most_common(100)\n",
    "print(most_occur)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(408471, 300)"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_pad.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2413449"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vocab_size"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "300"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "maxlen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(408471, 9)"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "y_ohe.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([  1003, 246988,  24457,      4,    713, 121716,    317,  10428,\n",
       "         8186, 188497,   1200,  13329,  12440,  12853, 145659,   4408,\n",
       "           48,    859, 132237,  12886,   1642, 345906, 412319,   4873,\n",
       "          241,    135,   9642,    600,   1926,     37,   3970,   1045,\n",
       "         2451,  12380,   3628,   3401, 412320,  99847,    196,   2746,\n",
       "          236, 128474, 525970,    144,   1648,    790,  27199,     26,\n",
       "        25700,  33093,  64324,   7915,   1417,    317,   5173,  59001,\n",
       "           38,  11341,  35840,   3970,    322,    276,    154,    322,\n",
       "          460,    381,  17236,   4683,    430, 178922,   1994,    152,\n",
       "         1034,   9179,  21865, 525971,   7661,    322,    276,  17236,\n",
       "         4683,    430,   4278,  10344,    859,   3717,   1229, 188497,\n",
       "         2025,   7661,    918,  42701, 150891,  12446,   6901,  13854,\n",
       "          154,    322,  17236,   4683,  12367,   1779,  14670,   3581,\n",
       "        14947,  39912,    226,   4277,    332,   2892,    144, 150891,\n",
       "           26,    210,    954,   2267,   8147,   4717,     23,    317,\n",
       "        26526,    362,   5644, 188497,    918,  11566,   1507, 412321,\n",
       "           32,    682,    480,   2610,  23791,  18539,     23,     78,\n",
       "       163419,  75410,    592,     54,   4732, 797116,   1458,   3970,\n",
       "       124934,  93032,  82578,  25500,  48033,  32546, 797117,    322,\n",
       "          103,    322,    154,  17236,   4683,    430,   3109,    269,\n",
       "          111, 797118,   6129,   2811,  12440,    324,    271,   1491,\n",
       "         2217,  93032,      1, 797119,  17261,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0,      0,      0,      0,      0,\n",
       "            0,      0,      0,      0])"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_pad[1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 85,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(408471, 1)"
      ]
     },
     "execution_count": 85,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "class_labels.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0, 7, 0, ..., 7, 7, 0], dtype=int64)"
      ]
     },
     "execution_count": 86,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "class_labels[:,0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "c_l = list(class_labels[:,0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "c_l = set(c_l)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0\n",
      "1.7568342910229502\n",
      "1\n",
      "23.686343867787766\n",
      "2\n",
      "42.01944244419298\n",
      "3\n",
      "13.407437799514213\n",
      "4\n",
      "13.237976406533575\n",
      "5\n",
      "37.64015849612974\n",
      "6\n",
      "26.018918402446015\n",
      "7\n",
      "8.334101852607525\n",
      "8\n",
      "33.7133542423242\n"
     ]
    }
   ],
   "source": [
    "class_weight = {}\n",
    "\n",
    "for c in (list(c_l)):\n",
    "    print(c)\n",
    "    c_w = len(class_labels)/np.sum(class_labels==c)\n",
    "    print(c_w)\n",
    "    class_weight[c] = c_w"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "embedding_7 (Embedding)      (None, 300, 8)            19307592  \n",
      "_________________________________________________________________\n",
      "bidirectional_13 (Bidirectio (None, 300, 256)          141312    \n",
      "_________________________________________________________________\n",
      "bidirectional_14 (Bidirectio (None, 256)               395264    \n",
      "_________________________________________________________________\n",
      "dense_7 (Dense)              (None, 9)                 2313      \n",
      "=================================================================\n",
      "Total params: 19,846,481\n",
      "Trainable params: 19,846,481\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "from keras.models import Sequential\n",
    "from keras.layers import Embedding, CuDNNLSTM, Bidirectional, Dense\n",
    "\n",
    "embedding_dim = 8\n",
    "\n",
    "model = Sequential()\n",
    "model.add(Embedding(input_dim=vocab_size, \n",
    "                           output_dim=embedding_dim, \n",
    "                           input_length=maxlen))\n",
    "model.add(Bidirectional(CuDNNLSTM(128, return_sequences = True)))\n",
    "model.add(Bidirectional(CuDNNLSTM(128))) \n",
    "model.add(Dense(9, activation='softmax'))\n",
    "model.compile(optimizer='adam',\n",
    "              loss='categorical_crossentropy',\n",
    "              metrics=['accuracy'])\n",
    "model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [],
   "source": [
    "from keras.callbacks import LearningRateScheduler, EarlyStopping\n",
    "from math import exp\n",
    "def exp_decay(epoch):\n",
    "    initial_lrate = 0.1\n",
    "    k = 0.1\n",
    "    lrate = initial_lrate * exp(-k*epoch)\n",
    "    return lrate\n",
    "lrate = LearningRateScheduler(exp_decay)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[0.1,\n",
       " 0.09048374180359596,\n",
       " 0.0818730753077982,\n",
       " 0.0740818220681718,\n",
       " 0.06703200460356394]"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[exp_decay(i) for i in range(5)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from sklearn.model_selection import StratifiedShuffleSplit\n",
    "\n",
    "sss = StratifiedShuffleSplit(n_splits=2, test_size=0.3, random_state=0)\n",
    "sss.get_n_splits(X_pad, y_ohe)\n",
    "\n",
    "#print(sss)       \n",
    "\n",
    "for train_index, test_index in sss.split(X_pad, y_ohe):\n",
    "    #print(\"TRAIN:\", train_index, \"TEST:\", test_index)\n",
    "    X_train, X_test = X_pad[train_index], X_pad[test_index]\n",
    "    y_train, y_test = y_ohe[train_index], y_ohe[test_index]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[0],\n",
       "       [7],\n",
       "       [0],\n",
       "       ...,\n",
       "       [7],\n",
       "       [7],\n",
       "       [0]], dtype=int64)"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "class_labels"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 228743 samples, validate on 57186 samples\n",
      "Epoch 1/10\n",
      "228743/228743 [==============================] - 97s 424us/step - loss: 8.3862 - acc: 0.6757 - val_loss: 6.4694 - val_acc: 0.7250\n",
      "Epoch 2/10\n",
      "228743/228743 [==============================] - 98s 428us/step - loss: 4.9663 - acc: 0.8157 - val_loss: 5.6947 - val_acc: 0.8057\n",
      "Epoch 3/10\n",
      "228743/228743 [==============================] - 98s 428us/step - loss: 3.0535 - acc: 0.8760 - val_loss: 4.6644 - val_acc: 0.8425\n",
      "Epoch 4/10\n",
      "228743/228743 [==============================] - 98s 431us/step - loss: 1.7724 - acc: 0.9164 - val_loss: 4.2003 - val_acc: 0.8679\n",
      "Epoch 5/10\n",
      "228743/228743 [==============================] - 99s 431us/step - loss: 1.0102 - acc: 0.9488 - val_loss: 4.4401 - val_acc: 0.8819\n",
      "Epoch 6/10\n",
      "228743/228743 [==============================] - 99s 431us/step - loss: 0.5970 - acc: 0.9649 - val_loss: 4.8751 - val_acc: 0.8862\n",
      "Epoch 7/10\n",
      "228743/228743 [==============================] - 99s 431us/step - loss: 0.4106 - acc: 0.9742 - val_loss: 4.8832 - val_acc: 0.9014\n",
      "Epoch 8/10\n",
      "228743/228743 [==============================] - 99s 432us/step - loss: 0.2760 - acc: 0.9815 - val_loss: 5.7314 - val_acc: 0.9080\n",
      "Epoch 9/10\n",
      "228743/228743 [==============================] - 99s 432us/step - loss: 0.2167 - acc: 0.9859 - val_loss: 5.8225 - val_acc: 0.8900\n",
      "Epoch 10/10\n",
      "228743/228743 [==============================] - 101s 440us/step - loss: 0.2202 - acc: 0.9861 - val_loss: 5.9164 - val_acc: 0.9103\n"
     ]
    }
   ],
   "source": [
    "history = model.fit(X_train, y_train,\n",
    "                    epochs=10,\n",
    "                    verbose=1,\n",
    "                    validation_split=0.2,\n",
    "                    batch_size=256,\n",
    "                    class_weight = class_weight)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "122542/122542 [==============================] - 180s 1ms/step\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[0.39624959501702917, 0.9121525680961823]"
      ]
     },
     "execution_count": 61,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.evaluate(X_test, y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXoAAAD7CAYAAABkO19ZAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjAsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+17YcXAAAgAElEQVR4nO3deXxU5dn/8c+VjeyQBEggISTsAWQNi6LWXVxRUR/cta08VrFqW5/q87PWam1tazfr9qiltnWhggtoqQsq4gJK2CGA7GQIkJCN7Ov1++MMkIQAA0xyksn1fr3mlZk595m5Zl7wzZ373Oc+oqoYY4wJXEFuF2CMMaZ1WdAbY0yAs6A3xpgAZ0FvjDEBzoLeGGMCnAW9McYEuGMGvYjMFJE8EVl7hO0iIk+JyGYRWS0iYxptu0VENnlvt/izcGOMMb7xpUf/MjD5KNsvAgZ6b9OB5wBEJB74OTABGA/8XETiTqZYY4wxxy/kWA1UdZGIpB2lyRTgH+qcebVERLqJSC/gLOAjVS0EEJGPcH5hvH609+vevbumpR3t7YwxxjS3bNmyfarao6Vtxwx6HyQDOY0ee7zPHen5w4jIdJy/BkhNTSUrK8sPZRljTOchIjuOtM0fB2Olhef0KM8f/qTqC6qaqaqZPXq0+AvJGGPMCfJH0HuAPo0epwC5R3neGGNMG/JH0M8DbvbOvpkIlKjqbuAD4AIRifMehL3A+5wxxpg2dMwxehF5HefAancR8eDMpAkFUNXngfnAxcBmoAK4zbutUEQeA5Z6X+rRAwdmj1dtbS0ej4eqqqoT2b3DCQ8PJyUlhdDQULdLMcYEAGlvyxRnZmZq84Ox27ZtIyYmhoSEBERaGvoPHKpKQUEBpaWlpKenu12OMaaDEJFlqprZ0rYOcWZsVVVVpwh5ABEhISGh0/z1YoxpfR0i6IFOEfIHdKbPaoxpff6YR2+MMR1GQ4Oyv6qWgvIaCstrKCirprSqzpn7raAoqs5ccG32GNVDzze63+AdAm/evvFjZ/vRXzupawTXT0j1+2e2oPdRcXExr732Gnfeeedx7XfxxRfz2muv0a1bt1aqzJjOraFBKa6spbC8moIyb3iX13jvVx8M9MLyGvaV1VBUUUN9Q/s6NnnA6NRuFvRuKi4u5tlnnz0s6Ovr6wkODj7ifvPnz2/t0owJKPUNSnHFoWB2Qrq6UQ+8hoLy6oPhXVRRe8Tgjg0PISG6C/FRYfSJj2RUn24kRIcRH9WFhKgw4r232PBQRPDeBMF7H/H+BJo9bt4OgaAj7E8Lr9ekXSsP11rQ++iBBx5gy5YtjBo1itDQUKKjo+nVqxcrV64kOzubK664gpycHKqqqrjnnnuYPn06AGlpaWRlZVFWVsZFF13E6aefzldffUVycjJz584lIiLC5U9mTNspq65jR0E5Owsq2FFYwa6iSgqa9cSLK2o4Uoe7W2Qo8VFhJESFkd49irF94+kefSiwE6KcUE+IDiMuMoywkA5zGLJVdbig/8W768jO3e/X1xzaO5afXzbsqG2eeOIJ1q5dy8qVK1m4cCGXXHIJa9euPTgFcubMmcTHx1NZWcm4ceOYOnUqCQkJTV5j06ZNvP7667z44otce+21vPnmm9x4441+/SzGuElVyS+rdoLcG+Y7C8q9PysoKK9p0r5bZCjdvT3uAT2jGe8N8QO98ISoMOK9QR4XGUZosAX3iehwQd9ejB8/vsk896eeeoq3334bgJycHDZt2nRY0KenpzNq1CgAxo4dy/bt29usXmP8pa6+gdziKrYfDPBydhRUsLPQuVXU1B9sGyTQq2sEfRMiuWBYIqnxUfRNiCQ1PpK+CZHEhNtJgW2hwwX9sXrebSUqKurg/YULF7JgwQIWL15MZGQkZ511Vovz4Lt06XLwfnBwMJWVlW1SqzHHq6Kmjp2FTq/cGWY5FOa7iiqpazS2EhYS5AR3fCSn9k+gb3wkfbtH0Tc+kpS4SBs+aQc6XNC7JSYmhtLS0ha3lZSUEBcXR2RkJBs2bGDJkiVtXJ0xx0dVKSyvOTikssMb5gfGzvNLq5u07xoRSt+ESE5J7sqlI3rRNz6K1ASnV54YE05QkJ370Z5Z0PsoISGBSZMmMXz4cCIiIkhMTDy4bfLkyTz//POMGDGCwYMHM3HiRBcrNaap4ooaNuwpZeOeUu/P/WzaW0ZpdV2Tdr26hpMaH8nZg3vQNyHq4PBK3/goukbaEEtH1iHWulm/fj0ZGRkuVeSOzviZzcmprqtnc14ZG5uEeil79h8aRowND2FIUiyDkqJJ7x5N3/hI0ro7QyzhoUeeJmzav6OtdWM9emM6mIYGxVNUyYY9+51A3+sE+rZ95Qfnk4cFB9G/ZzSn9k9gcFIMg5NiGJIUQ1JsuC2x0QlZ0BvTjhWV1xwcbtm41+mlf7unlPJGM1v6xEcwODGWycOSDgZ6Wvcom4poDrKgN6YdqKp1hl0OhPqBYZe8RgdFu0WGMjgxhmsy+xzspQ9KjCG6i/03Nkdn/0KMaUMNDUpOUUWjg6NOqG/fV37wbNCwkCAG9ozm9IHdGZIUw+CkWIYkxdAzposNu5gTYkFvTCsrqaxl4cY8Pl6fx8KNeeyvcma7iEBqfCSDE2O49JReDE6KZXBSDGkJkYTYsIvxIwt6Y1rBjoJyFqzPY0H2XpZuL6SuQUmICuOCYUmMS4tjcFIsgxKjiQyz/4Km9dm/slYSHR1NWVkZubm5/PCHP2TOnDmHtTnrrLN48sknycxscUaU6UDqG5SVOUV8lJ3Hx+v3simvDIBBidHcfmY/zstIZFSfbgTbiUXGBRb0rax3794thrzp+Mqr6/h8Uz4L1ufxyYY8CstrCAkSJvSL57rxqZyXkUhqQqTbZRpjQe+rn/70p/Tt2/fgevSPPPIIIsKiRYsoKiqitraWX/7yl0yZMqXJftu3b+fSSy9l7dq1VFZWctttt5GdnU1GRoatddMB5RZX8vEGZ0hm8ZYCauobiA0P4ewhPTkvI5EzB/Wga4SdRWral44X9P95APas8e9rJp0CFz1x1CbTpk3j3nvvPRj0b7zxBu+//z733XcfsbGx7Nu3j4kTJ3L55ZcfcWbEc889R2RkJKtXr2b16tWMGTPGv5/D+F1Dg7I2t+TgeHv2bmeJ7LSESG4+tS/nZiSSmRZnc9ZNu9bxgt4lo0ePJi8vj9zcXPLz84mLi6NXr17cd999LFq0iKCgIHbt2sXevXtJSkpq8TUWLVrED3/4QwBGjBjBiBEj2vIjGB9V1dbz1ZZ9fJSdxycb9rJ3fzVBAmP7xvHgRUM4NyOR/j2ibKqj6TB8CnoRmQz8GQgGXlLVJ5pt7wvMBHoAhcCNqurxbqsHDnTBd6rq5SdV8TF63q3p6quvZs6cOezZs4dp06bx6quvkp+fz7JlywgNDSUtLa3F5Ykbs3Bon/JLq/lkw14WrM/ji037qKytJyosmO8M7sG5QxI5e0hP4qPC3C7TmBNyzKAXkWDgGeB8wAMsFZF5qprdqNmTwD9U9e8icg7wa+Am77ZKVR3l57pdMW3aNG6//Xb27dvHZ599xhtvvEHPnj0JDQ3l008/ZceOHUfd/8wzz+TVV1/l7LPPZu3ataxevbqNKjfNqSob95by8fo8PsreyypPMaqQ3C2CazJTOC8jkQn94ukSYgt9mY7Plx79eGCzqm4FEJFZwBSgcdAPBe7z3v8UeMefRbYXw4YNo7S0lOTkZHr16sUNN9zAZZddRmZmJqNGjWLIkCFH3f8HP/gBt912GyNGjGDUqFGMHz++jSo3ADV1DXy9rYCP1+exYP1ePEXOwfCRKV350XmDODcjkYxeMfZXlwk4vgR9MpDT6LEHmNCszSpgKs7wzpVAjIgkqGoBEC4iWUAd8ISqHvZLQESmA9MBUlNTj/tDtKU1aw4dCO7evTuLFy9usV1ZmTOPOi0tjbVr1wIQERHBrFmzWr9I00RBWTVPfvgt763KpbS6jvDQIE4f0J27zh7AuUN60jM23O0SjWlVvgR9S92b5ovY/wR4WkRuBRYBu3CCHSBVVXNFpB/wiYisUdUtTV5M9QXgBXDWoz+O+o05ooYGZdbSHH7z/gYqauq4cnQyFwxNYtKA7kSE2ZCM6Tx8CXoP0KfR4xQgt3EDVc0FrgIQkWhgqqqWNNqGqm4VkYXAaKBJ0Bvjb2t3lfD/3lnLqpxiJvaL55dXDGdAzxi3yzLGFb4E/VJgoIik4/TUpwHXN24gIt2BQlVtAB7EmYGDiMQBFapa7W0zCfjtiRSqqp1m7LS9XfWrI9lfVcsfPvyWfyzeTnxUGH/6r1FMGdW70/zbMaYlxwx6Va0TkRnABzjTK2eq6joReRTIUtV5wFnAr0VEcYZu7vLungH8n4g0AEE4Y/TZh73JMYSHh1NQUEBCQkLA/4dVVQoKCggPt3Hj46GqzFuVyy//vZ59ZdXcNLEvP75gsJ2lagwd5JqxtbW1eDyeY85RDxTh4eGkpKQQGmoh5Yst+WU8PHctX24uYERKV355xXBGpHRzuyxj2lSHv2ZsaGgo6enpbpdh2pnKmnqe+XQz/7doC+GhwTx2xXCuH59qK0Qa00yHCHpjmvtkw14enrsOT1ElV41O5sGLM+gR08XtsoxplyzoTYeyq7iSX8xbx4fZexnQM5pZ0ycysV+C22UZ065Z0JsOoba+gb9+sY0/L9gEwE8nD+F7p6cTFmKrRhpzLBb0pt37emsBD72zlk15ZVwwNJGHLxtKSpxd0MMYX1nQm3ZrX1k1v5q/nreW7yIlLoK/3pLJuRmJbpdlTIdjQW/anfoG5bVvdvK79zdQWVvPjLMHcNfZA2zZAmNOkAW9aVfWeEp46J01rPKUcFr/BB6dMpwBPaPdLsuYDs2C3rQLJZW1/OHDjfxzyQ7io7rw52mjuHykLV1gjD9Y0BtXqSpzVzpLFxSWV3PzqWn86IJBxIbbWcHG+IsFvXHN5rxSfvbOOhZvLWBkn268fNs4hid3dbssYwKOBb1pc5U19fzlk028+PlWIkKDefzK4UwbZ0sXGNNaLOhNm1qQvZefz1vHruJKpo5J4cGLh9A92pYuMKY1WdCbNpFTWMEv3s1mwfq9DEqM5l/TJzLBli4wpk1Y0JtWVVPXwEtfbOWpjzchCA9eNITvnp5OaLAtXWBMW7GgN61mZ0EFd762jLW79jN5WBIPXzaU3t0i3C7LmE7Hgt60ig/W7eEns1chwP/dNJYLhyW5XZIxnZYFvfGr2voGfvOfDbz0xTZGpHTlmevH0CfeFiAzxk0W9MZvcosrmfHacpbvLOaWU/vyv5dk0CXE1qcxxiclu6B0N6S0eDXAk2JBb/zis2/zuXfWCmrqGvjLdaO5bGRvt0sypv2rq4aN/4EVr8CWj6H7YLhrid/fxoLenJT6BuVPC77l6U83MzgxhmdvGEO/HrYImWmmrhpKPFC807mV5Dg/q0thwLmQMQWie7hdZdvZswZWvAqr/wWVhRCbDGf8BEZd3ypvZ0FvTlheaRX3vL6SxVsLuDYzhV9cPtyWEu6saiubBnnzQC/dA+ih9hLshFtQMGycD/Pvh7QzYPhVMOQyiArAcywqi2DNHKf3vnslBIfBkEth9I3Q7yznu2gloqrHbtWGMjMzNSsry+0yzDEs2VrA3a+voLSqlsemDOeazD5ul2RaU03FodAu3gHFOU3DvGxv0/ZBIdA1BbqlQtdU52e3VOjWx/kZ0xuCQ0AV8tbDurdg7VtQuMX5JdDvLBh2JWRcChFxbnxi/2hogG0LnXBf/x7UV0PSCBh9E5xyNUTG++2tRGSZqrY4wO9T0IvIZODPQDDwkqo+0Wx7X2Am0AMoBG5UVY932y3AQ96mv1TVvx/tvSzo27eGBuW5z7bw+w83kpYQxbM3jmFIUqzbZZmTVV3qhPeRwrxiX9P2wWGHgrylMI/pdfw9VFVnSGPdW7DubSjaDkGh0P8cJ/SHXAzhHWTRu6LtsPI151aSA+HdYMR/wegboNfIVnnLkwp6EQkGvgXOBzzAUuA6Vc1u1GY28J6q/l1EzgFuU9WbRCQeyAIycf5uWwaMVdWiI72fBX37VVRew49nr+KTDXlcOqIXT0wdQXQXG/3rUGqrYMcXsG0RFG71BnmOM07cWHCXpj3w5mEenQhBrXh2syrkrnACf907ULLT+eUy4DwYdhUMngxdYlrv/U9EbSWsfxdW/NP5fhHnl9ToG2HwxRAa3qpvf7Sg9+V/6Xhgs6pu9b7YLGAKkN2ozVDgPu/9T4F3vPcvBD5S1ULvvh8Bk4HXj/dDGHet2FnEjNdWkF9azWNThnHjxL52UZCOonAbbF4Amz6EbZ9DXaUTmnHpTmgnjz08zKN6tG6QH4sIJI9xbuc/Cp4sb+i/7Yzph4TDwPOdnv6gyRAW5U6dqpC73BmaWfMmVJdAXBqc/RCMus75q6cd8CXok4GcRo89wIRmbVYBU3GGd64EYkQk4Qj7Jjd/AxGZDkwHSE1N9bV20wZUlZe/2s6v5q8nMTacOT84lREp3dwuyxxNbRXs+BI2fQSbP4KCzc7z8f1gzM1OQKadDqEdZDkKEegzzrld8EvwfOOM52e/4/SgQyJg0IXOgdyBF7TN5yrf58yYWfEK5GU7NQyd4vTe+05y95dkC3wJ+pa6bc3He34CPC0itwKLgF1AnY/7oqovAC+AM3TjQ02mDeyvquWBN1czf80ezstI5PfXjKRrpF35qV062Gv/CLZ/DrUVTq837XQYd7sT7gn93a7y5AUFQepE5zb517BzsTf05zrBHxoFgy9yQr//uf4dLqmvc77jla84c98b6iA5Ey79k/N+7fj4gS9B7wEaT6lIAXIbN1DVXOAqABGJBqaqaomIeICzmu278CTqNW1kXW4Jd726nJyiSv734iHcfkY/G6ppTw702g+Ee8Em5/m4dKdXOfACp2cZFsDLTwQFO7/I0k6Hi37rHHtY9zZkz4O1c6BLrDM2PuxKZ6w8JOzE3mffJqfnvmoWlO2ByO4w4Q7ne+6Z4d/P1Ep8ORgbgnMw9lycnvpS4HpVXdeoTXegUFUbRORxoF5VH/YejF0GjPE2XY5zMLbZkZ9D7GCsu1SVfy3N4eF564iPDOPp60eTmea/KWDmJBRt9w7HLHAO9tVWOAdN0053gj1Qeu0nq74Wtn3mhP76d6GqxOltD7nMCf1+34HgY/xlWl3qHARe8QrkLHGmfA68wAn3QRcee38XnNTBWFWtE5EZwAc40ytnquo6EXkUyFLVeTi99l+LiOIM3dzl3bdQRB7D+eUA8OjRQt64q6KmjofeXstbK3ZxxsDu/Om/RpFgV39yT121d6x9gTPWvu9b5/m4NCdwBnjH2gO5134igkOd2TkDzoNL/ghbP/WG/jxn2CUiDjIuc2bvpJ3hzOcH58DqziVOuK97G2rLIWEgnPcLGDkNYjruCqx2wpQBnAt13/nqcjbllXHPuQO5+5yBdg1XNxTtcEJ90wKnV9qk136+E+4J/Z0DlOb41FbBlk+cefob/wM1Zc4wzNDLnRO4Vr3unLAVFu30/EffBH3Gd5jv+mSnV5oAN3flLh58aw0RocH887sTOH1gd7dL6jzqqmHHV4emPzbutY+6wTtD5gzrtftDaLhz0tWQi50575s+ckJ/1SznF2rqaXDGj53ZM10Ca70mC/pOrKq2nsfey+bVr3cyLi2Ov1w3hqSurXtSh8E5SWnTR85t2yJniCC4C6RNgrG3ecfaB3SYnmSHFBrh9OSHXg415VC1H2J7uV1Vq7Gg76QaX+bvju/05ycXDCLEruN6YlSdYYDyfVBR6CwXUL7P+VlRAOUFh54ry3PO8gTo1tc5qWbgBd6xdpdO+unswqIC/ru3oO+E3l+7h/vnrCJIhJduzuS8oYlul9S+NDQ4Kw0eDGpvaJcXOI+bBHmhc7++uuXXCg5zxoGjEpyfcWkw8Q4n3K3XbtqIBX0n0vgyfyNTuvJ0Z7rMX1WJc6CzcTgfDOyCpoFeWQTa0PLrdIl1VhyM7O4ss5s00nkc1d0b6N0hMsG5RXV3DuxZmBuXWdB3Eo0v83fraWk8ePGQwL7MX22VM/9562ewdaGz/nfz8JYgiIg/FM49BkPUJCewDwR149COTIAQm25qOh4L+k6g8WX+nr5+NJeOCMDL/DXUO2F+INhzvoa6KudEl5RxcOb9kDj8UM87MgEiurXqxR6MaS8s6ANYQF/mT9VZrGvrQue2/XNneAag5zDI/K5z8Yq+p7W/5WyNaWMW9AGqoKyau19fwVdbAugyf/t3OycRHei1l3qXXOqaChmXO8GefiZE93SxSGPaHwv6AFRRU8dtLy9l455Sfnf1iI57mb+qEtj+xaFg37fReT4i3gn0ft9xwj0u3Q54GnMUFvQBpq6+gRmvrWDtrhJevDmTczM60NTJ2ipnrfGtC51wz13uHEANiXCGYEbf4AR74intbr1vY9ozC/oAoqr8bO46PtmQx+NXDm//Id9QD3tWHwr2nYsPHUBNHgtn/MTptaeMs9kuxpwEC/oA8uzCLbz+zU7uPKs/N0zo63Y5h1N1rlO69VMn2LctgqpiZ1uPDOf0/37fcdZRD7cLjhvjLxb0AeKt5R5+98FGrhjVm/svHOx2OYdUFjlruhwYZ9/vcZ6PTYEhlzrBnn5mh14C1pj2zoI+AHy5eR//M2c1p/VP4LdXj2wfV4Iq3QuLn4asmc46MBFxziqMZ/zIGWeP72cHUI1pIxb0HdyGPfu545/L6N8jmudvGktYiMsHKYt2wFdPwfJ/QkOtc3GHiT+A3qPt5CRjXGJB34HtLqnk1plLieoSwt9uG0dsuIuXN8v/Fr74I6x5AxBnVcZJ99ql7YxpByzoO6j9VbXcOnMpZdV1zL7jVHp3i3CnkNyV8MUfnAsyh4TDuNvhtBnQNcWdeowxh7Gg74Bq6hr4wSvL2JJfxt+/O56MXi7MUNmxGD5/0rkyUpdYZ+x94p3OWjLGmHbFgr6DUVV++uZqvtxcwO+vGcmkAW0YrKqw5WNY9HvY+ZWzONi5D8O470N417arwxhzXCzoO5gnP9zI2yt28ePzBzF1bBsNjzQ0wIb34PPfOytExibD5N/AmJvtWqbGdAAW9B3Ia1/v5JlPt3Dd+D7MOGdA679hfS2smeMcZN230ZkSeflfYMQ0CAlr/fc3xviFBX0H8fH6vTz0zhrOHtyDx6YMb9258rVVsPIV+PLPzoWsew6DqX+FYVfaFEljOiCfgl5EJgN/BoKBl1T1iWbbU4G/A928bR5Q1fkikgasB7zLDrJEVe/wT+mdx6qcYma8toJhvZ3L/7XaRbyrSyHrb86JTmV7ITkTLvotDJpsJzcZ04EdM+hFJBh4Bjgf8ABLRWSeqmY3avYQ8IaqPiciQ4H5QJp32xZVHeXfsjuPnQUVfO/vS0mIDuOvt2YS1aUV/girKIRvXoAlzzlrz6R/B6a+5JzJagFvTIfnS2qMBzar6lYAEZkFTAEaB70CB+b4dQVy/VlkZ1VUXsOtf/uG2npl1vTx9IwJ9+8blO6Bxc8cWqZg8CXONMmUTP++jzHGVb4EfTKQ0+ixB5jQrM0jwIcicjcQBZzXaFu6iKwA9gMPqernzd9ARKYD0wFSU1N9Lj6QVdXW8/1/ZOEpruTV709gQE8/XgKwaIcz/r7iFWeZguFT4fT7IHGY/97DGNNu+BL0Lf3trs0eXwe8rKq/F5FTgX+KyHBgN5CqqgUiMhZ4R0SGqer+Ji+m+gLwAkBmZmbz1+506huU+/61kuU7i3jm+jGMS4v3zwvnf+ucxbr6DZAgGHU9TLrHlikwJsD5EvQeoPG16FI4fGjme8BkAFVdLCLhQHdVzQOqvc8vE5EtwCAg62QLD2SP/3s9/1m7h4cuyeDiU3qd/AvmrnTmwK9/11mmYMJ/w6kzoGvyyb+2Mabd8yXolwIDRSQd2AVMA65v1mYncC7wsohkAOFAvoj0AApVtV5E+gEDga1+qz4AvfT5VmZ+uY3bJqXx/TP6ndyL7fjKCfjNC6BLVzjzJzDhDlumwJhO5phBr6p1IjID+ABn6uRMVV0nIo8CWao6D/gx8KKI3IczrHOrqqqInAk8KiJ1QD1wh6oWttqn6eDmr9nN4/PXM3lYEg9dMvTEX6iiEN67D7Lf8S5T8HMY9z1bpsCYTkpU29eQeGZmpmZldb6RnaXbC7nhpa85Jbkrr35/AuGhJ3hi0qaPYO5dTtif9YCz0JgtU2BMwBORZara4pQ5OzO2HdicV8b3/55FSrcIXro588RCvqYcPnzImSrZcyjc+CYkneL/Yo0xHY4FvcvySqu49W/fEBosvHzbeOKiTmANmZyl8PZ0KNwGp90NZz8EoX6ec2+M6bAs6F1UXl3H917OoqCshlnTJ5KacJxDLHU18NlvnCmTsSlw63uQdnrrFGuM6bAs6F1SV9/AjNeWsy63hBdvzmRkn27H9wJ5G5xe/O5VMOoGmPwEhLtwARJjTLtnQe8CVeVnc9fy6cZ8Hr9yOOdmJPq+c0MDfP08LHgEukTDf70CGZe1Wq3GmI7Pgt4Fz3y6mde/yeHOs/pzw4S+vu9YnANz74Rti2DQRXD5UxDds/UKNcYEBAv6NvbmMg9PfvgtV45O5v4LB/u2k6qzbMH8+6GhDi57yrm6k60saYzxgQV9G/pi0z5++uZqTuufwG+mjvDt4iEVhfDevZA9F/pMhCufc670ZIwxPrKgbyPZufu545Vl9O8RzfM3jSUsxIeLh2z6CObOgIoC5+zWSffYFZ6MMcfNgr4N5BZXctvL3xDdJYS/3TaO2PDQo+/Q/OSnG2ZDrxFtU6wxJuBY0LeykspabvvbUiqq63njjlPp3S3i6Ds0Pvnp1Blwzs/s5CdjzEmxoG9FNXUN3PHPZWzJL+Pv3x1PRq+jzHOvr3VOfvr893bykzHGryzoW4mq8j9zVrF4awF/uHYkkwYcZWlgO/nJGNOKLOhbye8+2Mg7K3P5yQWDuGpMSsuN7OQnY0wbsKBvBa8s2cGzC7dw3fg+3HX2gJYblXjgnR94T36a7MyNjzmOM2SNMcZHFvR+tnZXCQ/PXcvZg3vw2JThh8+Vt82QwB8AABBISURBVJOfjDFtzILez179eidhIUH8adpoQoKbzZVvfOWnPhPgyuft5CdjTKuzoPejypp63luVy8XDe9E1otlc+U0LvFd+spOfjDFty4Lejz5Yt4fS6jquzmx08LWmHD78GWT9FXpk2MlPxpg2Z0HvR7OX5ZASF8HE9ATniZyl8PZ/Q+FWO/nJGOMaC3o/ySms4MvNBdx33iCCtA4+OXDyUzLc8i6kn+F2icaYTsqC3k/eXO5BBK7J6AIvnQe7V8LI6+GiJyC8q9vlGWM6MQt6P2hoUOYs83Ba/wR6f/kQ5K2Ha/8BQ6e4XZoxxuDDWrkgIpNFZKOIbBaRB1rYnioin4rIChFZLSIXN9r2oHe/jSJyoT+Lby+WbCvAU1TJPb2ynXXjz3rAQt4Y024cs0cvIsHAM8D5gAdYKiLzVDW7UbOHgDdU9TkRGQrMB9K896cBw4DewAIRGaSq9f7+IG6ak+WhT5cKxq37FfQaBaf90O2SjDHmIF969OOBzaq6VVVrgFlA8+6qAgdW4eoK5HrvTwFmqWq1qm4DNntfL2CUVtUyf+1u/hL3L6SqGK54FoJtRMwY0374EvTJQE6jxx7vc409AtwoIh6c3vzdx7EvIjJdRLJEJCs/P9/H0tuHf6/ezen1SxlV/BGc+RNIHOZ2ScYY04QvQd/SIiza7PF1wMuqmgJcDPxTRIJ83BdVfUFVM1U1s0ePHj6U1H78e+kGnugyE00cBqf/yO1yjDHmML6MMXiAPo0ep3BoaOaA7wGTAVR1sYiEA9193LfD2pJfxmW7nyY+dD8y5W0ICXO7JGOMOYwvPfqlwEARSReRMJyDq/OatdkJnAsgIhlAOJDvbTdNRLqISDowEPjGX8W7LWvBHK4N+YzKcXdB79Ful2OMMS06Zo9eVetEZAbwARAMzFTVdSLyKJClqvOAHwMvish9OEMzt6qqAutE5A0gG6gD7gqUGTd1FcV8Z+Nj5Iam0vv8/+d2OcYYc0Q+TQ9R1fk4B1kbP/dwo/vZwKQj7Ps48PhJ1Ngu7X3rAXppAV+f/jS9bf0aY0w75tMJU6aZbYtI3vw6rwZdythJAXkOmDEmgNiE7+NVU079O3eTo0nsHH0fYSH2u9IY075ZSh2vjx8juGQ7/1NzO1eOG+h2NcYYc0zWoz8eO5fA18/zbpdLKI+fwNDescfexxhjXGY9el/VVsLcu6iJTuanJVO5ZmzKsfcxxph2wILeVwt/DQWbmdXrfuqCI5ky6rCVHIwxpl2yoPfFrmXw1V+oH3Uzf9zSm/OHJhIXZWfBGmM6Bgv6Y6mrhnfugugkPkm9m6KK2qYX/zbGmHbODsYey6InIX89XD+b178qITG2C2cO7FgLrxljOjfr0R/N7tXwxR9g5HXkJZ3Jwo15XDUmheCglhblNMaY9smC/kjqa2HunRARDxf+irdW7KJBsdk2xpgOx4L+SL78E+xZA5f+AY2IY3ZWDmP7xtGvR7TblRljzHGxoG9J3nr47Lcw7CrIuIwVOcVsyS+33rwxpkOyoG+uvg7m3gVdYuDi3wEwO8tDRGgwl4zo5XJxxhhz/GzWTXNLnnXmzU/9K0R1p7KmnndX5XLRKUnEhIe6XZ0xxhw369E3tm8zfPo4DLkUhk8F4P11uymrruOasX2OsbMxxrRPFvQHNDTAvBkQ0gUu+T2IM4VydpaHPvERTEiPd7lAY4w5MRb0Byx9EXYuhslPQEwSADmFFXy1pYCrx/QhyObOG2M6KAt6gKLtsOARGHA+jLzu4NNvLvcgAlPH2gJmxpiOy4JeFebdDRIMl/3p4JBNQ4MyZ5mH0/onkBIX6XKRxhhz4izol70M2xbBBY9B10Pz5JdsK8BTVGkHYY0xHV7nDvoSD3z4M0j/Doy9tcmmOVkeYsJDmDw8yZ3ajDHGT3wKehGZLCIbRWSziDzQwvY/ishK7+1bESlutK2+0bZ5/iz+pKjCu/eA1sPlTx0csgEorapl/trdXDayN+GhwS4WaYwxJ++YJ0yJSDDwDHA+4AGWisg8Vc0+0EZV72vU/m5gdKOXqFTVUf4r2U9WvQ6bF8BFv4W4tCab3lu9m6raBlvywBgTEHzp0Y8HNqvqVlWtAWYBU47S/jrgdX8U12r274b3H4DUU2Hc7Ydtnp2Vw4Ce0Yzq082F4owxxr98CfpkIKfRY4/3ucOISF8gHfik0dPhIpIlIktE5IoTrtRfVOHfP3KuHHX50xDU9CvYnFfG8p3FXDM2BRGbO2+M6fh8WeumpbTTI7SdBsxR1fpGz6Wqaq6I9AM+EZE1qrqlyRuITAemA6SmpvpQ0klY+yZsnA/nPwbdBxy2ec4yD8FBwpVjbO68MSYw+NKj9wCN5ximALlHaDuNZsM2qprr/bkVWEjT8fsDbV5Q1UxVzezRoxUv01eWD/Pvh+SxcOpdh22uq2/greUezhrUg54x4a1XhzHGtCFfgn4pMFBE0kUkDCfMD5s9IyKDgThgcaPn4kSki/d+d2ASkN183zbzn/uhpgymPANBh8+m+XzTPvJKq7nGLv5tjAkgxxy6UdU6EZkBfAAEAzNVdZ2IPApkqeqB0L8OmKWqjYd1MoD/E5EGnF8qTzSerdOmsufBurfhnIegZ0aLTWYvyyE+KoxzhiS2cXHGGNN6fFqPXlXnA/ObPfdws8ePtLDfV8ApJ1Gff1QUwr9/DEkjYNK9LTYpKq9hQXYeN07sS1hI5z6PzBgTWDrHhUfefxAqC+HGNyG45YuHzF25i5r6Bhu2McYEnMDvun77AayeBaf/CHqNOGKzN7I8DE+OJaNXbBsWZ4wxrS+wg76qBN69F3oOhTPvP2KzdbklZO/ebwuYGWMCUmAP3Xz4EJTtgWmvQEjYEZvNzvIQFhzElFG927A4Y4xpG4Hbo9/yCSz/B5x2tzNv/ghq6hqYu3IX5w9NpFvkkX8ZGGNMRxWYQV9dCvPugYSBcNaDR2368fq9FFXUcrUdhDXGBKjAHLpZ8AsoyYHvvg+hEUdtOnuZh6TYcM4c2Ipn5BpjjIsCr0e//QvnQt8T7oDUiUdtmre/ioUb87hqTDLBdvFvY0yACqygr6mAuTOc9eXP/dkxm7+1YhcNClfbuvPGmAAWWEM3nz4ORdvglnchLOqoTVWVN7JyyOwbR78e0W1UoDHGtL3A6dHv2wSLn4HM70L6mcdsvnxnMVvzy+1MWGNMwAucHn33gTDtVUg7w6fmc5blEBEazCUjbO68MSawBU7QAwy5xKdmlTX1vLtqNxedkkR0l8D6CowxprnAGbo5Du+v201ZdZ0teWCM6RQ6ZdDPzvLQJz6CCenxbpdijDGtrtMFfU5hBV9tKeCasX0IsrnzxphOoNMF/ZvLPYjAVJs7b4zpJDpV0Dc0KHOWeZjUvzvJ3Y6+NIIxxgSKThX0S7YW4CmqtLnzxphOpVMF/exlHmLCQ7hwWJLbpRhjTJvpNEG/v6qW/6zdzWUjexMeGux2OcYY02Y6TdD/e/VuqmobuMYOwhpjOplOE/Szs3IY0DOaUX26uV2KMca0KZ+CXkQmi8hGEdksIg+0sP2PIrLSe/tWRIobbbtFRDZ5b7f4s3hfbc4rY/nOYq7NTEHE5s4bYzqXYy70IiLBwDPA+YAHWCoi81Q1+0AbVb2vUfu7gdHe+/HAz4FMQIFl3n2L/PopjmHOMg/BQcIVo5Pb8m2NMaZd8KVHPx7YrKpbVbUGmAVMOUr764DXvfcvBD5S1UJvuH8ETD6Zgo9XXX0Dby33cPbgHvSMCW/LtzbGmHbBl6BPBnIaPfZ4nzuMiPQF0oFPjmdfEZkuIlkikpWfn+9L3T5btCmfvNJqrrYFzIwxnZQvQd/SoLYeoe00YI6q1h/Pvqr6gqpmqmpmjx7+vUj37CwP8VFhnDOkp19f1xhjOgpfgt4DNO4OpwC5R2g7jUPDNse7r98VltewYP1erhiVTFhIp5lgZIwxTfiSfkuBgSKSLiJhOGE+r3kjERkMxAGLGz39AXCBiMSJSBxwgfe5NjF35S5q69WWPDDGdGrHnHWjqnUiMgMnoIOBmaq6TkQeBbJU9UDoXwfMUlVttG+hiDyG88sC4FFVLfTvRziy2VkehifHktErtq3e0hhj2h2frqOnqvOB+c2ee7jZ40eOsO9MYOYJ1nfC1uWWkL17P49OGdbWb22MMe1KwA5cz87yEBYcxOUj7eLfxpjOLSCDvqaugbkrd3H+sES6RYa5XY4xxrgqIIP+4/V7KaqotQXMjDGGAA36N7JySIoN54yB/p2Tb4wxHVHABf3e/VV89m0+V41JJtgu/m2MMYEX9G8t30WDwtU2bGOMMUCABb2qMntZDpl94+jXI9rtcowxpl0IqKBfvrOYrfnlXJtpC5gZY8wBARX0c5blEBEazMUjerldijHGtBsBE/SVNfW8u2o3F5/Si+guPp3wa4wxnULABP3+qlrOGtyDaeNt2MYYYxoLmK5vYmw4T18/xu0yjDGm3QmYHr0xxpiWWdAbY0yAs6A3xpgAZ0FvjDEBzoLeGGMCnAW9McYEOAt6Y4wJcBb0xhgT4ERV3a6hCRHJB3acxEt0B/b5qZyOzr6Lpuz7aMq+j0MC4bvoq6otXm2p3QX9yRKRLFXNdLuO9sC+i6bs+2jKvo9DAv27sKEbY4wJcBb0xhgT4AIx6F9wu4B2xL6Lpuz7aMq+j0MC+rsIuDF6Y4wxTQVij94YY0wjFvTGGBPgAiboRWSyiGwUkc0i8oDb9bhJRPqIyKcisl5E1onIPW7X5DYRCRaRFSLyntu1uE1EuonIHBHZ4P03cqrbNblJRO7z/j9ZKyKvi0i42zX5W0AEvYgEA88AFwFDgetEZKi7VbmqDvixqmYAE4G7Ovn3AXAPsN7tItqJPwPvq+oQYCSd+HsRkWTgh0Cmqg4HgoFp7lblfwER9MB4YLOqblXVGmAWMMXlmlyjqrtVdbn3finOf+Rkd6tyj4ikAJcAL7ldi9tEJBY4E/grgKrWqGqxu1W5LgSIEJEQIBLIdbkevwuUoE8Gcho99tCJg60xEUkDRgNfu1uJq/4E/A/Q4HYh7UA/IB/4m3co6yURiXK7KLeo6i7gSWAnsBsoUdUP3a3K/wIl6KWF5zr9vFERiQbeBO5V1f1u1+MGEbkUyFPVZW7X0k6EAGOA51R1NFAOdNpjWiISh/PXfzrQG4gSkRvdrcr/AiXoPUCfRo9TCMA/v46HiITihPyrqvqW2/W4aBJwuYhsxxnSO0dEXnG3JFd5AI+qHvgLbw5O8HdW5wHbVDVfVWuBt4DTXK7J7wIl6JcCA0UkXUTCcA6mzHO5JteIiOCMwa5X1T+4XY+bVPVBVU1R1TScfxefqGrA9dh8pap7gBwRGex96lwg28WS3LYTmCgikd7/N+cSgAenQ9wuwB9UtU5EZgAf4Bw1n6mq61wuy02TgJuANSKy0vvc/6rqfBdrMu3H3cCr3k7RVuA2l+txjap+LSJzgOU4s9VWEIDLIdgSCMYYE+ACZejGGGPMEVjQG2NMgLOgN8aYAGdBb4wxAc6C3hhjApwFvTHGBDgLemOMCXD/H9Ku7Rsj/Q2SAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.plot(history.history['acc'])\n",
    "plt.plot(history.history['val_acc'])\n",
    "plt.legend(['train', 'valid'])\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAWoAAAD4CAYAAADFAawfAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjAsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+17YcXAAAgAElEQVR4nO3deXxU5b3H8c8vyWQjCSHJBAlJCCiQAIYtQAQXBFQUpSpYUNBqq1S9bq3W2lW9vW29rXWrVYtb2yuCiAtVkaoI4sIWZJElbAokbJkACQlZyPLcP05CCAlkgJmcWX7v1ytm5syZmR+DfPPkOc8ixhiUUkr5rhC7C1BKKXVyGtRKKeXjNKiVUsrHaVArpZSP06BWSikfF+aNF01KSjIZGRneeGmllApIK1euLDbGOFt7zCtBnZGRQV5enjdeWimlApKI7DjRY9r1oZRSPk6DWimlfJwGtVJK+Tiv9FErpdSpqKmpobCwkKqqKrtL8brIyEhSU1NxOBxuP0eDWillu8LCQmJjY8nIyEBE7C7Ha4wx7N+/n8LCQrp37+7287TrQyllu6qqKhITEwM6pAFEhMTExFP+zUGDWinlEwI9pBudzp/TZ4K6qqaOFxd/y5Jt++0uRSmlfIrPBHVoiPDi598yffE2u0tRSgWZkpISnnvuuVN+3hVXXEFJSYkXKmrOZ4LaERrC5KHpLNrsouBAhd3lKKWCyImCuq6u7qTPmzdvHvHx8d4q6yifCWqAyUPSEGDm8p12l6KUCiIPPfQQ27ZtY8CAAQwZMoSLL76YG264gXPPPReAq6++msGDB9O3b1+mT59+9HkZGRkUFxezfft2srKyuO222+jbty+XXnoplZWVHqvPp4bnpcRHMTqrM7PzCrhvTC/Cw3zq54hSqh08+t56Nuw+5NHX7JMSx8NX9T3h44899hjr1q1j9erVLFq0iHHjxrFu3bqjQ+heeeUVEhISqKysZMiQIUyYMIHExMRmr7FlyxZmzpzJiy++yPe//33eeustpk6d6pH6fS4Jp+Z2o7j8CP9Zv9fuUpRSQWro0KHNxjk/88wz9O/fn9zcXAoKCtiyZUuL53Tv3p0BAwYAMHjwYLZv3+6xenyqRQ1wwTlJpCdE89rSHVzVP8XucpRS7exkLd/20qFDh6O3Fy1axCeffMKSJUuIjo5m5MiRrY6DjoiIOHo7NDTUo10fbrWoReQnIrJeRNaJyEwRifRYBccXFCLcMCydZd8dYMu+Mm+9jVJKHRUbG0tZWet5U1paSqdOnYiOjiY/P5+lS5e2c3VuBLWIdAXuAXKMMf2AUGCyN4u6bnAq4aEhzFimFxWVUt6XmJjIiBEj6NevHz/72c+aPTZ27Fhqa2vJzs7mN7/5Dbm5ue1en7tdH2FAlIjUANHAbu+VBIkxEVx+7lm89XUhD47tTXS4z/XQKKUCzOuvv97q8YiICD788MNWH2vsh05KSmLdunVHjz/wwAMera3NFrUxZhfwOLAT2AOUGmM+8mgVrZia242yqlreW+PVnwlKKeXz3On66AR8D+gOpAAdRKTFmBMRmSYieSKS53K5zriwnG6d6NU5Rrs/lFJBz52LiWOA74wxLmNMDfA2MPz4k4wx040xOcaYHKez1f0ZT4mIMDW3G2sLS1lb6P0pmkop5avcCeqdQK6IRIu17NNoYKN3y7JcM7Ar0eGhzFiqrWqlVPByp496GTAH+Br4puE500/6JA+JjXTwvQEpzF2zi9LKmvZ4S6WU8jlujaM2xjxsjMk0xvQzxtxojKn2dmGNpgzrRlVNPW9/Xdheb6mUUj7F56aQH69f1470T4tnxrKdGGPsLkcppQCIiYkBYPfu3UycOLHVc0aOHEleXt4Zv5fPBzXA1GHpbC0qZ9l3B+wuRSmlmklJSWHOnDlefQ+/COqr+qcQFxmmQ/WUUl7z85//vNma1I888giPPvooo0ePZtCgQZx77rnMnTu3xfO2b99Ov379AKisrGTy5MlkZ2czadIkj6334RdT/iIdoUwcnMb/Ld2Oq6wPztiItp+klPJPHz4Ee7/x7GuedS5c/thJT5k8eTL33Xcfd955JwCzZ89m/vz5/OQnPyEuLo7i4mJyc3MZP378Cfc9fP7554mOjmbt2rWsXbuWQYMGeaR8v2hRA0zJTaemzjA7r8DuUpRSAWjgwIEUFRWxe/du1qxZQ6dOnejSpQu//OUvyc7OZsyYMezatYt9+/ad8DUWL158dA3q7OxssrOzPVKbX7SoAc52xnBej0RmLt/J7RedTWhIcOxYrFTQaaPl600TJ05kzpw57N27l8mTJzNjxgxcLhcrV67E4XCQkZHR6hKnx/LGbup+06IGa/2PwoOVLN585lPUlVLqeJMnT2bWrFnMmTOHiRMnUlpaSnJyMg6Hg4ULF7Jjx46TPv/CCy9kxowZAKxbt461a9d6pC6/CupL+3bGGRvBa0tP/mEppdTp6Nu3L2VlZXTt2pUuXbowZcoU8vLyyMnJYcaMGWRmZp70+XfccQfl5eVkZ2fzpz/9iaFDh3qkLr/p+gBrp/JJOWn8bdFWCg9WkNop2u6SlFIB5ptvmi5kJiUlsWTJklbPKy8vB6wNbhuXOI2KimLWrFker8mvWtQA1w9LR4BZy/WiolIqOPhdUHeNj2JUZjKzVhRQU1dvdzlKKeV1fhfUYK3/UVxezUfrTzxMRinlX4JliYjT+XP6ZVBf2MtJaqcovaioVICIjIxk//79AR/Wxhj2799PZOSp7Q/uVxcTG4WGCNcPTefP/9nE1qJyzkmOsbskpdQZSE1NpbCwEE/sDuXrIiMjSU1NPaXn+GVQA0waksZTn2zm9WU7+e1VfewuRyl1BhwOB927d7e7DJ/ll10fAEkxEYzt14U5KwuoPFJndzlKKeU17mxu21tEVh/zdUhE7muP4toyZVg6h6pqeX+t7lSulApc7mzFtckYM8AYMwAYDFQA73i9MjcM655Az+QYXtPlT5VSAexUuz5GA9uMMT4x3EJEmDIsnTUFJazbVWp3OUop5RWnGtSTgZmtPSAi00QkT0Ty2vPK7TWDUolyhDJjmU/87FBKKY9zO6hFJBwYD7zZ2uPGmOnGmBxjTI7T6fRUfW3qGOVgfP8U3l21m0NVulO5UirwnEqL+nLga2OMz00HnJKbTmVNHe+u2mV3KUop5XGnEtTXc4JuD7tlp8aTndqR15buCPiZTUqp4ONWUItINHAJ8LZ3yzl9U4d1Y/O+cvJ2HLS7FKWU8ii3gtoYU2GMSTTG+OzQiiv7dyE2MkzX/1BKBRy/nZl4vOjwMCYMSuXDb/ayv7za7nKUUspjAiaowZqpeKSunjdXFtpdilJKeUxABXXPzrEM657A68t2Ul+vFxWVUoEhoIIarJ3Kdx6oYPGWwF8uUSkVHAIuqC/rexZJMeHM0PU/lFIBwreCet8GqKs9o5cIDwvh+zlpLNi4j90llR4qTCml7OM7QV1ZAq9eDi+MgM0fwRlMXLl+aDoGmLVCdypXSvk/3wnqyI4w/q9QdwRevw7+9T3Ys/a0XiotIZqRvZzMWr5TdypXSvk93wlqEegzHu5cBmP/F/auhb9fCO/cAaWnvobH1NxuFJVV88kGn1uaRCmlTonvBHWjsHDIvR3uWQ3D74Z1c+Cvg2HB76C6zO2XGdk7ma7xUXpRUSnl93wvqBtFxcOlv4O78iDrSvj8cXhmIKx42a0LjtZO5Wl8sbWY74oPt0PBSinlHb4b1I06dYMJL8Ftn0JSL/jgp/D8ebBpfpsXHL8/JI2wEGGGrv+hlPJjvh/UjboOhps/gMmvg6mHmZPgn1fB7lUnfEpybCSX9T2LOV8XUlWjO5UrpfyT/wQ1WBccM8fBnUvhisehaANMHwlvT4OS1ofiTclNp6Sihg/W7mnfWpVSykP8K6gbhTpg6G1wzyo4/6ewYa51wfGTR6Cq+Uqs5/VIpIezg+6pqJTyW+5uHBAvInNEJF9ENorIed4uzC2RHWHMw9YFx77XwBdPWhccl78Iddb+idZO5d34emcJG3YfsrlgpZQ6de62qJ8G5htjMoH+wEbvlXQa4tPg2r/DtM8guQ/MewCey4X8D8AYJg5KJSIshNe0Va2U8kNtBrWIxAEXAi8DGGOOGGNKvF3YaUkZAD94D26YDRIKs26Af4yj48G1XNU/hbmrdlFefWZriSilVHtzp0XdA3ABr4rIKhF5SUQ6HH+SiEwTkTwRyXO5bFxiVAR6XQZ3fAVXPgnFm+HFUfyq8nE61ezlHd2pXCnlZ6StXbtFJAdYCowwxiwTkaeBQ8aY35zoOTk5OSYvL8+zlZ6u6jL48mnMV89SW1vDuxHjmXjfE0hUJ7srU0r5g5pKa9G4qhLre+XBptvNvh+EsAiY9NppvY2IrDTG5LT2WJgbzy8ECo0xyxruzwEeOq1K7BARC6N+jQy+hYLZv2BC4TvUPfUpYRf/AnJ+aE1ZV0oFttrq5oHaWsi2ONZwvO5ke7AKRMZBZLw1mzou1SvltxnUxpi9IlIgIr2NMZuA0cAGr1TjTR270vmmV7juDy/zh7A36D3/57D87zDmEcgab3WZKKV8V01V8yCtKm09XFsL4No21qaPaAzbjhDVyZoFHRXfFMCR8dbx449FdoSQUK//0d1pUQPcDcwQkXDgW+AW75XkPR0iwug7aARXrUhj5WQh9rNHYfZNkJYLl/0eUlv9rUMp5QnGWF2Rx4fsiW5XNtxvvH3Sli0QHtM8UBN6nCRkG+5HdbJCOtTdKLSHW9UZY1YDAZFiU3O78a8lO5h5oDfTbv8CVs+Ahb+Hl0ZD32th9G8hobvdZSrl++rroWAplO1tO2SrSq0vc7KlHMRqoR7bWo3r0nS7WdB2bArbyI7WV6ij3f7o7c23f4x4Qa/OsQzNSGDGsp3cen4PQgb/APpNgK/+Cl89Axvfg2E/hot+bvU9KaVa2rMWPrgfCpc3Px4a3jxYo5Mg4ezm4dsicBtuh8dCiH9Olva2oAtqsNb/uHfWar7cVswFPZ0QEQMX/wIG3wyL/gBLn4NN82DiK5Ay0O5ylfIdVaWw8A+wfDpEJcBVz0Da0KbAdUTp9R4vCMofX2P7nUVih3BeO37507gu1nZgN8+D2iPw0iWw9Pkz2r9RqYBgDKx9E54dAsv+DoNvgbvzYPAPIDkL4lIgPFpD2kuCMqgjwkK5LieNTzYWsbe0quUJ3c6D2z+HnpfA/Idg5vVQcaD9C1XKF7g2WUsKv30rxHW11oa/8gnrQpxqF0EZ1AA3DE2n3hhmrTjBVl3RCdba12P/F7YtgBfOhx1ftW+RStnpyGH4+GF4fjjs/QbGPQG3fgJdB9ldWdAJ2qBOT4zmwp5OZi0voPZEO5WLWPs3/uhja8bRP8bBZ3+Get2EQAUwY2DDv+HZofDlU5A9Ge5eCUN+1C5jhlVLQRvUAFOGpbP3UBUL8otOfmLKAPjxYug3ERb+D/zf1daQJKUCzYFvYcZ1MPtGayTGD/8DV/8NOiTZXVlQC+qgHpWZTJeOkS0vKrYmIhaunQ7f+xsU5sHzI2DLJ94vUqn2UFMFix6Dv+XCzqVw2R+tZYPTc+2uTBHkQR0WGsL1Q9P5fEsx293ZqVwEBk6FaYsgpjPMmAAf//boJgVK+aUtH1vrty/6I2RdCXetgPPu9PnZesEkqIMaYNKQNEJDhJnLT3BRsTXO3nDbAmtRpy+fhlfGwkHdlED5mdJCeGMqzJgIIWFw01xr7kBcF7srU8cJ+qDuHBfJpX06Mzuv4NR2KndEWetdX/cPKN4CL1xg7d2olK+rPWJtW/fsEKv7bvRv4Y4vocdIuytTJxD0QQ3W+h8HK2qYv+40LhD2vQZuXwxJPa0Fnt7/ibV+rVK+6LvPraGmnzwCPS6G/1oGF9xvjWpSPkuDGmun8u5JHdy7qNiaThnww/kw/B7IewVeGgOuzR6tUakzUrYP3roN/nkl1FZZ29Vd/zp06mZ3ZcoNGtRASIgwZVg6eTsOkr/3NHcqD3XApb+DKXOgbA9MvwhWzdDp58pedbXWlO9nc2DDu3Dhg1YrutdldlemToEGdYMJg1IJDwthxtJTuKjYmp6XwO1fQtfBMPdOeOfH1hq8SrW3ghXw4kj48EFIHQJ3LoVRv7Kuryi/4lZQi8h2EflGRFaLiI9shuhZnTqEc2V2F95ZtYvDZ7pTeVwX6wr6xb+Cb96Ev18Ee9Z4plCl2nJ4P8y9C14eY92+7p8w9S1IPNvuytRpOpUW9cXGmAEn2nwxEEzN7UZ5dS1zV+8+8xcLCYWLHoSbP7AuLr40xvoVVLtClLfU18PKf8Kzg2HNTOuayV0roO/Vuqqdn9Ouj2MMTIsnq0scry3dQVu7s7ut23Br6NPZo6xfQWdN0ZX4lOftWQOvXArv3QPJfeD2L6xrJhExdlemPMDdoDbARyKyUkSmtXaCiEwTkTwRyXO5XJ6rsB2JCFNz09mw5xDLv/NgmEYnwPWzYOxjsOUja8z1jiWee30VvKpKYd6DMH2kNenqmunWb3HJWXZXpjxI3Gk5ikiKMWa3iCQDHwN3G2MWn+j8nJwck5fnn13Zh6trueSJz3CEhfD+3ecTG+nhfdh2r4I3b4GSndauMuf/VFckU6fOGFg7Gz76NVQUw5BbrWsiUfF2V6ZOk4isPFHXsltBfdyLPQKUG2MeP9E5/hzUAMu/O8Dk6UsY3z+FJycNQDzdv1d1yJoYs24OdL8Irn0RYjt79j2U57k2w+YPrTHJGDD1VmCa+pPcp+XjJ31uW4833D+8H4rWQ9ccGPcXa4VH5ddOFtRtrroiIh2AEGNMWcPtS4H/9nCNPmVo9wTuHd2LJz/ZzPk9nUwcnOrZN4iMgwkvQY+LrF9bXxgB1/wdzhnt2fdRZ6a+HnblQf77kP8B7N9qHQ+PtS7OiQACEtJwP+Qk92nj8WPvS+uPH3s7OgGuehoG3qQbwgYBd5bH6gy809CqDANeN8bM92pVPuCuUefw1bZifjt3HYPS4+nh9PBFGREYdJM1vvXNW+C1a2HEfTDq1wG97b3Pq6mC7xZb4bzpQzhcZC1YlHEBDLsdel8BHbvaXaUKMqfc9eEOf+/6aLSntJLLn/6crvFRvH3ncCLCvNSXfKQC/vMLWPkPSB0KE1+G+HTvvJdqqfKgtdRn/vuwdQEcKbdazT3HQOaVcM4Y7ftVXufRPmp3BEpQA3y8YR+3/SuPW0Zk8PBVfb37ZuvehvfutVrb45+FPuO9+37BrLQQ8udZ4bzjS6ivhZizoPflVjh3v0AXKlLt6oz6qIPdJX06c/PwDF79cjvnn5PE6CwvXvTrdy2kDIQ5P7S2Qhp8Cwy/W2eUeYIxULTB6mvOf79ppmhSL+szzrwSUgZpf6/ySdqidkNVTR3XPPcVe0sr+fDeCzmrY6R337D2CCx4FJY8a90/61zoc7W1pKqGtvvqaqFgWVM4l+wAxLoukDnO+krqaXeVSgHa9eER21zlXPnMF/RP68iMW3MJDWmHKbklBdZmBBvehcIV1rHO50Lf70GfayDpHO/X4G+OVMC3C61w3vQhVB6A0HBrUfzMcdDrch0KqXySBrWHzM4r4ME5a7n/kl7cPbqdW2IlBbDx37D+XShcbh3r3K+hpX11cLcMD++HzfOtcN72KdRWQmRH6HmZFc7njLY2J1bKh2lQe4gxhntnreaDb/bwxrRccjIS7CmktBA2/NtqaRcss44FW2gf+A42zbPCeecSayJIXCpkXmGFc7cROsxR+RUNag8qq6ph3DNfUFdvmHfPBXSMtjkMSnc1tbQLllrHkvtagd3nanD2src+TzHGugCY/4H1VbTeOt65nzW2OXMcdOmvq8Qpv6VB7WFrCkqY8PxXjMnqzPNTB3l+ivnpOrS7qaW9cylgrJXUGlvazt52V+iew8XWCI2ijcd8z4fqUmtmXvpwq+Xc+wpI6G53tUp5hAa1F0xfvI0/zMvnd1f348ZcH9x37tCeppb2ziWAAWdWU0s7OdPuCq01T1z5LUP58DGrL0Z1sn7YJGdZu+b0vAw6JNpXs1JeokHtBfX1hpv/sYKl3+7n33eNIPOsOLtLOrFDe2Dje1ZLe8dXWKGd2dTS9vaSmDWV4NrUPIxd+VBa0HSOo4NVR3JWUzAnZ0FMZ+3OUEFBg9pLXGXVXP7058RHO3jvrvOJCveD5UrL9lqhvf5da0YeBpJ6H9PSzjr9YKyrgf3bWraQD37XsOob1lC5pN4tQ7ljmk42UUFNg9qLPt/i4saXl3P90DT+eG223eWcmrJ9VvfIhrlWaJt6a6be0ZZ2n9ZDu74eSra37EMu3gz1NdY5EgKJ5zQPY2cWJPSAUJ0Qq9TxNKi97LEP83nhs2387YZBjMvuYnc5p6e8qKlPuzG0E3tagd11sLXEZ2MwuzZBTUXTc+PTj+muaPie2BMcXp7BqVQA0aD2spq6eq57YQnbXOXMu+cC0hKi7S7pzJS7Glra78L2L5q6LWLOOq4PuY81kkT35VPqjGlQt4OCAxVc8fTnnNM5htk/Pg9HaID0t5a74MC31iSaaJsm+CgVBE4W1G6niYiEisgqEXnfc6UFjrSEaP5w7bms2lnCkx9vtrscz4lxQvowDWmlbHQqzb57gY3eKiQQXNU/hUk5aTz/2Ta+3FpsdzlKqQDhVlCLSCowDnjJu+X4v4fH96FHUgfue2M1xeXVdpejlAoA7raonwIeBOpPdIKITBORPBHJc7lcJzot4EWHh/HsDYMorazhgTfXUF/v+WsASqng0mZQi8iVQJExZuXJzjPGTDfG5BhjcpxOp8cK9EdZXeL49bgsFm1y8cqX39ldjlLKz7nToh4BjBeR7cAsYJSIvObVqgLAjbnduLRPZ/53fj7fFJbaXY5Syo+1GdTGmF8YY1KNMRnAZOBTY8xUr1fm50SEP03MxhkTwV0zv6asqsbukpRSfipABvv6pvjocJ6aPJCCAxX85t11eGPMulIq8J1SUBtjFhljrvRWMYFoaPcE7h3di3dX7+atr3fZXY5Syg9pi7od3DXqHIZ1T+C3c9fxravc7nKUUn5Gg7odhIYIT00eQHhYCHfPXEV1bZ3dJSml/IgGdTvp0jGKP0/sz/rdh3jsw3y7y1FK+REN6nZ0SZ/O3Dw8g1e/3M6CjfvsLkcp5Sc0qNvZQ5dnktUljgfeXMPe0iq7y1FK+QEN6nYW6Qjl2RsGUlVTz31vrKJOp5grpdqgQW2Ds50xPPq9viz99gDPLdxqdzlKKR+nQW2T6wanMr5/Ck8t2ELe9gN2l6OU8mEa1DYREX5/TT+6xkdx76zVlFboFHOlVOs0qG0UG+ngr9cPZN+hKn7+1lqdYq6UapUGtc36p8Xz4NjezF+/lxnLdtpdjlLKB2lQ+4Bbz+/Bhb2c/O79DeTvPWR3OUopH6NB7QNCQoS/XNef2EgHd72+isojOsVcKdVEg9pHOGMjeHJSf7YWlfPf76+3uxyllA/RoPYhF/R0cvtFZzNzeQEfrN1jdzlKKR/hzp6JkSKyXETWiMh6EXm0PQoLVvdf2osBafE89PZaCg5U2F2OUsoHuNOirgZGGWP6AwOAsSKS692ygpcjNIS/Xj8QDNwzS5dEVUq5t2eiMcY0rnbvaPjSAb9elJYQzR8nnMuqnSXc8uoKyqtr7S5JKWUjt/qoRSRURFYDRcDHxphl3i1LXZmdwuPX9WfZdwe4fvpS9pdX212SUsombgW1MabOGDMASAWGiki/488RkWkikicieS6Xy9N1BqWJg1P5+9TBbN5XxnUvLKHwoPZZKxWMTnVz2xJgETC2lcemG2NyjDE5TqfTQ+WpMX0689qtw3CVVzPh+a/YvK/M7pKUUu3MnVEfThGJb7gdBYwBdC+pdjQkI4HZPz6PegPXvbCElTsO2l2SUqodudOi7gIsFJG1wAqsPur3vVuWOl5WlzjevmM48dEOpr60jEWbiuwuSSnVTtwZ9bHWGDPQGJNtjOlnjPnv9ihMtZSWEM2c24fTPakDt/4zj7mrd9ldklKqHejMRD/jjI1g1o9zGdytE/fOWs2rX35nd0lKKS/ToPZDcZEO/vnDoVzapzOPvreBv3y0SdeyViqAaVD7qUhHKM9NGcSknDT++ulWfvXuOt0oV6kAFWZ3Aer0hYWG8NiEc0mICef5RdsoqTjCk5MGEBEWandpSikP0qD2cyLCz8dmktghnP/5YCMlFSuYflMOMRH6V6tUoNCujwBx6wU9+ItOOVcqIGlQB5AJg1OZfqNOOVcq0GhQB5jRWdaU82Kdcq5UwNCgDkBDMhJ448fnYXTKuVIBQYM6QGV1ieOtO4bTqWHK+UKdcq6U39KgDmBpCdG8eftwejg7cNs/83h3lU45V8ofaVAHOGdsBDOnWVPO73tDp5wr5Y80qIOATjlXyr9pUAcJnXKulP/S6WtBRKecK+WfNKiDjE45V8r/uLMVV5qILBSRjSKyXkTubY/ClHfplHOl/Ic7fdS1wP3GmCwgF/gvEenj3bJUe9Ap50r5B3e24tpjjPm64XYZsBHo6u3CVPvQKedK+b5TGvUhIhnAQGBZK49NE5E8EclzuVyeqU61iyEZCcy+XaecK+Wr3A5qEYkB3gLuM8YcOv5xY8x0Y0yOMSbH6XR6skbVDjLP0innSvkqt4JaRBxYIT3DGPO2d0tSdtEp50r5JndGfQjwMrDRGPOE90tSdnLGRjBrWi45GTrlXClf4U6LegRwIzBKRFY3fF3h5bqUjWIjHfzjlqFc1teacv7Yh/lU19bZXZZSQUu8seZDTk6OycvL8/jrqvZVW1fPb+auY+byAlI7RfHApb0Z3z+FkBCxuzSlAo6IrDTG5LT2mK71oU4oLDSEP16bzf/9aChxkQ7ue2M1Vz37BV9uLba7NKWCiga1atMFPZ28f/f5PDmpPyUVNUx5aRk/eGU5G/e0GPyjlPICDWrllpAQ4ZqBqSy4/yJ+dUUWqwtKuOKZz7l/9hp2lVTaXZ5SAU37qNVpKa2o4blFW3n1q+0A3DIigztHnkPHKIe9hSnlp07WR61Brc7IrpJK/vLRJt5ZtYu4SAd3jzqHG8/rpkunKnWK9GKi8pqu8fudM+oAAAlUSURBVFE88f0BfHD3BfRPi+d/PtjI6L98xrurdlGvGxMo5REa1Moj+qTE8a8fDm0xQuSLLTpCRKkzpUGtPKpxhMhTkwZQUlHD1JeXcdMry9mwW0eIKHW6NKiVx4WECFcP7MqC+y/i1+OyWFNQwri/fs5PZ6/WESJKnQa9mKi8rsUIkeENI0SidYSIUo101IfyCcePELnrYmuESKRDR4gopaM+lE84foTI7+fpCBGl3KFBrdpd4wiR1340jPhoHSGiVFs0qJVtzu+ZxHt36QgRpdqiQa1spSNElGqbOzu8vCIiRSKyrj0KUsEp0hHKrRf0YPHPLmbahT14f+0eLn58EX+ct5HSihq7y1PKVu60qP8BjPVyHUoB0DHawS8uz2LhAyO5KjuF6Z9/y4V/XsiLi7+lqkZ3mVHBya3heSKSAbxvjOnnzovq8DzlKRt2H+Kx+fks3uyiY5SDkb2djMpM5qJeTuKjw+0uTymPOeNx1O4EtYhMA6YBpKenD96xY8dpFatUa77aWsycrwtZtMnFgcNHCA0RBqd3YlRWMqMzkzknOQZrH2al/FO7BPWxtEWtvKWu3rCmsIRPNxbxaX4RGxp2mUntFMXozGRGZXVmWPcEnUSj/I4GtQpYu0sqWbipiE83FvHltmKqauqJcoRyfs8kRmcmc3FmMp3jIu0uU6k2nSyow9q7GKU8KSU+iinDujFlWDeqaupYsm0/C/L3sTDfxccb9gHQr2scozI7MzozmXO7dtRd1JXfabNFLSIzgZFAErAPeNgY8/LJnqMtamU3Ywyb9pWxYGMRC/OL+HrnQeoNJMVEcHFvJ6Ozkjm/p5OYCG2rKN+gizKpoHfg8BE+21zEp/kuPttUxKGqWhyhwrDuiYzKTGZ0VjLdEjvYXaYKYhrUSh2jpq6elTsOsjC/iAX5RWwtKgegh7ODdUEyszM5GZ1whOrEXdV+NKiVOomd+yv4NH8fC/KLWPbtAY7U1RMbGcaFvZyMzkxmZO9kEjromG3lXRrUSrnpcHUtX2wttob/bSrCVVaNCAxMi2d0VmdGZSaTeVasjtlWHqdBrdRpqK83rN99qGEUSRFrCksBiHKEkpYQRXpCB9IToklPiCI9MZr0hGhSO0XrGG51WjSolfKAorIqFm1ysXlvGTsPVBz9qjjSfA2SznERDQHeEOSJUaQnRJOWEI0zJkJb46pVOo5aKQ9Ijo3k+zlpzY4ZY9h/+Ag7D1RQcKCCnfubAnzJtmLeXlXFsW0hbY2r06FBrdQZEBGSYiJIiolgUHqnFo9X1dSxq6Sy1SD/aluxtsaVWzSolfKiSEcoZztjONsZ0+Kxk7XGvzppa9wK7i4dI3HGRpAcG0lybATO2Ag6Rjk0zAOQBrVSNjmT1viSbfs5fKTl+tzhYSE4YyIaAjyC5LgInDGRJMdFHA3z5NhIkmLCCdNx4n5Dg1opH9VWa7y8uhZXWTVFDV/W7Spch6pxlVezY38FK7Yf4GArO+SIQEJ0uBXccZE4YyJahHlj2HfQafa2078BpfyQiBAb6SA20kGPVoL8WEdq6ykubx7mRQ1hXnSoGldZFVv3leEqr6amruUosA7hoU3hHRdxTKhbLfOYiDCiwkOJDg8jOjyUqPBQohyhOrPTgzSolQpw4WEhpMRHkRIfddLz6usNJZU1rYZ5UVkVrrJqNu4+xGdl1ZRX17b5vo5QIcrRPMCt72FEOUKIDm8IeEfT8eiGkG8695jnH3vcERpUffEa1EopwNoRPqFDOAkdwul9VuxJz604YnW7FJdXc7i6joojdVTW1FrfjzTeb7zd/HhpZQ37SuuoqKltdu6pTumIcjSFeURYU+vdHP2P9a1xroh1u/G4abp9zPsaYxqfijHWeU23jz2/teOGxJgIPvnpRaf2B3GDBrVS6pRFh4fRLTHMYysOGmOoqqk/GupVNVaAH/sDoOUPgaYfAFW1dQgCDY1sgaMtbut268ebzpfjzmnl+DFPkKa3arht3YuJ9E6kalArpWwnIlbfdngoiXYX44Pc6u0XkbEisklEtorIQ94uSimlVJM2g1pEQoG/AZcDfYDrRaSPtwtTSillcadFPRTYaoz51hhzBJgFfM+7ZSmllGrkTlB3BQqOuV/YcKwZEZkmInkikudyuTxVn1JKBT13grq1wYotBtIYY6YbY3KMMTlOp/PMK1NKKQW4F9SFwLFrO6YCu71TjlJKqeO5E9QrgJ4i0l1EwoHJwL+9W5ZSSqlGbY6jNsbUishdwH+AUOAVY8x6r1emlFIK8NJWXCLiAnac5tOTgGIPluPP9LNoTj+P5vTzaBIIn0U3Y0yrF/i8EtRnQkTyTrRvWLDRz6I5/Tya08+jSaB/FroOoVJK+TgNaqWU8nG+GNTT7S7Ah+hn0Zx+Hs3p59EkoD8Ln+ujVkop1ZwvtqiVUkodQ4NaKaV8nM8Eta553URE0kRkoYhsFJH1InKv3TXZTURCRWSViLxvdy12E5F4EZkjIvkN/4+cZ3dNdhKRnzT8O1knIjNFJNLumjzNJ4Ja17xuoRa43xiTBeQC/xXknwfAvcBGu4vwEU8D840xmUB/gvhzEZGuwD1AjjGmH9bs6cn2VuV5PhHU6JrXzRhj9hhjvm64XYb1D7HF0rLBQkRSgXHAS3bXYjcRiQMuBF4GMMYcMcaU2FuV7cKAKBEJA6IJwEXjfCWo3VrzOhiJSAYwEFhmbyW2egp4EKi3uxAf0ANwAa82dAW9JCKe2WHWDxljdgGPAzuBPUCpMeYje6vyPF8JarfWvA42IhIDvAXcZ4w5ZHc9dhCRK4EiY8xKu2vxEWHAIOB5Y8xA4DAQtNd0RKQT1m/f3YEUoIOITLW3Ks/zlaDWNa+PIyIOrJCeYYx52+56bDQCGC8i27G6xEaJyGv2lmSrQqDQGNP4G9YcrOAOVmOA74wxLmNMDfA2MNzmmjzOV4Ja17w+hogIVh/kRmPME3bXYydjzC+MManGmAys/y8+NcYEXIvJXcaYvUCBiPRuODQa2GBjSXbbCeSKSHTDv5vRBODF1TbXo24PuuZ1CyOAG4FvRGR1w7FfGmPm2ViT8h13AzMaGjXfArfYXI9tjDHLRGQO8DXWaKlVBOB0cp1CrpRSPs5Xuj6UUkqdgAa1Ukr5OA1qpZTycRrUSinl4zSolVLKx2lQK6WUj9OgVkopH/f/0ArlE9MPYTsAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.plot(history.history['loss'])\n",
    "plt.plot(history.history['val_loss'])\n",
    "plt.legend(['train', 'valid'])\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.save('lstm_best.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYkAAAD4CAYAAAAZ1BptAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjAsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+17YcXAAAS4UlEQVR4nO3df6zd9X3f8eerOCTZkgAJJkJAa5a6LZRohFjEU7SOwgQGVXEqwQJTgxuxuWMwtVs0xe3+wEoaqd1EkdAoqSMsTNQGWNoOq3HqWcCUdAqUm4XxIzTihjC4BYETE4qEkg7y3h/nY+dgzufec6+vz7F9nw/p6HzP+/v5fr+fD766r/v9fL/nS6oKSZJG+alpd0CSdOQyJCRJXYaEJKnLkJAkdRkSkqSuVdPuwHI7+eSTa82aNdPuhiQdVb7xjW98r6pWH1w/5kJizZo1zMzMTLsbknRUSfJ/R9WdbpIkdRkSkqQuQ0KS1GVISJK6DAlJUpchIUnqMiQkSV2GhCSpy5CQJHUdc9+4Phzev+P9ADy66dGR62/82K8cWP7kXX8xkT5J0iQYEhNw733vO7B80YXfmWJPJGlxnG6SJHUZEstsbsvXmNvytWl3Q5KWhdNNPVtP+MnymT89vX5I0hR5JiFJ6jIkJEldhoQkqcuQkCR1GRKSpC7vblqEJ37hrAPLZ/3NE1PsiSRNhiGxRLf8m/um3QVJOuycbpIkdRkSkqQuQ0KS1GVISJK6DAlJUpchIUnqWjAkkpyR5P4kTyR5PMlvtvrWJH+b5OH2umxom99OMpvk20kuGapvaLXZJFuG6mcmeTDJk0nuSnJ8q7+1fZ5t69cs5+AlSfMb50ziNeCTVXUWsB64LsnZbd1NVXVue+0CaOuuBH4R2AD8YZLjkhwH3AJcCpwNXDW0n99v+1oLvARc0+rXAC9V1c8CN7V2kqQJWfDLdFX1PPB8W34lyRPAafNsshG4s6p+BHw3ySxwfls3W1VPASS5E9jY9nch8C9bmx3AVuDWtq+trf4l4L8mSVXV2COckq1btx5Y/qe/NL1+SNKhWNQ1iTbd8wHgwVa6PskjSbYnOanVTgOeHdpsrtV69fcAP6iq1w6qv2Ffbf3Lrf3B/dqcZCbJzN69exczJEnSPMYOiSTvAP4U+K2q+jsGf+m/DziXwZnGjfubjti8llCfb19vLFRtq6p1VbVu9erV845DkjS+sUIiyVsYBMQfV9WfAVTVC1X1elX9GPg8P5lSmgPOGNr8dOC5eerfA05Msuqg+hv21dafAOxbzAAlSUs3zt1NAW4DnqiqPxiqnzrU7FeBx9ryTuDKdmfSmcBa4K+Bh4C17U6m4xlc3N7Zri/cD1zett8E3DO0r01t+XLgvqPheoQkHSvGeQrsh4GPA48mebjVfofB3UnnMpj+eRr4DYCqejzJ3cC3GNwZdV1VvQ6Q5HpgN3AcsL2qHm/7+xRwZ5LfBb7JIJRo719oF7/3MQgWSdKEjHN3018x+trArnm2+Szw2RH1XaO2a3c8nT+i/kPgioX6KEk6PPzGtSSpy5CQJHUZEpKkLkNCktRlSEiSugwJSVKXISFJ6jIkJEldhoQkqcuQkCR1GRKSpC5DQpLUZUhIkroMCUlSlyEhSeoyJCRJXYaEJKnLkJAkdRkSkqQuQ0KS1GVISJK6DAlJUpchIUnqMiQkSV2GhCSpy5CQJHUZEpKkLkNCktS1YEgkOSPJ/UmeSPJ4kt9s9Xcn2ZPkyfZ+Uqsnyc1JZpM8kuS8oX1tau2fTLJpqP7BJI+2bW5OkvmOIUmajHHOJF4DPllVZwHrgeuSnA1sAe6tqrXAve0zwKXA2vbaDNwKg1/4wA3Ah4DzgRuGfunf2tru325Dq/eOIUmagAVDoqqer6r/3ZZfAZ4ATgM2Ajtasx3AR9vyRuCOGngAODHJqcAlwJ6q2ldVLwF7gA1t3buq6utVVcAdB+1r1DEkSROwqGsSSdYAHwAeBN5bVc/DIEiAU1qz04Bnhzaba7X56nMj6sxzjIP7tTnJTJKZvXv3LmZIkqR5jB0SSd4B/CnwW1X1d/M1HVGrJdTHVlXbqmpdVa1bvXr1YjaVJM1jrJBI8hYGAfHHVfVnrfxCmyqivb/Y6nPAGUObnw48t0D99BH1+Y4hSZqAce5uCnAb8ERV/cHQqp3A/juUNgH3DNWvbnc5rQdeblNFu4GLk5zULlhfDOxu615Jsr4d6+qD9jXqGJKkCVg1RpsPAx8HHk3ycKv9DvB7wN1JrgGeAa5o63YBlwGzwKvAJwCqal+SzwAPtXafrqp9bfla4Hbg7cBX2ot5jiFJmoAFQ6Kq/orR1w0ALhrRvoDrOvvaDmwfUZ8BzhlR//6oY0iSJsNvXEuSugwJSVKXISFJ6jIkJEldhoQkqcuQkCR1GRKSpC5DQpLUZUhIkroMCUlSlyEhSeoyJCRJXYaEJKnLkJAkdRkSkqQuQ0KS1GVISJK6DAlJUpchIUnqMiQkSV2GhCSpy5CQJHUZEpI0AWu2fJk1W7487W4smiEhSeoyJCRJXYaEJKnLkJAkdRkSkqSuBUMiyfYkLyZ5bKi2NcnfJnm4vS4bWvfbSWaTfDvJJUP1Da02m2TLUP3MJA8meTLJXUmOb/W3ts+zbf2a5Rq0JGk845xJ3A5sGFG/qarOba9dAEnOBq4EfrFt84dJjktyHHALcClwNnBVawvw+21fa4GXgGta/Rrgpar6WeCm1k6SNEELhkRVfRXYN+b+NgJ3VtWPquq7wCxwfnvNVtVTVfX3wJ3AxiQBLgS+1LbfAXx0aF872vKXgItae0nShBzKNYnrkzzSpqNOarXTgGeH2sy1Wq/+HuAHVfXaQfU37Kutf7m1lyRNyFJD4lbgfcC5wPPAja0+6i/9WkJ9vn29SZLNSWaSzOzdu3e+fkuSFmFJIVFVL1TV61X1Y+DzDKaTYHAmcMZQ09OB5+apfw84Mcmqg+pv2FdbfwKdaa+q2lZV66pq3erVq5cyJEnSCEsKiSSnDn38VWD/nU87gSvbnUlnAmuBvwYeAta2O5mOZ3Bxe2dVFXA/cHnbfhNwz9C+NrXly4H7WntJ0oSsWqhBki8CFwAnJ5kDbgAuSHIug+mfp4HfAKiqx5PcDXwLeA24rqpeb/u5HtgNHAdsr6rH2yE+BdyZ5HeBbwK3tfptwBeSzDI4g7jykEcrSVqUBUOiqq4aUb5tRG1/+88Cnx1R3wXsGlF/ip9MVw3XfwhcsVD/JEmHj9+4liR1GRKSpC5DQpLUZUhIkroMCUlSlyEhSeoyJCRJXYaEJKnLkJAkdRkSkqQuQ0KS1GVISJK6DAlJUpchIUnqWvBR4SvJmi1fPrD89Num2BFJOkJ4JiFJ6jIkJEldhoQkqcuQkCR1GRKSpC5DQpLUZUhIkroMCUlSlyEhSeoyJCRJXYaEJKnLkJAkdRkSkqSuBUMiyfYkLyZ5bKj27iR7kjzZ3k9q9SS5OclskkeSnDe0zabW/skkm4bqH0zyaNvm5iSZ7xiSpMkZ50zidmDDQbUtwL1VtRa4t30GuBRY216bgVth8AsfuAH4EHA+cMPQL/1bW9v9221Y4BiSpAlZMCSq6qvAvoPKG4EdbXkH8NGh+h018ABwYpJTgUuAPVW1r6peAvYAG9q6d1XV16uqgDsO2teoY0iSJmSp1yTeW1XPA7T3U1r9NODZoXZzrTZffW5Efb5jSJImZLkvXGdErZZQX9xBk81JZpLM7N27d7GbS5I6lhoSL7SpItr7i60+B5wx1O504LkF6qePqM93jDepqm1Vta6q1q1evXqJQ5IkHWypIbET2H+H0ibgnqH61e0up/XAy22qaDdwcZKT2gXri4Hdbd0rSda3u5quPmhfo44hSZqQVQs1SPJF4ALg5CRzDO5S+j3g7iTXAM8AV7Tmu4DLgFngVeATAFW1L8lngIdau09X1f6L4dcyuIPq7cBX2ot5jiFJmpAFQ6KqruqsumhE2wKu6+xnO7B9RH0GOGdE/fujjiFJmhy/cS1J6jIkJEldhoQkqcuQkCR1GRKSpC5DQpLUZUhIkroMCUlSlyEhSeoyJCRJXYaEJKnLkJAkdRkSkqQuQ0KS1GVISJK6DAlJUpchIUnqMiQkSV2GhCSpy5CQJHUZEpKkLkNCktRlSEiSugwJSVKXISFJ6jIkJEldhoQkqcuQkCR1GRKSpK5DCokkTyd5NMnDSWZa7d1J9iR5sr2f1OpJcnOS2SSPJDlvaD+bWvsnk2waqn+w7X+2bZtD6a8kaXGW40zil6vq3Kpa1z5vAe6tqrXAve0zwKXA2vbaDNwKg1ABbgA+BJwP3LA/WFqbzUPbbViG/kqSxnQ4pps2Ajva8g7go0P1O2rgAeDEJKcClwB7qmpfVb0E7AE2tHXvqqqvV1UBdwztS5I0AYcaEgX8jyTfSLK51d5bVc8DtPdTWv004Nmhbedabb763Ij6myTZnGQmyczevXsPcUiSpP1WHeL2H66q55KcAuxJ8jfztB11PaGWUH9zsWobsA1g3bp1I9tIkhbvkM4kquq59v4i8OcMrim80KaKaO8vtuZzwBlDm58OPLdA/fQRdUnShCw5JJL8wyTv3L8MXAw8BuwE9t+htAm4py3vBK5udzmtB15u01G7gYuTnNQuWF8M7G7rXkmyvt3VdPXQviRJE3Ao003vBf683ZW6CviTqvrLJA8Bdye5BngGuKK13wVcBswCrwKfAKiqfUk+AzzU2n26qva15WuB24G3A19pL0nShCw5JKrqKeAfj6h/H7hoRL2A6zr72g5sH1GfAc5Zah8lSYfGb1xLkroMCUlSlyEhSeoyJCRJXYaEJKnrUL9xLUmasK1bt45cPhw8k5AkdRkSkqQuQ0KS1GVISJK6DAlJUpchIUnqMiQkSV2GhCSpy5CQJHX5jWtJOgI88QtnHVi+74JbALjucxdOqzsHeCYhSeoyJCRJXYaEJKnLkJAkdRkSkqQuQ0KS1OUtsJI0SVtPGFp+eXr9GJMhIUlHgbktX/vJh7dN7rhON0mSujyTkKQj1I0f+5UDyx8781Mj29x73/sOLF904XeWvQ+GhCRNyft3vP/A8t1T7Md8nG6SJHUd8SGRZEOSbyeZTbJl2v2RpJXkiA6JJMcBtwCXAmcDVyU5e7q9kqSV44gOCeB8YLaqnqqqvwfuBDZOuU+StGKkqqbdh64klwMbqupftc8fBz5UVdcf1G4zsLl9/Hng24s4zMnA95ahu0cbx72yrNRxw8od+2LH/TNVtfrg4pF+d1NG1N6UalW1Ddi2pAMkM1W1binbHs0c98qyUscNK3fsyzXuI326aQ44Y+jz6cBzU+qLJK04R3pIPASsTXJmkuOBK4GdU+6TJK0YR/R0U1W9luR6YDdwHLC9qh5f5sMsaZrqGOC4V5aVOm5YuWNflnEf0ReuJUnTdaRPN0mSpsiQkCR1rZiQWOjxHknemuSutv7BJGsm38vlN8a4/0OSbyV5JMm9SX5mGv1cbuM+ziXJ5UkqyTFxi+Q4407yL9q/+eNJ/mTSfTwcxvg5/+kk9yf5ZvtZv2wa/VxuSbYneTHJY531SXJz++/ySJLzFn2QqjrmXwwuen8H+EfA8cD/Ac4+qM2/BT7Xlq8E7pp2vyc07l8G/kFbvnaljLu1eyfwVeABYN20+z2hf++1wDeBk9rnU6bd7wmNextwbVs+G3h62v1eprH/EnAe8Fhn/WXAVxh852w98OBij7FSziTGebzHRmBHW/4ScFGSUV/mO5osOO6qur+qXm0fH2DwXZSj3biPc/kM8J+BH06yc4fROOP+18AtVfUSQFW9OOE+Hg7jjLuAd7XlEzhGvm9VVV8F9s3TZCNwRw08AJyY5NTFHGOlhMRpwLNDn+dabWSbqnoNeBl4z0R6d/iMM+5h1zD4q+Not+C4k3wAOKOq/mKSHTvMxvn3/jng55L8ryQPJNkwsd4dPuOMeyvwa0nmgF3Av5tM16Zusb8D3uSI/p7EMhrn8R5jPQLkKDP2mJL8GrAO+GeHtUeTMe+4k/wUcBPw65Pq0ISM8++9isGU0wUMzhq/luScqvrBYe7b4TTOuK8Cbq+qG5P8E+ALbdw/Pvzdm6pD/r22Us4kxnm8x4E2SVYxOCWd7zTuaDDWY02S/HPgPwEfqaofTahvh9NC434ncA7wP5M8zWCuducxcPF63J/ze6rq/1XVdxk8DHPthPp3uIwz7mto//O3qvo68DYGD8A71h3yo41WSkiM83iPncCmtnw5cF+1Kz9HsQXH3aZd/ohBQBwL89OwwLir6uWqOrmq1lTVGgbXYj5SVTPT6e6yGefn/L8zuFmBJCczmH56aqK9XH7jjPsZ4CKAJGcxCIm9E+3ldOwErm53Oa0HXq6q5xezgxUx3VSdx3sk+TQwU1U7gdsYnILOMjiDuHJ6PV4eY477vwDvAP5bu07/TFV9ZGqdXgZjjvuYM+a4dwMXJ/kW8DrwH6vq+9Pr9aEbc9yfBD6f5N8zmG759WPgj0CSfJHB1OHJ7XrLDcBbAKrqcwyuv1wGzAKvAp9Y9DGOgf9OkqTDZKVMN0mSlsCQkCR1GRKSpC5DQpLUZUhIkroMCUlSlyEhSer6/yIE0+JwbtFFAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "plt.hist(y_train)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [],
   "source": [
    "from keras.models import load_model\n",
    "\n",
    "model = load_model('lstm_best.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.preprocessing import LabelEncoder\n",
    "\n",
    "encoder = LabelEncoder()\n",
    "class_labels = encoder.fit_transform(y_label)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_response():\n",
    "    input_sentence = input('Enter input news: ')\n",
    "    Xi_token = tokenizer.texts_to_sequences([input_sentence])\n",
    "    Xi_pad = pad_sequences(Xi_token, padding='post', maxlen=maxlen)\n",
    "    print('Model predicts')\n",
    "    preds = model.predict(Xi_pad)\n",
    "    print('Confidence :')\n",
    "    print(preds)\n",
    "    preds = preds\n",
    "    total = 0\n",
    "    for k in range(len(preds[0])):\n",
    "        print(encoder.inverse_transform([[k]]))\n",
    "        print('%f %%' %(preds[0,k]*100))\n",
    "        total += preds[0,k]*100\n",
    "    #print(total)\n",
    "    print('Predicted class: %s'%(encoder.inverse_transform(model.predict_classes(Xi_pad))))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 79,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Enter input news: জাতীয় সংসদে বিএনপি চেয়ারপারসন ও বিরোধীদলীয় নেতা খালেদা জিয়ার দেওয়া ভাষণে ভারত সম্পর্কে আনা নানা অভিযোগের জবাব দিয়েছে দেশটি। ভারতের পক্ষ থেকে এ সংক্রান্ত একটি লিখিত জবাব খালেদা জিয়াকে দেওয়া হয়েছে। আজ বৃহস্পতিবার রাতে বিএনপির গুলশান কার্যালয়ে খালেদা জিয়ার সঙ্গে বাংলাদেশে নিযুক্ত ভারতের হাইকমিশনার পঙ্কজ সরণ সৌজন্য সাক্ষাত্ করেন। সেখানে তিনি খালেদা জিয়ার কাছে ভারতের জবাব সম্বলিত একটি চিঠি দেন। এ সময় বিএনপি চেয়ারপারসনের উপদেষ্টা রিয়াজ রহমান উপস্থিত ছিলেন। সৌজন্য সাক্ষাত্ শেষে রিয়াজ রহমান গুলশান কার্যালয় থেকে বেরিয়ে যাওয়ার সময় প্রথম আলো ডটকমকে একথা বলেন। তিনি জানান, এ ধরনের একটি চিঠি ভারতের পক্ষ থেকে সরকারকেও দেওয়া হয়েছে। বিএনপি চেয়ারপারসন ভারতের হাইকমিশনারকে বলেন, ‘আমরা এই বিষয়গুলো সম্পর্কে কিছুই জানতে পারছি না। ভারত ও বাংলাদেশ সরকারের পক্ষ থেকেও কোনো কিছু জানানো হচ্ছিল না।’ গত ২৯ জুন সংসদে দেওয়া ভাষণে খালেদা জিয়া নারায়ণগঞ্জের কনটেইনার টার্মিনাল নির্মাণের জন্য বাংলাদেশকে না জানিয়ে ভারতের দরপত্র আহ্বান, তিস্তা চুক্তি না হওয়া, টিপাইমুখ বাঁধ নির্মাণ ও সীমান্তে অব্যাহত বাংলাদেশি নাগরিকদের হত্যার অভিযোগ তুলে ধরেন। আজ খালেদাকে দেওয়া চিঠিতে এ সংক্রান্ত বিষয়ে ভারতের অবস্থান তুলে ধরা হয়। এই বিষয়গুলো নিয়ে ভুল বোঝাবুঝির অবসানের জন্য ভারতের পক্ষ থেকে এ চিঠি দেওয়া হয়েছে বলে পঙ্কজ সরণ খালেদা জিয়াকে জানান।রিয়াজ রহমান প্রথম আলো ডটকমকে এ কথা জানিয়ে আরও বলেন, ‘বৈঠকে দেশের সার্বিক রাজনৈতিক পরিস্থিতি নিয়েও কথা হয়েছে।’ তিনি বলেন, চার সিটি করপোরেশন নির্বাচন নিয়েও কথা হয়েছে। নির্দলীয় তত্ত্বাবধায়ক সরকারের দাবি জানিয়ে খালেদা জিয়া বলেন, এর মাধ্যমে সুষ্ঠুভাবে নির্বাচন হয় এবং এটাই তারা চায়। এ সময় পঙ্কজ সরণ খালেদা জিয়াকে বলেন, ‘আপনারা তো সিটি করপোরেশন নির্বাচনে জিতেছেন।’ এর জবাবে খালেদা জিয়া বলেন, ‘চার সিটিতে সুষ্ঠু নির্বাচন হলে আমাদের প্রার্থীরা আরও বেশি ভোটের ব্যবধানে জয়ী হতো।’দুটি দেশের পারষ্পারিক সম্পর্ক নিয়ে বৈঠকে আলোচনা হয়েছে। খালেদা জিয়াকে ভারতের হাইকমিশনার বলেছেন, বিএনপি ভারতের সঙ্গে সুসম্পর্ক চায়। এ প্রসঙ্গে হাইকমিশনার বলেন, ভারতও তাই চায়। তারা বাংলাদেশের অভ্যন্তরীণ কোনো বিষয়ে হস্তক্ষেপ করতে চায় না। ভারত চায় দুটি দেশের জনগনের মধ্যে সম্পর্ক গড়ে উঠুক।বৈঠকে ভারতের হাইকমিশনার তাঁর দেশের প্রধানমন্ত্রী মনমোহন সিংহের একটি অভিনন্দনপত্র বিএনপি চেয়ারপারসনকে দেন। সম্প্রতি ভারতের বিভিন্ন রাজ্যে ভয়াবহ বন্যায় ব্যাপক ক্ষয়ক্ষতি ও প্রাণহানির ঘটনায় দু:খপ্রকাশ করে খালেদা জিয়া চিঠি দেওয়ার মনমোহন এই পত্র দেন।\n",
      "Model predicts\n",
      "Confidence :\n",
      "[[9.9697709e-01 2.9859035e-03 3.0933130e-05 1.6070632e-06 4.8811700e-07\n",
      "  6.5315533e-07 2.3703221e-06 2.4175577e-07 6.3393401e-07]]\n",
      "['bangladesh']\n",
      "99.697709 %\n",
      "['economy']\n",
      "0.298590 %\n",
      "['education']\n",
      "0.003093 %\n",
      "['entertainment']\n",
      "0.000161 %\n",
      "['international']\n",
      "0.000049 %\n",
      "['life-style']\n",
      "0.000065 %\n",
      "['opinion']\n",
      "0.000237 %\n",
      "['sports']\n",
      "0.000024 %\n",
      "['technology']\n",
      "0.000063 %\n",
      "Predicted class: ['bangladesh']\n"
     ]
    }
   ],
   "source": [
    "generate_response()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}