02_bank_rus.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "c69dfefc",
   "metadata": {},
   "source": [
    "# Исследование надежности заемщиков\n",
    "\n",
    "Проект по исследованию влияния семейного положения и количества детей клиента на факт погашения кредита в срок для построения модели кредитного скоринга.\n",
    "\n",
    "**Статус проекта:** ✅завершен, проверен ревьюером.\n",
    "\n",
    "**Инструменты проекта:** `python`, `pandas`.\n",
    "\n",
    "**Навыки, использованные в проекте:**\n",
    "* предобработка данных,\n",
    "* сводные таблицы.\n",
    "\n",
    "**Технические особенности проекта:**\n",
    "* данные сильно зашумлены искажениями, пропусками и дубликатами (явными и неявными) — проведена предобработка;\n",
    "* данные избыточны, вследствие чего потребовалось выделение таблиц-справочников — уровня образования и семейного положения;\n",
    "* в ходе исследования потребовались категоризация вещественной переменной уровня дохода и укрупнение категорий цели кредитования;\n",
    "* для ответа на вопросы исследования использовались группировки сводные таблицы (pivot table).\n",
    "\n",
    "**Использование результатов исследования:**\n",
    "* построение модели кредитного скоринга.\n",
    "\n",
    "**Ключевые слова:** `предобработка данных`, `дубликаты`, `пропуски`, `сортировка`, `категоризация`, `декомпозиция`, `pivot`."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4684f6df",
   "metadata": {
    "toc": true
   },
   "source": [
    "<h1>Содержание<span class=\"tocSkip\"></span></h1>\n",
    "<div class=\"toc\"><ul class=\"toc-item\"><li><span><a href=\"#Постановка-задачи\" data-toc-modified-id=\"Постановка-задачи-1\"><span class=\"toc-item-num\">1&nbsp;&nbsp;</span>Постановка задачи</a></span></li><li><span><a href=\"#Резюме-проекта\" data-toc-modified-id=\"Резюме-проекта-2\"><span class=\"toc-item-num\">2&nbsp;&nbsp;</span>Резюме проекта</a></span></li><li><span><a href=\"#Краткое-содержание-работы\" data-toc-modified-id=\"Краткое-содержание-работы-3\"><span class=\"toc-item-num\">3&nbsp;&nbsp;</span>Краткое содержание работы</a></span></li><li><span><a href=\"#Обзор-данных\" data-toc-modified-id=\"Обзор-данных-4\"><span class=\"toc-item-num\">4&nbsp;&nbsp;</span>Обзор данных</a></span><ul class=\"toc-item\"><li><span><a href=\"#Импорт-библиотек-и-данных\" data-toc-modified-id=\"Импорт-библиотек-и-данных-4.1\"><span class=\"toc-item-num\">4.1&nbsp;&nbsp;</span>Импорт библиотек и данных</a></span></li><li><span><a href=\"#Обзор-датасета\" data-toc-modified-id=\"Обзор-датасета-4.2\"><span class=\"toc-item-num\">4.2&nbsp;&nbsp;</span>Обзор датасета</a></span></li><li><span><a href=\"#Выводы-по-разделу-4\" data-toc-modified-id=\"Выводы-по-разделу-4-4.3\"><span class=\"toc-item-num\">4.3&nbsp;&nbsp;</span>Выводы по разделу 4</a></span></li></ul></li><li><span><a href=\"#Предобработка-данных\" data-toc-modified-id=\"Предобработка-данных-5\"><span class=\"toc-item-num\">5&nbsp;&nbsp;</span>Предобработка данных</a></span><ul class=\"toc-item\"><li><span><a href=\"#Заполнение-пропусков\" data-toc-modified-id=\"Заполнение-пропусков-5.1\"><span class=\"toc-item-num\">5.1&nbsp;&nbsp;</span>Заполнение пропусков</a></span><ul class=\"toc-item\"><li><span><a href=\"#Нахождение-пропусков\" data-toc-modified-id=\"Нахождение-пропусков-5.1.1\"><span class=\"toc-item-num\">5.1.1&nbsp;&nbsp;</span>Нахождение пропусков</a></span></li><li><span><a href=\"#Изучение-пропусков\" data-toc-modified-id=\"Изучение-пропусков-5.1.2\"><span class=\"toc-item-num\">5.1.2&nbsp;&nbsp;</span>Изучение пропусков</a></span></li><li><span><a href=\"#Заполнение-пропусков-в-столбце-total_income\" data-toc-modified-id=\"Заполнение-пропусков-в-столбце-total_income-5.1.3\"><span class=\"toc-item-num\">5.1.3&nbsp;&nbsp;</span>Заполнение пропусков в столбце <code>total_income</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Получение-уникальных-значений-в-столбце-income_type\" data-toc-modified-id=\"Получение-уникальных-значений-в-столбце-income_type-5.1.3.1\"><span class=\"toc-item-num\">5.1.3.1&nbsp;&nbsp;</span>Получение уникальных значений в столбце <code>income_type</code></a></span></li><li><span><a href=\"#Нахождение-медианных-значений-в-столбце-total_income-в-зависимости-от-значения-в-столбце-income_type\" data-toc-modified-id=\"Нахождение-медианных-значений-в-столбце-total_income-в-зависимости-от-значения-в-столбце-income_type-5.1.3.2\"><span class=\"toc-item-num\">5.1.3.2&nbsp;&nbsp;</span>Нахождение медианных значений в столбце <code>total_income</code> в зависимости от значения в столбце <code>income_type</code></a></span></li><li><span><a href=\"#Заполнение-пропусков.-Вариант-1-(первоначальный)\" data-toc-modified-id=\"Заполнение-пропусков.-Вариант-1-(первоначальный)-5.1.3.3\"><span class=\"toc-item-num\">5.1.3.3&nbsp;&nbsp;</span>Заполнение пропусков. Вариант 1 (первоначальный)</a></span></li><li><span><a href=\"#Заполнение-пропусков.-Вариант-2-(после-ревью)\" data-toc-modified-id=\"Заполнение-пропусков.-Вариант-2-(после-ревью)-5.1.3.4\"><span class=\"toc-item-num\">5.1.3.4&nbsp;&nbsp;</span>Заполнение пропусков. Вариант 2 (после ревью)</a></span></li><li><span><a href=\"#Заполнение-пропусков.-Вариант-3-(после-прохождения-курса)\" data-toc-modified-id=\"Заполнение-пропусков.-Вариант-3-(после-прохождения-курса)-5.1.3.5\"><span class=\"toc-item-num\">5.1.3.5&nbsp;&nbsp;</span>Заполнение пропусков. Вариант 3 (после прохождения курса)</a></span></li><li><span><a href=\"#Проверка-заполнения-пропусков\" data-toc-modified-id=\"Проверка-заполнения-пропусков-5.1.3.6\"><span class=\"toc-item-num\">5.1.3.6&nbsp;&nbsp;</span>Проверка заполнения пропусков</a></span></li></ul></li><li><span><a href=\"#Вывод-по-подразделу-5.1\" data-toc-modified-id=\"Вывод-по-подразделу-5.1-5.1.4\"><span class=\"toc-item-num\">5.1.4&nbsp;&nbsp;</span>Вывод по подразделу 5.1</a></span></li></ul></li><li><span><a href=\"#Проверка-данных-на-аномалии-и-исправления\" data-toc-modified-id=\"Проверка-данных-на-аномалии-и-исправления-5.2\"><span class=\"toc-item-num\">5.2&nbsp;&nbsp;</span>Проверка данных на аномалии и исправления</a></span><ul class=\"toc-item\"><li><span><a href=\"#Проверка-столбца-children\" data-toc-modified-id=\"Проверка-столбца-children-5.2.1\"><span class=\"toc-item-num\">5.2.1&nbsp;&nbsp;</span>Проверка столбца <code>children</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-children\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-children-5.2.1.1\"><span class=\"toc-item-num\">5.2.1.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>children</code></a></span></li><li><span><a href=\"#Анализ-аномальных-значений-в-столбце-children\" data-toc-modified-id=\"Анализ-аномальных-значений-в-столбце-children-5.2.1.2\"><span class=\"toc-item-num\">5.2.1.2&nbsp;&nbsp;</span>Анализ аномальных значений в столбце <code>children</code></a></span></li><li><span><a href=\"#Исправление-аномальных-значений--в-столбце-children\" data-toc-modified-id=\"Исправление-аномальных-значений--в-столбце-children-5.2.1.3\"><span class=\"toc-item-num\">5.2.1.3&nbsp;&nbsp;</span>Исправление аномальных значений  в столбце <code>children</code></a></span></li><li><span><a href=\"#Проверка-исправления-аномальных-значений--в-столбце-children\" data-toc-modified-id=\"Проверка-исправления-аномальных-значений--в-столбце-children-5.2.1.4\"><span class=\"toc-item-num\">5.2.1.4&nbsp;&nbsp;</span>Проверка исправления аномальных значений  в столбце <code>children</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.2.1\" data-toc-modified-id=\"Вывод-по-подразделу-5.2.1-5.2.1.5\"><span class=\"toc-item-num\">5.2.1.5&nbsp;&nbsp;</span>Вывод по подразделу 5.2.1</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-days_employed\" data-toc-modified-id=\"Проверка-столбца-days_employed-5.2.2\"><span class=\"toc-item-num\">5.2.2&nbsp;&nbsp;</span>Проверка столбца <code>days_employed</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-days_employed\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-days_employed-5.2.2.1\"><span class=\"toc-item-num\">5.2.2.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>days_employed</code></a></span></li><li><span><a href=\"#Анализ-аномальных-значений-в-столбце-days_employed\" data-toc-modified-id=\"Анализ-аномальных-значений-в-столбце-days_employed-5.2.2.2\"><span class=\"toc-item-num\">5.2.2.2&nbsp;&nbsp;</span>Анализ аномальных значений в столбце <code>days_employed</code></a></span></li><li><span><a href=\"#Исправление-аномальных-значений-в-столбце-days_employed\" data-toc-modified-id=\"Исправление-аномальных-значений-в-столбце-days_employed-5.2.2.3\"><span class=\"toc-item-num\">5.2.2.3&nbsp;&nbsp;</span>Исправление аномальных значений в столбце <code>days_employed</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.2.2\" data-toc-modified-id=\"Вывод-по-подразделу-5.2.2-5.2.2.4\"><span class=\"toc-item-num\">5.2.2.4&nbsp;&nbsp;</span>Вывод по подразделу 5.2.2</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-dob_years\" data-toc-modified-id=\"Проверка-столбца-dob_years-5.2.3\"><span class=\"toc-item-num\">5.2.3&nbsp;&nbsp;</span>Проверка столбца <code>dob_years</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-dob_years\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-dob_years-5.2.3.1\"><span class=\"toc-item-num\">5.2.3.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>dob_years</code></a></span></li><li><span><a href=\"#Анализ-аномальных-значений-в-столбце-dob_years\" data-toc-modified-id=\"Анализ-аномальных-значений-в-столбце-dob_years-5.2.3.2\"><span class=\"toc-item-num\">5.2.3.2&nbsp;&nbsp;</span>Анализ аномальных значений в столбце <code>dob_years</code></a></span></li><li><span><a href=\"#Исправление-аномальных-значений-в-столбце-dob_years\" data-toc-modified-id=\"Исправление-аномальных-значений-в-столбце-dob_years-5.2.3.3\"><span class=\"toc-item-num\">5.2.3.3&nbsp;&nbsp;</span>Исправление аномальных значений в столбце <code>dob_years</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.2.3\" data-toc-modified-id=\"Вывод-по-подразделу-5.2.3-5.2.3.4\"><span class=\"toc-item-num\">5.2.3.4&nbsp;&nbsp;</span>Вывод по подразделу 5.2.3</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-education\" data-toc-modified-id=\"Проверка-столбца-education-5.2.4\"><span class=\"toc-item-num\">5.2.4&nbsp;&nbsp;</span>Проверка столбца <code>education</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-education\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-education-5.2.4.1\"><span class=\"toc-item-num\">5.2.4.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>education</code></a></span></li><li><span><a href=\"#Исправление-аномальных-значений-в-столбце-education\" data-toc-modified-id=\"Исправление-аномальных-значений-в-столбце-education-5.2.4.2\"><span class=\"toc-item-num\">5.2.4.2&nbsp;&nbsp;</span>Исправление аномальных значений в столбце <code>education</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.2.4\" data-toc-modified-id=\"Вывод-по-подразделу-5.2.4-5.2.4.3\"><span class=\"toc-item-num\">5.2.4.3&nbsp;&nbsp;</span>Вывод по подразделу 5.2.4</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-education_id\" data-toc-modified-id=\"Проверка-столбца-education_id-5.2.5\"><span class=\"toc-item-num\">5.2.5&nbsp;&nbsp;</span>Проверка столбца <code>education_id</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-education_id\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-education_id-5.2.5.1\"><span class=\"toc-item-num\">5.2.5.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>education_id</code></a></span></li><li><span><a href=\"#Выводы-по-подразделу-5.2.5\" data-toc-modified-id=\"Выводы-по-подразделу-5.2.5-5.2.5.2\"><span class=\"toc-item-num\">5.2.5.2&nbsp;&nbsp;</span>Выводы по подразделу 5.2.5</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-family_status\" data-toc-modified-id=\"Проверка-столбца-family_status-5.2.6\"><span class=\"toc-item-num\">5.2.6&nbsp;&nbsp;</span>Проверка столбца <code>family_status</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-family_status\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-family_status-5.2.6.1\"><span class=\"toc-item-num\">5.2.6.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>family_status</code></a></span></li><li><span><a href=\"#Исправление-аномальных-значений-в-столбце-family_status\" data-toc-modified-id=\"Исправление-аномальных-значений-в-столбце-family_status-5.2.6.2\"><span class=\"toc-item-num\">5.2.6.2&nbsp;&nbsp;</span>Исправление аномальных значений в столбце <code>family_status</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.2.6\" data-toc-modified-id=\"Вывод-по-подразделу-5.2.6-5.2.6.3\"><span class=\"toc-item-num\">5.2.6.3&nbsp;&nbsp;</span>Вывод по подразделу 5.2.6</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-family_status_id\" data-toc-modified-id=\"Проверка-столбца-family_status_id-5.2.7\"><span class=\"toc-item-num\">5.2.7&nbsp;&nbsp;</span>Проверка столбца <code>family_status_id</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-family_status_id\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-family_status_id-5.2.7.1\"><span class=\"toc-item-num\">5.2.7.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>family_status_id</code></a></span></li><li><span><a href=\"#Выводы-по-подразделу-5.2.7\" data-toc-modified-id=\"Выводы-по-подразделу-5.2.7-5.2.7.2\"><span class=\"toc-item-num\">5.2.7.2&nbsp;&nbsp;</span>Выводы по подразделу 5.2.7</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-gender\" data-toc-modified-id=\"Проверка-столбца-gender-5.2.8\"><span class=\"toc-item-num\">5.2.8&nbsp;&nbsp;</span>Проверка столбца <code>gender</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-gender\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-gender-5.2.8.1\"><span class=\"toc-item-num\">5.2.8.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>gender</code></a></span></li><li><span><a href=\"#Анализ-аномальных-значений-в-столбце-gender\" data-toc-modified-id=\"Анализ-аномальных-значений-в-столбце-gender-5.2.8.2\"><span class=\"toc-item-num\">5.2.8.2&nbsp;&nbsp;</span>Анализ аномальных значений в столбце <code>gender</code></a></span></li><li><span><a href=\"#Исправление-аномальных-значений-в-столбце-gender\" data-toc-modified-id=\"Исправление-аномальных-значений-в-столбце-gender-5.2.8.3\"><span class=\"toc-item-num\">5.2.8.3&nbsp;&nbsp;</span>Исправление аномальных значений в столбце <code>gender</code></a></span></li><li><span><a href=\"#Выводы-по-подразделу-5.2.8\" data-toc-modified-id=\"Выводы-по-подразделу-5.2.8-5.2.8.4\"><span class=\"toc-item-num\">5.2.8.4&nbsp;&nbsp;</span>Выводы по подразделу 5.2.8</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-income_type\" data-toc-modified-id=\"Проверка-столбца-income_type-5.2.9\"><span class=\"toc-item-num\">5.2.9&nbsp;&nbsp;</span>Проверка столбца <code>income_type</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-income_type\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-income_type-5.2.9.1\"><span class=\"toc-item-num\">5.2.9.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>income_type</code></a></span></li><li><span><a href=\"#Выводы-по-подразделу-5.2.9\" data-toc-modified-id=\"Выводы-по-подразделу-5.2.9-5.2.9.2\"><span class=\"toc-item-num\">5.2.9.2&nbsp;&nbsp;</span>Выводы по подразделу 5.2.9</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-debt\" data-toc-modified-id=\"Проверка-столбца-debt-5.2.10\"><span class=\"toc-item-num\">5.2.10&nbsp;&nbsp;</span>Проверка столбца <code>debt</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-debt\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-debt-5.2.10.1\"><span class=\"toc-item-num\">5.2.10.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>debt</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.2.10\" data-toc-modified-id=\"Вывод-по-подразделу-5.2.10-5.2.10.2\"><span class=\"toc-item-num\">5.2.10.2&nbsp;&nbsp;</span>Вывод по подразделу 5.2.10</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-total_income\" data-toc-modified-id=\"Проверка-столбца-total_income-5.2.11\"><span class=\"toc-item-num\">5.2.11&nbsp;&nbsp;</span>Проверка столбца <code>total_income</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-total_income\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-total_income-5.2.11.1\"><span class=\"toc-item-num\">5.2.11.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>total_income</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.2.11\" data-toc-modified-id=\"Вывод-по-подразделу-5.2.11-5.2.11.2\"><span class=\"toc-item-num\">5.2.11.2&nbsp;&nbsp;</span>Вывод по подразделу 5.2.11</a></span></li></ul></li><li><span><a href=\"#Проверка-столбца-purpose\" data-toc-modified-id=\"Проверка-столбца-purpose-5.2.12\"><span class=\"toc-item-num\">5.2.12&nbsp;&nbsp;</span>Проверка столбца <code>purpose</code></a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-аномальных-значений-в-столбце-purpose\" data-toc-modified-id=\"Поиск-аномальных-значений-в-столбце-purpose-5.2.12.1\"><span class=\"toc-item-num\">5.2.12.1&nbsp;&nbsp;</span>Поиск аномальных значений в столбце <code>purpose</code></a></span></li><li><span><a href=\"#Выводы-по-подразделу-5.2.12\" data-toc-modified-id=\"Выводы-по-подразделу-5.2.12-5.2.12.2\"><span class=\"toc-item-num\">5.2.12.2&nbsp;&nbsp;</span>Выводы по подразделу 5.2.12</a></span></li></ul></li></ul></li><li><span><a href=\"#Изменение-типов-данных\" data-toc-modified-id=\"Изменение-типов-данных-5.3\"><span class=\"toc-item-num\">5.3&nbsp;&nbsp;</span>Изменение типов данных</a></span><ul class=\"toc-item\"><li><span><a href=\"#Замена-типа-данных-в-столбце-total_income\" data-toc-modified-id=\"Замена-типа-данных-в-столбце-total_income-5.3.1\"><span class=\"toc-item-num\">5.3.1&nbsp;&nbsp;</span>Замена типа данных в столбце <code>total_income</code></a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.3\" data-toc-modified-id=\"Вывод-по-подразделу-5.3-5.3.2\"><span class=\"toc-item-num\">5.3.2&nbsp;&nbsp;</span>Вывод по подразделу 5.3</a></span></li></ul></li><li><span><a href=\"#Удаление-строк-дубликатов-в-данных\" data-toc-modified-id=\"Удаление-строк-дубликатов-в-данных-5.4\"><span class=\"toc-item-num\">5.4&nbsp;&nbsp;</span>Удаление строк-дубликатов в данных</a></span><ul class=\"toc-item\"><li><span><a href=\"#Поиск-строк-дубликатов-в-данных\" data-toc-modified-id=\"Поиск-строк-дубликатов-в-данных-5.4.1\"><span class=\"toc-item-num\">5.4.1&nbsp;&nbsp;</span>Поиск строк-дубликатов в данных</a></span></li><li><span><a href=\"#Удаление-строк-дубликатов-в-данных\" data-toc-modified-id=\"Удаление-строк-дубликатов-в-данных-5.4.2\"><span class=\"toc-item-num\">5.4.2&nbsp;&nbsp;</span>Удаление строк-дубликатов в данных</a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.4\" data-toc-modified-id=\"Вывод-по-подразделу-5.4-5.4.3\"><span class=\"toc-item-num\">5.4.3&nbsp;&nbsp;</span>Вывод по подразделу 5.4</a></span></li></ul></li><li><span><a href=\"#Декомпозиция-исходного-датафрейма.-Формирование-дополнительных-датафреймов-словарей\" data-toc-modified-id=\"Декомпозиция-исходного-датафрейма.-Формирование-дополнительных-датафреймов-словарей-5.5\"><span class=\"toc-item-num\">5.5&nbsp;&nbsp;</span>Декомпозиция исходного датафрейма. Формирование дополнительных датафреймов словарей</a></span><ul class=\"toc-item\"><li><span><a href=\"#Уточнение-значений-категорий-содержащихся-в-столбцах-education-и-family_status\" data-toc-modified-id=\"Уточнение-значений-категорий-содержащихся-в-столбцах-education-и-family_status-5.5.1\"><span class=\"toc-item-num\">5.5.1&nbsp;&nbsp;</span>Уточнение значений категорий содержащихся в столбцах <code>education</code> и <code>family_status</code></a></span></li><li><span><a href=\"#Создание-датафреймов-&quot;словарей&quot;-для-хранения-категорий-education-и-family_status\" data-toc-modified-id=\"Создание-датафреймов-&quot;словарей&quot;-для-хранения-категорий-education-и-family_status-5.5.2\"><span class=\"toc-item-num\">5.5.2&nbsp;&nbsp;</span>Создание датафреймов \"словарей\" для хранения категорий <code>education</code> и <code>family_status</code></a></span></li><li><span><a href=\"#Удаление-столбцов-education-и-family_status-из-исходного-датафрейма\" data-toc-modified-id=\"Удаление-столбцов-education-и-family_status-из-исходного-датафрейма-5.5.3\"><span class=\"toc-item-num\">5.5.3&nbsp;&nbsp;</span>Удаление столбцов <code>education</code> и <code>family_status</code> из исходного датафрейма</a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.5\" data-toc-modified-id=\"Вывод-по-подразделу-5.5-5.5.4\"><span class=\"toc-item-num\">5.5.4&nbsp;&nbsp;</span>Вывод по подразделу 5.5</a></span></li></ul></li><li><span><a href=\"#Категоризация-дохода\" data-toc-modified-id=\"Категоризация-дохода-5.6\"><span class=\"toc-item-num\">5.6&nbsp;&nbsp;</span>Категоризация дохода</a></span><ul class=\"toc-item\"><li><span><a href=\"#Создание-функции-set_income_category\" data-toc-modified-id=\"Создание-функции-set_income_category-5.6.1\"><span class=\"toc-item-num\">5.6.1&nbsp;&nbsp;</span>Создание функции <code>set_income_category</code></a></span></li><li><span><a href=\"#Добавление-в-датафрейм-столбца-с-категорией-дохода\" data-toc-modified-id=\"Добавление-в-датафрейм-столбца-с-категорией-дохода-5.6.2\"><span class=\"toc-item-num\">5.6.2&nbsp;&nbsp;</span>Добавление в датафрейм столбца с категорией дохода</a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.6\" data-toc-modified-id=\"Вывод-по-подразделу-5.6-5.6.3\"><span class=\"toc-item-num\">5.6.3&nbsp;&nbsp;</span>Вывод по подразделу 5.6</a></span></li></ul></li><li><span><a href=\"#Категоризация-целей-кредита\" data-toc-modified-id=\"Категоризация-целей-кредита-5.7\"><span class=\"toc-item-num\">5.7&nbsp;&nbsp;</span>Категоризация целей кредита</a></span><ul class=\"toc-item\"><li><span><a href=\"#Изучение-столбца-purpose-и-выделение-подстрок-для-определения-категории\" data-toc-modified-id=\"Изучение-столбца-purpose-и-выделение-подстрок-для-определения-категории-5.7.1\"><span class=\"toc-item-num\">5.7.1&nbsp;&nbsp;</span>Изучение столбца <code>purpose</code> и выделение подстрок для определения категории</a></span></li><li><span><a href=\"#Функция-для-категоризации-целей-кредитования-по-ключевым-словам\" data-toc-modified-id=\"Функция-для-категоризации-целей-кредитования-по-ключевым-словам-5.7.2\"><span class=\"toc-item-num\">5.7.2&nbsp;&nbsp;</span>Функция для категоризации целей кредитования по ключевым словам</a></span></li><li><span><a href=\"#Категоризация-датафрейма-по-целям-кредитования\" data-toc-modified-id=\"Категоризация-датафрейма-по-целям-кредитования-5.7.3\"><span class=\"toc-item-num\">5.7.3&nbsp;&nbsp;</span>Категоризация датафрейма по целям кредитования</a></span></li><li><span><a href=\"#Вывод-по-подразделу-5.7\" data-toc-modified-id=\"Вывод-по-подразделу-5.7-5.7.4\"><span class=\"toc-item-num\">5.7.4&nbsp;&nbsp;</span>Вывод по подразделу 5.7</a></span></li></ul></li></ul></li><li><span><a href=\"#Ответы-на-вопросы\" data-toc-modified-id=\"Ответы-на-вопросы-6\"><span class=\"toc-item-num\">6&nbsp;&nbsp;</span>Ответы на вопросы</a></span><ul class=\"toc-item\"><li><span><a href=\"#Вопрос-1\" data-toc-modified-id=\"Вопрос-1-6.1\"><span class=\"toc-item-num\">6.1&nbsp;&nbsp;</span>Вопрос 1</a></span><ul class=\"toc-item\"><li><span><a href=\"#Вариант-1-(первоначальный,-после-ревью)\" data-toc-modified-id=\"Вариант-1-(первоначальный,-после-ревью)-6.1.1\"><span class=\"toc-item-num\">6.1.1&nbsp;&nbsp;</span>Вариант 1 (первоначальный, после ревью)</a></span></li><li><span><a href=\"#Вариант-2-(после-прохождения-курса)\" data-toc-modified-id=\"Вариант-2-(после-прохождения-курса)-6.1.2\"><span class=\"toc-item-num\">6.1.2&nbsp;&nbsp;</span>Вариант 2 (после прохождения курса)</a></span></li><li><span><a href=\"#Ответ-на-вопрос-1\" data-toc-modified-id=\"Ответ-на-вопрос-1-6.1.3\"><span class=\"toc-item-num\">6.1.3&nbsp;&nbsp;</span>Ответ на вопрос 1</a></span></li></ul></li><li><span><a href=\"#Вопрос-2\" data-toc-modified-id=\"Вопрос-2-6.2\"><span class=\"toc-item-num\">6.2&nbsp;&nbsp;</span>Вопрос 2</a></span><ul class=\"toc-item\"><li><span><a href=\"#Вариант-1-(первоначальный,-после-ревью)\" data-toc-modified-id=\"Вариант-1-(первоначальный,-после-ревью)-6.2.1\"><span class=\"toc-item-num\">6.2.1&nbsp;&nbsp;</span>Вариант 1 (первоначальный, после ревью)</a></span></li><li><span><a href=\"#Вариант-2-(после-прохождения-курса)\" data-toc-modified-id=\"Вариант-2-(после-прохождения-курса)-6.2.2\"><span class=\"toc-item-num\">6.2.2&nbsp;&nbsp;</span>Вариант 2 (после прохождения курса)</a></span></li><li><span><a href=\"#Ответ-на-вопрос-2\" data-toc-modified-id=\"Ответ-на-вопрос-2-6.2.3\"><span class=\"toc-item-num\">6.2.3&nbsp;&nbsp;</span>Ответ на вопрос 2</a></span></li></ul></li><li><span><a href=\"#Вопрос-3\" data-toc-modified-id=\"Вопрос-3-6.3\"><span class=\"toc-item-num\">6.3&nbsp;&nbsp;</span>Вопрос 3</a></span><ul class=\"toc-item\"><li><span><a href=\"#Вариант-1-(первоначальный,-после-ревью)\" data-toc-modified-id=\"Вариант-1-(первоначальный,-после-ревью)-6.3.1\"><span class=\"toc-item-num\">6.3.1&nbsp;&nbsp;</span>Вариант 1 (первоначальный, после ревью)</a></span></li><li><span><a href=\"#Вариант-2-(после-прохождения-курса)\" data-toc-modified-id=\"Вариант-2-(после-прохождения-курса)-6.3.2\"><span class=\"toc-item-num\">6.3.2&nbsp;&nbsp;</span>Вариант 2 (после прохождения курса)</a></span></li><li><span><a href=\"#Ответ-на-вопрос-3\" data-toc-modified-id=\"Ответ-на-вопрос-3-6.3.3\"><span class=\"toc-item-num\">6.3.3&nbsp;&nbsp;</span>Ответ на вопрос 3</a></span></li></ul></li><li><span><a href=\"#Вопрос-4\" data-toc-modified-id=\"Вопрос-4-6.4\"><span class=\"toc-item-num\">6.4&nbsp;&nbsp;</span>Вопрос 4</a></span><ul class=\"toc-item\"><li><span><a href=\"#Вариант-1-(первоначальный,-после-ревью)\" data-toc-modified-id=\"Вариант-1-(первоначальный,-после-ревью)-6.4.1\"><span class=\"toc-item-num\">6.4.1&nbsp;&nbsp;</span>Вариант 1 (первоначальный, после ревью)</a></span></li><li><span><a href=\"#Вариант-2-(после-прохождения-курса)\" data-toc-modified-id=\"Вариант-2-(после-прохождения-курса)-6.4.2\"><span class=\"toc-item-num\">6.4.2&nbsp;&nbsp;</span>Вариант 2 (после прохождения курса)</a></span></li></ul></li><li><span><a href=\"#Причины-появления-пропусков-в-исходных-данных\" data-toc-modified-id=\"Причины-появления-пропусков-в-исходных-данных-6.5\"><span class=\"toc-item-num\">6.5&nbsp;&nbsp;</span>Причины появления пропусков в исходных данных</a></span></li><li><span><a href=\"#Обоснование-заполнения-пропусков-медианным-значением\" data-toc-modified-id=\"Обоснование-заполнения-пропусков-медианным-значением-6.6\"><span class=\"toc-item-num\">6.6&nbsp;&nbsp;</span>Обоснование заполнения пропусков медианным значением</a></span></li></ul></li><li><span><a href=\"#Общий-вывод\" data-toc-modified-id=\"Общий-вывод-7\"><span class=\"toc-item-num\">7&nbsp;&nbsp;</span>Общий вывод</a></span></li><li><span><a href=\"#Чек-лист-выполнения-проекта\" data-toc-modified-id=\"Чек-лист-выполнения-проекта-8\"><span class=\"toc-item-num\">8&nbsp;&nbsp;</span>Чек-лист выполнения проекта</a></span></li></ul></div>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8fba4b63",
   "metadata": {},
   "source": [
    "## Постановка задачи\n",
    "\n",
    "Кредитный отдел банка хочет разобраться, влияет ли семейное положение и количество детей клиента на факт погашения кредита в срок.\n",
    "\n",
    "**Цель исследования** — на основе предоставленной банком статистики о платежеспособности клиентов проанализировать влияние таких факторов как семейное положение и количество детей на риск непогашения клиентом кредита в срок.\n",
    "\n",
    "**Задача исследования** — дать ответы на следующие вопросы:\n",
    "* Есть ли зависимость между количеством детей и возвратом кредита в срок?\n",
    "* Есть ли зависимость между семейным положением и возвратом кредита в срок?\n",
    "* Есть ли зависимость между уровнем дохода и возвратом кредита в срок?\n",
    "* Как разные цели кредита влияют на его возврат в срок?\n",
    "\n",
    "Ответы должны быть сопровождены интерпретацией — о чём именно говорит полученный результат.\n",
    "\n",
    "Результаты исследования будут учтены при построении модели кредитного скоринга — специальной системы, которая оценивает способность потенциального заёмщика вернуть кредит банку.\n",
    "\n",
    "**Источник данных:** файл `data.csv` — предоставленные банком данные со статистикой платежеспособности клиентов\n",
    "\n",
    "Описание данных:\n",
    "\n",
    "- `children` — количество детей в семье;\n",
    "- `days_employed` — общий трудовой стаж в днях;\n",
    "- `dob_years` — возраст клиента в годах;\n",
    "- `education` — уровень образования клиента; \n",
    "- `education_id` — идентификатор уровня образования;\n",
    "- `family_status` — семейное положение;\n",
    "- `family_status_id` — идентификатор семейного положения;\n",
    "- `gender` – пол клиента;\n",
    "- `income_type` — тип занятости;\n",
    "- `debt` — имел ли задолженность по возврату кредитов;\n",
    "- `total_income` — ежемесячный доход;\n",
    "- `purpose` — цель получения кредита."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "22f1a749",
   "metadata": {},
   "source": [
    "[В начало раздела](#Постановка-задачи) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5e536841",
   "metadata": {},
   "source": [
    "## Резюме проекта\n",
    "\n",
    "**В ходе исследования проведены:**\n",
    "- Предобработка данных: нахождение и заполнение пропусков, исследование и исправление артефактов в данных, преобразование типов, удаление явных и неявных дубликатов.\n",
    "- Проведена оптимизация датафрейма с выделением двух новых датафреймов \"словарей\" и категоризация заёмщиков по уровню доходов и целям получения кредита.\n",
    "- С помощью сводных таблиц проведено исследование и получены ответы на поставленные вопросы.\n",
    "\n",
    "</br></br>\n",
    "**По результатам проведенного исследования сделаны следующие выводы:**\n",
    "1. С ростом количества детей в семье процент невозвратов (отношение количества клиентов имеющих просрочку к количеству не имеющих задолженности по кредиту) растет.\n",
    "1. Процент просрочки по кредитам выше среди холостых и живущих в гражданском браке.\n",
    "1. Процент невозвратов наибольший у группы с доходом до 30000 руб. и у группы с уровнем дохода от 50001–200000. Скорее всего это связано с тем, что в эти группы попадает наибольшее количество заёмщиков.\n",
    "1. Наибольший риск просрочки по кредитам на операции с недвижимостью и автокредитам"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3f50dcc2",
   "metadata": {},
   "source": [
    "[В начало раздела](#Резюме-проекта) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "424cbd15",
   "metadata": {},
   "source": [
    "## Краткое содержание работы\n",
    "\n",
    "Исследование проводилось в четыре этапа:\n",
    "\n",
    "1. [Обзор данных](#Обзор-данных) — загрузка библиотеки `pandas` и файла с исходными данными, первичное знакомство с данными посредством методов `head()` и `info()`. При загрузке файла с исходными данными применен обработчик исключений `try-except`.\n",
    "\n",
    "\n",
    "2. [Предобработка данных](#Предобработка-данных) — основная и наиболее трудоёмкая часть проекта. Устранение выявленных при обзоре недостатков в данных: нарушений в стиле заголовков столбцов, заполнение пропущенных значений, удаление полных дубликатов. На этом этапе было обнаружено, что данные:\n",
    "- содержали 10,1% пропусков в колонках `days_employed` и `total_income`.\n",
    "- имели неявные дубликаты в колонках `education`, `family_status` и `purpose`.\n",
    "- имели вещественный формат в колонке `total_income` вместо целочисленного.\n",
    "- имели 71 ед. строк-дубликатов (0,33% от общего объёма данных).\n",
    "\n",
    "</br></br>\n",
    "Все столбцы датафрейма были проверены на наличие аномальных значений (артефактов). Все найденные аномальные значения устранены.\n",
    "\n",
    "Для обработки данных использовались такие методы как `value_counts()`, `pivot_table()`, `fillna()`, `transform()`, `apply()`, `isna().sum()`, `astype()`, `str.lower()`, `duplicated().sum()` и `drop_duplicates()`.\n",
    "\n",
    "\n",
    "3. [Ответы на вопросы](#Ответы-на-вопросы) — анализ данных с помощью сводных таблиц и ответы на поставленные вопросы.\n",
    "\n",
    "\n",
    "4. [Формулировка общего вывода](#Общий-вывод) по результатам исследования.\n",
    "\n",
    "</br></br>\n",
    "Первоначально проект выполнялся полностью самостоятельно и был проверен ревьюером. Позднее на платформе Яндекс Практикума данный проект был преобразован в проект с полуавтоматической проверкой, состоящий из 24 заданий.\n",
    "\n",
    "Первая часть проекта (задания 1-18) должны были выполняться в Jupyter-тренажёре. Количество заданий по предобработке данных было сокращено по сравнению с представленной версией проекта. Вторая часть проекта (задания 19-24) по сравнению с первоначальной версией содержала два дополнительных вопроса по обоснованию выбора способа обработки пропусков.\n",
    "\n",
    "Данная версия проекта является компиляцией этих двух подходов. Разделы первоначальной (более полной) версии проекта сопоставлены с заданиями второй версии. Кроме этого, некоторые разделы содержат несколько версий выполнения задания - первоначальную, проверенную ревьюером и более позднюю, созданную после прохождения курса при подготовке проекта к публикации в портфолио."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e7511472",
   "metadata": {},
   "source": [
    "[В начало раздела](#Краткое-содержание-работы) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "310bd08d",
   "metadata": {},
   "source": [
    "## Обзор данных\n",
    "**Задача:** открыть таблицу и изучить общую информацию о данных.\n",
    "\n",
    "\n",
    "### Импорт библиотек и данных\n",
    "Задание 1. Импортируйте библиотеку pandas. Считайте данные из csv-файла в датафрейм и сохраните в переменную `data`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "07b3bf85",
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# Импорт библиотеки pandas\n",
    "import pandas as pd\n",
    "\n",
    "# Импорт данных в переменную `data`\n",
    "try:\n",
    "    # Адрес в локальном окружении\n",
    "    data = pd.read_csv('datasets/data.csv')\n",
    "    \n",
    "except:\n",
    "    # Адрес в окружении Яндекс Практикума\n",
    "    data = pd.read_csv('…/data.csv')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cab69e02",
   "metadata": {},
   "source": [
    "Задание 2. Выведите первые 20 строчек датафрейма `data` на экран."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "e6f2e792",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>-8437.673028</td>\n",
       "      <td>42</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>253875.639453</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>-4024.803754</td>\n",
       "      <td>36</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>112080.014102</td>\n",
       "      <td>приобретение автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>-5623.422610</td>\n",
       "      <td>33</td>\n",
       "      <td>Среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>145885.952297</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>-4124.747207</td>\n",
       "      <td>32</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>267628.550329</td>\n",
       "      <td>дополнительное образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>340266.072047</td>\n",
       "      <td>53</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>158616.077870</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>0</td>\n",
       "      <td>-926.185831</td>\n",
       "      <td>27</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>255763.565419</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0</td>\n",
       "      <td>-2879.202052</td>\n",
       "      <td>43</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>240525.971920</td>\n",
       "      <td>операции с жильем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0</td>\n",
       "      <td>-152.779569</td>\n",
       "      <td>50</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>135823.934197</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>2</td>\n",
       "      <td>-6929.865299</td>\n",
       "      <td>35</td>\n",
       "      <td>ВЫСШЕЕ</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>95856.832424</td>\n",
       "      <td>на проведение свадьбы</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>0</td>\n",
       "      <td>-2188.756445</td>\n",
       "      <td>41</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>144425.938277</td>\n",
       "      <td>покупка жилья для семьи</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>2</td>\n",
       "      <td>-4171.483647</td>\n",
       "      <td>36</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>113943.491460</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>0</td>\n",
       "      <td>-792.701887</td>\n",
       "      <td>40</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>77069.234271</td>\n",
       "      <td>покупка коммерческой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>65</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>0</td>\n",
       "      <td>-1846.641941</td>\n",
       "      <td>54</td>\n",
       "      <td>неоконченное высшее</td>\n",
       "      <td>2</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>130458.228857</td>\n",
       "      <td>приобретение автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>0</td>\n",
       "      <td>-1844.956182</td>\n",
       "      <td>56</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>1</td>\n",
       "      <td>165127.911772</td>\n",
       "      <td>покупка жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>1</td>\n",
       "      <td>-972.364419</td>\n",
       "      <td>26</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>116820.904450</td>\n",
       "      <td>строительство собственной недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>0</td>\n",
       "      <td>-1719.934226</td>\n",
       "      <td>35</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>289202.704229</td>\n",
       "      <td>недвижимость</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>0</td>\n",
       "      <td>-2369.999720</td>\n",
       "      <td>33</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>90410.586745</td>\n",
       "      <td>строительство недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>0</td>\n",
       "      <td>400281.136913</td>\n",
       "      <td>53</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>56823.777243</td>\n",
       "      <td>на покупку подержанного автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>0</td>\n",
       "      <td>-10038.818549</td>\n",
       "      <td>48</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>242831.107982</td>\n",
       "      <td>на покупку своего автомобиля</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years            education  education_id  \\\n",
       "0          1   -8437.673028         42               высшее             0   \n",
       "1          1   -4024.803754         36              среднее             1   \n",
       "2          0   -5623.422610         33              Среднее             1   \n",
       "3          3   -4124.747207         32              среднее             1   \n",
       "4          0  340266.072047         53              среднее             1   \n",
       "5          0    -926.185831         27               высшее             0   \n",
       "6          0   -2879.202052         43               высшее             0   \n",
       "7          0    -152.779569         50              СРЕДНЕЕ             1   \n",
       "8          2   -6929.865299         35               ВЫСШЕЕ             0   \n",
       "9          0   -2188.756445         41              среднее             1   \n",
       "10         2   -4171.483647         36               высшее             0   \n",
       "11         0    -792.701887         40              среднее             1   \n",
       "12         0            NaN         65              среднее             1   \n",
       "13         0   -1846.641941         54  неоконченное высшее             2   \n",
       "14         0   -1844.956182         56               высшее             0   \n",
       "15         1    -972.364419         26              среднее             1   \n",
       "16         0   -1719.934226         35              среднее             1   \n",
       "17         0   -2369.999720         33               высшее             0   \n",
       "18         0  400281.136913         53              среднее             1   \n",
       "19         0  -10038.818549         48              СРЕДНЕЕ             1   \n",
       "\n",
       "       family_status  family_status_id gender income_type  debt  \\\n",
       "0    женат / замужем                 0      F   сотрудник     0   \n",
       "1    женат / замужем                 0      F   сотрудник     0   \n",
       "2    женат / замужем                 0      M   сотрудник     0   \n",
       "3    женат / замужем                 0      M   сотрудник     0   \n",
       "4   гражданский брак                 1      F   пенсионер     0   \n",
       "5   гражданский брак                 1      M   компаньон     0   \n",
       "6    женат / замужем                 0      F   компаньон     0   \n",
       "7    женат / замужем                 0      M   сотрудник     0   \n",
       "8   гражданский брак                 1      F   сотрудник     0   \n",
       "9    женат / замужем                 0      M   сотрудник     0   \n",
       "10   женат / замужем                 0      M   компаньон     0   \n",
       "11   женат / замужем                 0      F   сотрудник     0   \n",
       "12  гражданский брак                 1      M   пенсионер     0   \n",
       "13   женат / замужем                 0      F   сотрудник     0   \n",
       "14  гражданский брак                 1      F   компаньон     1   \n",
       "15   женат / замужем                 0      F   сотрудник     0   \n",
       "16   женат / замужем                 0      F   сотрудник     0   \n",
       "17  гражданский брак                 1      M   сотрудник     0   \n",
       "18    вдовец / вдова                 2      F   пенсионер     0   \n",
       "19         в разводе                 3      F   сотрудник     0   \n",
       "\n",
       "     total_income                                 purpose  \n",
       "0   253875.639453                           покупка жилья  \n",
       "1   112080.014102                 приобретение автомобиля  \n",
       "2   145885.952297                           покупка жилья  \n",
       "3   267628.550329              дополнительное образование  \n",
       "4   158616.077870                         сыграть свадьбу  \n",
       "5   255763.565419                           покупка жилья  \n",
       "6   240525.971920                       операции с жильем  \n",
       "7   135823.934197                             образование  \n",
       "8    95856.832424                   на проведение свадьбы  \n",
       "9   144425.938277                 покупка жилья для семьи  \n",
       "10  113943.491460                    покупка недвижимости  \n",
       "11   77069.234271       покупка коммерческой недвижимости  \n",
       "12            NaN                         сыграть свадьбу  \n",
       "13  130458.228857                 приобретение автомобиля  \n",
       "14  165127.911772              покупка жилой недвижимости  \n",
       "15  116820.904450  строительство собственной недвижимости  \n",
       "16  289202.704229                            недвижимость  \n",
       "17   90410.586745              строительство недвижимости  \n",
       "18   56823.777243      на покупку подержанного автомобиля  \n",
       "19  242831.107982            на покупку своего автомобиля  "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Вывод на экран первых 20 строк датафрейма\n",
    "data.head(20)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "57cec92c",
   "metadata": {},
   "source": [
    "### Обзор датасета\n",
    "Задание 3. Выведите основную информацию о датафрейме с помощью метода `info()`. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "302cb2a6",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 21525 entries, 0 to 21524\n",
      "Data columns (total 12 columns):\n",
      " #   Column            Non-Null Count  Dtype  \n",
      "---  ------            --------------  -----  \n",
      " 0   children          21525 non-null  int64  \n",
      " 1   days_employed     19351 non-null  float64\n",
      " 2   dob_years         21525 non-null  int64  \n",
      " 3   education         21525 non-null  object \n",
      " 4   education_id      21525 non-null  int64  \n",
      " 5   family_status     21525 non-null  object \n",
      " 6   family_status_id  21525 non-null  int64  \n",
      " 7   gender            21525 non-null  object \n",
      " 8   income_type       21525 non-null  object \n",
      " 9   debt              21525 non-null  int64  \n",
      " 10  total_income      19351 non-null  float64\n",
      " 11  purpose           21525 non-null  object \n",
      "dtypes: float64(2), int64(5), object(5)\n",
      "memory usage: 2.0+ MB\n"
     ]
    }
   ],
   "source": [
    "# Получение общей информации о данных в датафрейме data\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fe7f195b",
   "metadata": {},
   "source": [
    "**Результаты обзора**\n",
    "\n",
    "Всего в исходной таблице содержится **21525** записей, разбитых на **12** столбцов:\n",
    "* `children` — количество детей в семье:\n",
    "    + тип переменной: количественная;\n",
    "    + тип данных: целое число;\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br>\n",
    "* `days_employed` — общий трудовой стаж в днях:\n",
    "    + тип переменной: количественная;\n",
    "    + тип данных: десятичное число;\n",
    "    + пропуски: есть (общее количество записей 19351 из 21525, на данном этапе обнаружены строки с NaN);\n",
    "    + аномальные значения: есть (на данном этапе обнаружены отрицательные значения переменной, а также как минимум одно подозрительное значение - `340266.072047`(932,236 лет) в строке 4).\n",
    "</br></br> \n",
    "* `dob_years` — возраст клиента в годах:\n",
    "    + тип переменной: количественная;\n",
    "    + тип данных: целое число;\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br>\n",
    "* `education` — уровень образования клиента:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `высшее`;\n",
    "        - `среднее`;\n",
    "        - `неоконченное высшее`;\n",
    "    + тип данных: строковый (object);\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе обнаружены строки начинающиеся со строчных букв, либо полностью набранные строчными, что приведет к дублированию названий категорий при категоризации.\n",
    "</br></br> \n",
    "* `education_id` — идентификатор уровня образования:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `education_id = 0` - высшее;\n",
    "        - `education_id = 1` - среднее;\n",
    "        - `education_id = 2` - неоконченное высшее;\n",
    "    + тип данных: целое число;\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br>\n",
    "* `family_status` — семейное положение:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `женат / замужем`;\n",
    "        - `гражданский брак`;\n",
    "    + тип данных: строковый (object);\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br> \n",
    "* `family_status_id` — идентификатор семейного положения:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `family_status_id = 0` - женат / замужем;\n",
    "        - `family_status_id = 1` - гражданский брак;\n",
    "    + тип данных: целое число;\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br>\n",
    "* `gender` — пол клиента:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `M`;\n",
    "        - `F`;\n",
    "    + тип данных: строковый (object);\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br> \n",
    "* `income_type` — тип занятости:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `сотрудник`;\n",
    "        - `пенсионер`;\n",
    "        - `компаньон`;  \n",
    "    + тип данных: строковый (object);\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br> \n",
    "* `debt` — имел ли задолженность по возврату кредитов:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `debt = 0` - предположительно не имел задолженности;\n",
    "        - `debt = 1` - предположительно имел задолженности;\n",
    "    + тип данных: целое число;\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br>\n",
    "* `total_income` — ежемесячный доход:\n",
    "    + тип переменной: количественная;\n",
    "    + тип данных: десятичное число;\n",
    "    + пропуски: есть (общее количество записей 19351 из 21525, на данном этапе обнаружены строки с NaN);\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "</br></br>\n",
    "* `purpose` — цель получения кредита:\n",
    "    + тип переменной: категориальная, на данном этапе можно сделать вывод о наличии следующих категорий:\n",
    "        - `покупка жилья`;\n",
    "        - `приобретение автомобиля`;\n",
    "        - `сыграть свадьбу`\n",
    "        - `образование`;\n",
    "        - и т. д.;\n",
    "    + тип данных: строковый (object);\n",
    "    + пропуски: отсутствуют;\n",
    "    + аномальные значения: на данном этапе не обнаружены.\n",
    "\n",
    "</br></br>\n",
    "Наименования столбцов корректные, в хорошем стиле и замены не требуют."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "617b046a",
   "metadata": {},
   "source": [
    "### Выводы по разделу 4\n",
    "1. В двух столбцах `days_employed` и `total_income` есть пропущенные значения (общее количество записей 19351 из 21525, при обзоре первых 20 строк датафрейма обнаружены строки с NaN). На данном этапе можно предположить, что наличие пропусков в этих столбцах связано между собой (так как совпадает общее количество пропусков и в исследованной части таблицы пропуски в этих столбцах идут в одной строке).\n",
    "\n",
    "\n",
    "2. В столбце `days_employed` встречаются как минимум два вида аномалий:\n",
    "    - отрицательные значения, которых не должно быть по смыслу показателя (трудовой стаж не может быть отрицательным)\n",
    "    - слишком большие значения (например, в строке 4 значение `340266.072047`, что при делении на 365 составляет 932 года)\n",
    "</br></br>\n",
    "3. В столбце `education` встречаются неявные дубликаты - строковые значения с капитализацией символов и без, что приведет к дублированию категорий, при категоризации\n",
    "\n",
    "\n",
    "4. После заполнения пропусков в столбце `total_income` необходимо изменить тип содержащихся в нём данных на целочисленный для последующей категоризации групп клиентов по величине дохода.\n",
    "\n",
    "\n",
    "5. Необходимо исследовать все столбцы, содержащие категориальные данные, на наличие явных и неявных дубликатов.\n",
    "\n",
    "\n",
    "6. Необходимо сформировать дополнительные датафреймы \"словарей\" по уникальным значениям уровня образования `education_id` и семейного положения клиентов `family_status_id`, очистив исходный датафрейм от столбцов `education` и `family_status`.\n",
    "\n",
    "\n",
    "7. Для ответа на поставленные вопросы необходимо провести категоризацию исходной таблице по уровню дохода и целям кредитования"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bdecc8bc",
   "metadata": {},
   "source": [
    "[В начало раздела](#Обзор-данных) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e34cee10",
   "metadata": {},
   "source": [
    "## Предобработка данных\n",
    "\n",
    "### Заполнение пропусков\n",
    "\n",
    "#### Нахождение пропусков\n",
    "\n",
    "Задание 4. Выведите количество пропущенных значений для каждого столбца. Используйте комбинацию двух методов."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "fa9a1db4",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "children               0\n",
       "days_employed       2174\n",
       "dob_years              0\n",
       "education              0\n",
       "education_id           0\n",
       "family_status          0\n",
       "family_status_id       0\n",
       "gender                 0\n",
       "income_type            0\n",
       "debt                   0\n",
       "total_income        2174\n",
       "purpose                0\n",
       "dtype: int64"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Подсчёт пропусков\n",
    "data.isna().sum()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0372405c",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Нахождение-пропусков) | [В начало раздела](#Заполнение-пропусков) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f2339df4",
   "metadata": {},
   "source": [
    "#### Изучение пропусков\n",
    "1. Выведем на экран строки в исходной таблице, у которых есть пропуски в столбцах `days_employed` и `total_income`.\n",
    "2. Подсчитаем долю строк с пропущенными значениями в этих столбцах от общего количества строк в датасете."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "cc7fd116",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>65</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>41</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>63</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>строительство жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>50</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сделка с подержанным автомобилем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>55</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>54</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id  \\\n",
       "12         0            NaN         65   среднее             1   \n",
       "26         0            NaN         41   среднее             1   \n",
       "29         0            NaN         63   среднее             1   \n",
       "41         0            NaN         50   среднее             1   \n",
       "55         0            NaN         54   среднее             1   \n",
       "\n",
       "            family_status  family_status_id gender  income_type  debt  \\\n",
       "12       гражданский брак                 1      M    пенсионер     0   \n",
       "26        женат / замужем                 0      M  госслужащий     0   \n",
       "29  Не женат / не замужем                 4      F    пенсионер     0   \n",
       "41        женат / замужем                 0      F  госслужащий     0   \n",
       "55       гражданский брак                 1      F    пенсионер     1   \n",
       "\n",
       "    total_income                           purpose  \n",
       "12           NaN                   сыграть свадьбу  \n",
       "26           NaN                       образование  \n",
       "29           NaN  строительство жилой недвижимости  \n",
       "41           NaN  сделка с подержанным автомобилем  \n",
       "55           NaN                   сыграть свадьбу  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Доля строк с пропущенными значениями в столбце days_employed от общего количества строк в датасете: 10.1%\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>65</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>41</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>63</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>строительство жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>50</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сделка с подержанным автомобилем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>55</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>54</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id  \\\n",
       "12         0            NaN         65   среднее             1   \n",
       "26         0            NaN         41   среднее             1   \n",
       "29         0            NaN         63   среднее             1   \n",
       "41         0            NaN         50   среднее             1   \n",
       "55         0            NaN         54   среднее             1   \n",
       "\n",
       "            family_status  family_status_id gender  income_type  debt  \\\n",
       "12       гражданский брак                 1      M    пенсионер     0   \n",
       "26        женат / замужем                 0      M  госслужащий     0   \n",
       "29  Не женат / не замужем                 4      F    пенсионер     0   \n",
       "41        женат / замужем                 0      F  госслужащий     0   \n",
       "55       гражданский брак                 1      F    пенсионер     1   \n",
       "\n",
       "    total_income                           purpose  \n",
       "12           NaN                   сыграть свадьбу  \n",
       "26           NaN                       образование  \n",
       "29           NaN  строительство жилой недвижимости  \n",
       "41           NaN  сделка с подержанным автомобилем  \n",
       "55           NaN                   сыграть свадьбу  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Доля строк с пропущенными значениями в столбце total_income от общего количества строк в датасете: 10.1%\n"
     ]
    }
   ],
   "source": [
    "# Выводим на экран первые 5 строк выборки из датафрейма с пропусками в столбце `days_employed`\n",
    "display(data[data['days_employed'].isna()].head())\n",
    "\n",
    "# Находим долю строк с пропусками в столбце `days_employed` от общего количества строк в датасете\n",
    "missed_days_employed_share = data['days_employed'].isna().sum() / len(data)\n",
    "\n",
    "# Выводим на экран долю строк с пропусками в столбце `days_employed` от общего количества строк в датасете \n",
    "print(f'Доля строк с пропущенными значениями в столбце days_employed от общего количества строк в датасете: {missed_days_employed_share:.1%}')\n",
    "\n",
    "# Выводим на экран первые 5 строк выборки из датафрейма с пропусками в столбце `total_income`.\n",
    "display(data[data['total_income'].isna()].head())\n",
    "\n",
    "# Находим долю строк с пропусками в столбце `total_income` от общего количества строк в датасете\n",
    "missed_total_income_share = data['total_income'].isna().sum() / len(data)\n",
    "\n",
    "# Выводим на экран долю строк с пропусками в столбце `total_income` от общего количества строк в датасете \n",
    "print(f'Доля строк с пропущенными значениями в столбце total_income от общего количества строк в датасете: {missed_total_income_share:.1%}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "27504609",
   "metadata": {},
   "source": [
    "**Предварительный вывод**: датасет содержит строки с пропусками в столбцах `days_employed` и `total_income`. Сравнение выборок из датасета, содержащих строки с пропущенными значениями в этих столбцах позволяет сделать предположение, что эти пропуски допущены в одних и тех же строках. Это косвенно это подтверждается одинаковым количеством строк с пропусками по обоим столбцам (и соответственно их одинаковой долей в общем количестве строк датасета — 10,1%).\n",
    "\n",
    "Для того, чтобы убедиться в правильности этого предположения, сначала выберем из датасета все строки у которых есть пропуски в столбце `days_employed` и нет пропусков в столбце `total_income`. Затем аналогично выберем все строки у которых есть пропуски в столбце `total_income`и нет пропусков в столбце `days_employed`. Если в обоих случаях мы получим пустые выборки, это будет означать, что пропуски в обоих столбцах содержаться в одних и тех же строках."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "c590ea89",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Empty DataFrame\n",
      "Columns: [children, days_employed, dob_years, education, education_id, family_status, family_status_id, gender, income_type, debt, total_income, purpose]\n",
      "Index: []\n"
     ]
    }
   ],
   "source": [
    "print(data.loc[(data['days_employed'].isna()) & (data['total_income'] == '')])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "a775adc3",
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Empty DataFrame\n",
      "Columns: [children, days_employed, dob_years, education, education_id, family_status, family_status_id, gender, income_type, debt, total_income, purpose]\n",
      "Index: []\n"
     ]
    }
   ],
   "source": [
    "print(data.loc[(data['total_income'].isna()) & (data['days_employed'] == '')])"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e7252244",
   "metadata": {},
   "source": [
    "**Выводы:**\n",
    "- Вывод по итогам обзора датасета (пп. 1. [п. 4.3](#Выводы-по-разделу)) подтверждён — обнаружены пропуски в двух столбцах: `days_employed` и `total_income`. В других столбцах пропусков в данных нет.\n",
    "- Оба столбца содержат количественные переменные (количество дней трудового стажа и сумму ежемесячного дохода).\n",
    "- Пропуски в столбцах `days_employed` и `total_income` находятся в одних и тех же строках.\n",
    "- Доля этих строк в общем количестве строк датасета составляет 10,1%\n",
    "- Наиболее вероятной причиной их возникновения является недостаточность информации при вводе данных (например, логично выглядит наличие пропусков, если величина ежемесячного дохода рассчитывается от количества дней трудового стажа).\n",
    "- Пропуски в столбце `days_employed` будут обработаны на следующем шаге в процессе проверки данных на аномалии и исправлении обнаруженных аномалий, а на данном этапе заполним пропуски в столбце `total_income` медианными значениями, так как 10% от всех данных достаточно большой сегмент, чтобы отказываться от него просто удалив строки с отсутствующими данными."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "379099cf",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Изучение-пропусков) | [В начало раздела](#Заполнение-пропусков) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1652a481",
   "metadata": {},
   "source": [
    "#### Заполнение пропусков в столбце `total_income`\n",
    "Задание 5. Столбец с пропущенными значениями — `total_income` — хранит данные о доходах. На сумму дохода сильнее всего влияет тип занятости, поэтому заполнить пропуски в этом столбце нужно медианным значением по каждому типу из столбца `income_type`. Для этого сделаем следующее:\n",
    "1. Получим список всех уникальных значений в столбце `income_type` (заодно и проверим их на наличие аномальных и повторяющихся значений)\n",
    "2. Найдем медианное значение ежемесячного дохода `total_income` для каждого типа занятости.\n",
    "3. Заполним пропуски в столбце `total_income` медианными значениями с учетом значений в столбце `income_type`.\n",
    "\n",
    "##### Получение уникальных значений в столбце `income_type`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "589728a2",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['сотрудник', 'пенсионер', 'компаньон', 'госслужащий',\n",
       "       'безработный', 'предприниматель', 'студент', 'в декрете'],\n",
       "      dtype=object)"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `income_type`\n",
    "data['income_type'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3ac0ef5",
   "metadata": {},
   "source": [
    "**Результат проверки:**\n",
    "- В наборе значений столбца `income_type_unique` не обнаружены аномальные значения\n",
    "- Дополнительно к выявленным ранее значениям категорий `сотрудник`, `пенсионер`, `компаньон`, в результате проверки на уникальность значений добавились `госслужащий`, `безработный`, `предприниматель`, `студент` и `в декрете`. \n",
    "\n",
    "##### Нахождение медианных значений в столбце `total_income` в зависимости от значения в столбце `income_type`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "4eba339f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>-8437.673028</td>\n",
       "      <td>42</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>253875.639453</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>-4024.803754</td>\n",
       "      <td>36</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>112080.014102</td>\n",
       "      <td>приобретение автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>-5623.422610</td>\n",
       "      <td>33</td>\n",
       "      <td>Среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>145885.952297</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>-4124.747207</td>\n",
       "      <td>32</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>267628.550329</td>\n",
       "      <td>дополнительное образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0</td>\n",
       "      <td>-152.779569</td>\n",
       "      <td>50</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>135823.934197</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   children  days_employed  dob_years education  education_id  \\\n",
       "0         1   -8437.673028         42    высшее             0   \n",
       "1         1   -4024.803754         36   среднее             1   \n",
       "2         0   -5623.422610         33   Среднее             1   \n",
       "3         3   -4124.747207         32   среднее             1   \n",
       "7         0    -152.779569         50   СРЕДНЕЕ             1   \n",
       "\n",
       "     family_status  family_status_id gender income_type  debt   total_income  \\\n",
       "0  женат / замужем                 0      F   сотрудник     0  253875.639453   \n",
       "1  женат / замужем                 0      F   сотрудник     0  112080.014102   \n",
       "2  женат / замужем                 0      M   сотрудник     0  145885.952297   \n",
       "3  женат / замужем                 0      M   сотрудник     0  267628.550329   \n",
       "7  женат / замужем                 0      M   сотрудник     0  135823.934197   \n",
       "\n",
       "                      purpose  \n",
       "0               покупка жилья  \n",
       "1     приобретение автомобиля  \n",
       "2               покупка жилья  \n",
       "3  дополнительное образование  \n",
       "7                 образование  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `сотрудник`: 11119\n",
      "Количество пропусков в столбце `total_income` для типа занятости `сотрудник`: 1105\n",
      "Медианное значение ежемесячного дохода для типа занятости `сотрудник`: 142594.39684740017\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `сотрудник`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "employee_data = data.loc[data['income_type'] == 'сотрудник']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(employee_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `сотрудник`: {len(employee_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_employee_data_total_income_sum = employee_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `сотрудник`: {missed_employee_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "employee_data_income_median = employee_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `сотрудник`: {employee_data_income_median}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "94ae9722",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>340266.072047</td>\n",
       "      <td>53</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>158616.077870</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>65</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>0</td>\n",
       "      <td>400281.136913</td>\n",
       "      <td>53</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>56823.777243</td>\n",
       "      <td>на покупку подержанного автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>1</td>\n",
       "      <td>338551.952911</td>\n",
       "      <td>57</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>290547.235997</td>\n",
       "      <td>операции с коммерческой недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>0</td>\n",
       "      <td>363548.489348</td>\n",
       "      <td>67</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>55112.757732</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id  \\\n",
       "4          0  340266.072047         53   среднее             1   \n",
       "12         0            NaN         65   среднее             1   \n",
       "18         0  400281.136913         53   среднее             1   \n",
       "24         1  338551.952911         57   среднее             1   \n",
       "25         0  363548.489348         67   среднее             1   \n",
       "\n",
       "            family_status  family_status_id gender income_type  debt  \\\n",
       "4        гражданский брак                 1      F   пенсионер     0   \n",
       "12       гражданский брак                 1      M   пенсионер     0   \n",
       "18         вдовец / вдова                 2      F   пенсионер     0   \n",
       "24  Не женат / не замужем                 4      F   пенсионер     0   \n",
       "25        женат / замужем                 0      M   пенсионер     0   \n",
       "\n",
       "     total_income                                purpose  \n",
       "4   158616.077870                        сыграть свадьбу  \n",
       "12            NaN                        сыграть свадьбу  \n",
       "18   56823.777243     на покупку подержанного автомобиля  \n",
       "24  290547.235997  операции с коммерческой недвижимостью  \n",
       "25   55112.757732                   покупка недвижимости  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `пенсионер`: 3856\n",
      "Количество пропусков в столбце `total_income` для типа занятости `пенсионер`: 413\n",
      "Медианное значение ежемесячного дохода для типа занятости `пенсионер`: 118514.48641164352\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `пенсионер`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "pensioner_data = data.loc[data['income_type'] == 'пенсионер']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(pensioner_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `пенсионер`: {len(pensioner_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_pensioner_data_total_income_sum = pensioner_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `пенсионер`: {missed_pensioner_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "pensioner_data_income_median = pensioner_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `пенсионер`: {pensioner_data_income_median}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "a6899b37",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>0</td>\n",
       "      <td>-926.185831</td>\n",
       "      <td>27</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>255763.565419</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0</td>\n",
       "      <td>-2879.202052</td>\n",
       "      <td>43</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>240525.971920</td>\n",
       "      <td>операции с жильем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>2</td>\n",
       "      <td>-4171.483647</td>\n",
       "      <td>36</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>113943.491460</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>0</td>\n",
       "      <td>-1844.956182</td>\n",
       "      <td>56</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>1</td>\n",
       "      <td>165127.911772</td>\n",
       "      <td>покупка жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>0</td>\n",
       "      <td>-1548.637544</td>\n",
       "      <td>48</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>157245.786233</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id  \\\n",
       "5          0    -926.185831         27    высшее             0   \n",
       "6          0   -2879.202052         43    высшее             0   \n",
       "10         2   -4171.483647         36    высшее             0   \n",
       "14         0   -1844.956182         56    высшее             0   \n",
       "33         0   -1548.637544         48   среднее             1   \n",
       "\n",
       "       family_status  family_status_id gender income_type  debt  \\\n",
       "5   гражданский брак                 1      M   компаньон     0   \n",
       "6    женат / замужем                 0      F   компаньон     0   \n",
       "10   женат / замужем                 0      M   компаньон     0   \n",
       "14  гражданский брак                 1      F   компаньон     1   \n",
       "33   женат / замужем                 0      F   компаньон     0   \n",
       "\n",
       "     total_income                     purpose  \n",
       "5   255763.565419               покупка жилья  \n",
       "6   240525.971920           операции с жильем  \n",
       "10  113943.491460        покупка недвижимости  \n",
       "14  165127.911772  покупка жилой недвижимости  \n",
       "33  157245.786233               покупка жилья  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `компаньон`: 5085\n",
      "Количество пропусков в столбце `total_income` для типа занятости `компаньон`: 508\n",
      "Медианное значение ежемесячного дохода для типа занятости `компаньон`: 172357.95096577113\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `компаньон`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "companion_data = data.loc[data['income_type'] == 'компаньон']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(companion_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `компаньон`: {len(companion_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_companion_data_total_income_sum = companion_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `компаньон`: {missed_companion_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "companion_data_income_median = companion_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `компаньон`: {companion_data_income_median}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "9227f86b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>41</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>50</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>сделка с подержанным автомобилем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>47</th>\n",
       "      <td>1</td>\n",
       "      <td>-2689.137274</td>\n",
       "      <td>33</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>M</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>356277.909345</td>\n",
       "      <td>на проведение свадьбы</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>62</th>\n",
       "      <td>0</td>\n",
       "      <td>-7845.649233</td>\n",
       "      <td>48</td>\n",
       "      <td>Высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>M</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>435388.195272</td>\n",
       "      <td>получение высшего образования</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>70</th>\n",
       "      <td>1</td>\n",
       "      <td>-2802.226671</td>\n",
       "      <td>28</td>\n",
       "      <td>ВЫСШЕЕ</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>207561.466998</td>\n",
       "      <td>покупка коммерческой недвижимости</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id  \\\n",
       "26         0            NaN         41   среднее             1   \n",
       "41         0            NaN         50   среднее             1   \n",
       "47         1   -2689.137274         33    высшее             0   \n",
       "62         0   -7845.649233         48    Высшее             0   \n",
       "70         1   -2802.226671         28    ВЫСШЕЕ             0   \n",
       "\n",
       "            family_status  family_status_id gender  income_type  debt  \\\n",
       "26        женат / замужем                 0      M  госслужащий     0   \n",
       "41        женат / замужем                 0      F  госслужащий     0   \n",
       "47       гражданский брак                 1      M  госслужащий     0   \n",
       "62  Не женат / не замужем                 4      M  госслужащий     0   \n",
       "70        женат / замужем                 0      M  госслужащий     0   \n",
       "\n",
       "     total_income                            purpose  \n",
       "26            NaN                        образование  \n",
       "41            NaN   сделка с подержанным автомобилем  \n",
       "47  356277.909345              на проведение свадьбы  \n",
       "62  435388.195272      получение высшего образования  \n",
       "70  207561.466998  покупка коммерческой недвижимости  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `госслужащий`: 1459\n",
      "Количество пропусков в столбце `total_income` для типа занятости `госслужащий`: 147\n",
      "Медианное значение ежемесячного дохода для типа занятости `госслужащий`: 150447.9352830068\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `госслужащий`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "civil_servant_data = data.loc[data['income_type'] == 'госслужащий']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(civil_servant_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `госслужащий`: {len(civil_servant_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_civil_servant_data_total_income_sum = civil_servant_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `госслужащий`: {missed_civil_servant_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "civil_servant_data_income_median = civil_servant_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `госслужащий`: {civil_servant_data_income_median}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "fb2178ba",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3133</th>\n",
       "      <td>1</td>\n",
       "      <td>337524.466835</td>\n",
       "      <td>31</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>безработный</td>\n",
       "      <td>1</td>\n",
       "      <td>59956.991984</td>\n",
       "      <td>покупка жилья для сдачи</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14798</th>\n",
       "      <td>0</td>\n",
       "      <td>395302.838654</td>\n",
       "      <td>45</td>\n",
       "      <td>Высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>безработный</td>\n",
       "      <td>0</td>\n",
       "      <td>202722.511368</td>\n",
       "      <td>ремонт жилью</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       children  days_employed  dob_years education  education_id  \\\n",
       "3133          1  337524.466835         31   среднее             1   \n",
       "14798         0  395302.838654         45    Высшее             0   \n",
       "\n",
       "          family_status  family_status_id gender  income_type  debt  \\\n",
       "3133    женат / замужем                 0      M  безработный     1   \n",
       "14798  гражданский брак                 1      F  безработный     0   \n",
       "\n",
       "        total_income                  purpose  \n",
       "3133    59956.991984  покупка жилья для сдачи  \n",
       "14798  202722.511368             ремонт жилью  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `безработный`: 2\n",
      "Количество пропусков в столбце `total_income` для типа занятости `безработный`: 0\n",
      "Медианное значение ежемесячного дохода для типа занятости `безработный`: 131339.7516762103\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `безработный`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "unemployed_data = data.loc[data['income_type'] == 'безработный']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(unemployed_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `безработный`: {len(unemployed_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_unemployed_data_total_income_sum = unemployed_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `безработный`: {missed_unemployed_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "unemployed_data_income_median = unemployed_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `безработный`: {unemployed_data_income_median}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ce702f4b",
   "metadata": {},
   "source": [
    "**Обращает на себя внимание**, что по типу занятости `безработный` в датасете всего две строки в которых нет пропуска. Однако, во второй строке присутствует явно аномальное значение ежемесячного дохода — `202722.511368`, что превышает медианный доход таких групп, как, например, `сотрудник` или `госслужащий`. Возможно здесь допущена ошибка при вводе — неправильно поставлена запятая при вводе и надо скорректировать значение на `20272.2511368`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "81368166",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>5936</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>58</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>предприниматель</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>покупка жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18697</th>\n",
       "      <td>0</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>27</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>предприниматель</td>\n",
       "      <td>0</td>\n",
       "      <td>499163.144947</td>\n",
       "      <td>на проведение свадьбы</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       children  days_employed  dob_years education  education_id  \\\n",
       "5936          0            NaN         58    высшее             0   \n",
       "18697         0    -520.848083         27    высшее             0   \n",
       "\n",
       "          family_status  family_status_id gender      income_type  debt  \\\n",
       "5936    женат / замужем                 0      M  предприниматель     0   \n",
       "18697  гражданский брак                 1      F  предприниматель     0   \n",
       "\n",
       "        total_income                     purpose  \n",
       "5936             NaN  покупка жилой недвижимости  \n",
       "18697  499163.144947       на проведение свадьбы  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `предприниматель`: 2\n",
      "Количество пропусков в столбце `total_income` для типа занятости `предприниматель`: 1\n",
      "Медианное значение ежемесячного дохода для типа занятости `предприниматель`: 499163.1449470857\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `предприниматель`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "entrepreneur_data = data.loc[data['income_type'] == 'предприниматель']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(entrepreneur_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `предприниматель`: {len(entrepreneur_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_entrepreneur_data_total_income_sum = entrepreneur_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `предприниматель`: {missed_entrepreneur_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "entrepreneur_data_income_median = entrepreneur_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `предприниматель`: {entrepreneur_data_income_median}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "31b94b7c",
   "metadata": {},
   "source": [
    "**Обращает на себя внимание**, что по типу занятости `предприниматель` в датасете всего две строки и одна из них с пропуском значения. Таким образом, медианный доход по этой группе может быть сильно искажен. Возможно, в данном случае следует брать не медианное, а среднее значение для заполнения пропуска."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "5624f406",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Среднее значение ежемесячного дохода для типа занятости `предприниматель`: 249581.57247354285\n"
     ]
    }
   ],
   "source": [
    "# Находим среднее значение по столбцу `total_income` для типа занятости `предприниматель`\n",
    "entrepreneur_data_income_avg = entrepreneur_data['total_income'].median() / 2\n",
    "print(f'Среднее значение ежемесячного дохода для типа занятости `предприниматель`: {entrepreneur_data_income_avg}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "d8522a59",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>9410</th>\n",
       "      <td>0</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>22</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>M</td>\n",
       "      <td>студент</td>\n",
       "      <td>0</td>\n",
       "      <td>98201.625314</td>\n",
       "      <td>строительство собственной недвижимости</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      children  days_employed  dob_years education  education_id  \\\n",
       "9410         0    -578.751554         22    высшее             0   \n",
       "\n",
       "              family_status  family_status_id gender income_type  debt  \\\n",
       "9410  Не женат / не замужем                 4      M     студент     0   \n",
       "\n",
       "      total_income                                 purpose  \n",
       "9410  98201.625314  строительство собственной недвижимости  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `студент`: 1\n",
      "Количество пропусков в столбце `total_income` для типа занятости `студент`: 0\n",
      "Медианное значение ежемесячного дохода для типа занятости `студент`: 98201.62531401133\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `студент`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "student_data = data.loc[data['income_type'] == 'студент']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(student_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `студент`: {len(student_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_student_data_total_income_sum = student_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `студент`: {missed_student_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "student_data_income_median = student_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `студент`: {student_data_income_median}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "5d9dad5f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>20845</th>\n",
       "      <td>2</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>39</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>в декрете</td>\n",
       "      <td>1</td>\n",
       "      <td>53829.130729</td>\n",
       "      <td>автомобиль</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       children  days_employed  dob_years education  education_id  \\\n",
       "20845         2   -3296.759962         39   СРЕДНЕЕ             1   \n",
       "\n",
       "         family_status  family_status_id gender income_type  debt  \\\n",
       "20845  женат / замужем                 0      F   в декрете     1   \n",
       "\n",
       "       total_income     purpose  \n",
       "20845  53829.130729  автомобиль  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с типом занятости `в декрете`: 1\n",
      "Количество пропусков в столбце `total_income` для типа занятости `в декрете`: 0\n",
      "Медианное значение ежемесячного дохода для типа занятости `в декрете`: 53829.13072905995\n"
     ]
    }
   ],
   "source": [
    "# Нахождение медианного значения ежемесячного дохода для типа занятости `в декрете`\n",
    "\n",
    "# Фильтруем в новый датасет строки с нужным типом занятости\n",
    "maternity_leave_data = data.loc[data['income_type'] == 'в декрете']\n",
    "\n",
    "# Выводим на экран первые 5 строк нового датасета\n",
    "display(maternity_leave_data.head())\n",
    "\n",
    "# Выводим на экран количество строк нового датасета\n",
    "print(f'Количество строк с типом занятости `в декрете`: {len(maternity_leave_data)}')\n",
    "\n",
    "# Находим количество пропусков в столбце `total_income` для типа данного типа занятости\n",
    "missed_maternity_leave_data_total_income_sum = maternity_leave_data['total_income'].isna().sum()\n",
    "print(f'Количество пропусков в столбце `total_income` для типа занятости `в декрете`: {missed_maternity_leave_data_total_income_sum}')\n",
    "\n",
    "# Находим медианное значение по столбцу `total_income`\n",
    "maternity_leave_data_income_median = maternity_leave_data['total_income'].median()\n",
    "print(f'Медианное значение ежемесячного дохода для типа занятости `в декрете`: {maternity_leave_data_income_median}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5ff5a914",
   "metadata": {},
   "source": [
    "**Выводы**\n",
    "\n",
    "Для наглядности сведем результаты расчетов медианных значений ежемесячного дохода в зависимости от типа занятости в одну таблицу:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "9134bb4e",
   "metadata": {},
   "outputs": [],
   "source": [
    "def total_income_info(data):\n",
    "    total_income_info = pd.DataFrame({'income_type': data['income_type'].unique(), \n",
    "    'всего строк': [len(employee_data), len(pensioner_data), len(companion_data), len(civil_servant_data),\n",
    "                    len(unemployed_data), len(entrepreneur_data), len(student_data), len(maternity_leave_data)],\n",
    "    'пропусков' : [missed_employee_data_total_income_sum,\n",
    "                   missed_pensioner_data_total_income_sum,\n",
    "                   missed_companion_data_total_income_sum,\n",
    "                   missed_civil_servant_data_total_income_sum,\n",
    "                   missed_unemployed_data_total_income_sum,\n",
    "                   missed_entrepreneur_data_total_income_sum,\n",
    "                   missed_student_data_total_income_sum,\n",
    "                   missed_maternity_leave_data_total_income_sum],\n",
    "    'доля пропусков' : [missed_employee_data_total_income_sum / len(employee_data),\n",
    "                       missed_pensioner_data_total_income_sum / len(pensioner_data),\n",
    "                       missed_companion_data_total_income_sum / len(companion_data),\n",
    "                       missed_civil_servant_data_total_income_sum / len(civil_servant_data),\n",
    "                       missed_unemployed_data_total_income_sum / len(unemployed_data),\n",
    "                       missed_entrepreneur_data_total_income_sum / len(entrepreneur_data),\n",
    "                       missed_student_data_total_income_sum / len(student_data),\n",
    "                       missed_maternity_leave_data_total_income_sum / len(maternity_leave_data)],\n",
    "    'медиана ежмес. дохода' : [employee_data_income_median,\n",
    "                           pensioner_data_income_median,\n",
    "                           companion_data_income_median,\n",
    "                           civil_servant_data_income_median,\n",
    "                           unemployed_data_income_median,\n",
    "                           entrepreneur_data_income_median,\n",
    "                           student_data_income_median,\n",
    "                           maternity_leave_data_income_median]})\n",
    "    display(total_income_info)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "085ab5bc",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>income_type</th>\n",
       "      <th>всего строк</th>\n",
       "      <th>пропусков</th>\n",
       "      <th>доля пропусков</th>\n",
       "      <th>медиана ежмес. дохода</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>сотрудник</td>\n",
       "      <td>11119</td>\n",
       "      <td>1105</td>\n",
       "      <td>0.099379</td>\n",
       "      <td>142594.396847</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>пенсионер</td>\n",
       "      <td>3856</td>\n",
       "      <td>413</td>\n",
       "      <td>0.107106</td>\n",
       "      <td>118514.486412</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>компаньон</td>\n",
       "      <td>5085</td>\n",
       "      <td>508</td>\n",
       "      <td>0.099902</td>\n",
       "      <td>172357.950966</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>госслужащий</td>\n",
       "      <td>1459</td>\n",
       "      <td>147</td>\n",
       "      <td>0.100754</td>\n",
       "      <td>150447.935283</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>безработный</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>131339.751676</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>предприниматель</td>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>0.500000</td>\n",
       "      <td>499163.144947</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>студент</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>98201.625314</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>в декрете</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>53829.130729</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       income_type  всего строк  пропусков  доля пропусков  \\\n",
       "0        сотрудник        11119       1105        0.099379   \n",
       "1        пенсионер         3856        413        0.107106   \n",
       "2        компаньон         5085        508        0.099902   \n",
       "3      госслужащий         1459        147        0.100754   \n",
       "4      безработный            2          0        0.000000   \n",
       "5  предприниматель            2          1        0.500000   \n",
       "6          студент            1          0        0.000000   \n",
       "7        в декрете            1          0        0.000000   \n",
       "\n",
       "   медиана ежмес. дохода  \n",
       "0          142594.396847  \n",
       "1          118514.486412  \n",
       "2          172357.950966  \n",
       "3          150447.935283  \n",
       "4          131339.751676  \n",
       "5          499163.144947  \n",
       "6           98201.625314  \n",
       "7           53829.130729  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "total_income_info (data)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7704b8ba",
   "metadata": {},
   "source": [
    "**По результатам анализа можно сделать следующие выводы:**\n",
    "- в строках со значениями типа занятости `сотрудник`, `пенсионер`, `компаньон`, `госслужащий` пропуски в столбце `total_income` составляют около 10% от объёма данных, что соответствует показателю по всем датасету и могут быть заменены медианными значениями показателя для каждой из категорий\n",
    "- в строках со значениями типа занятости `безработный` пропусков нет, но из-за подозрительного значения в одной из строк медианный ежемесячный доход по этой категории выглядит аномально большим. На данном этапе ничего менять не будем, но требуется дополнительное исследование данной ситуации. Возможная причина — ошибка при вводе данных.\n",
    "- в одной из двух строк с категорией `предприниматель` пропуск не позволяет корректно рассчитать медианное значение. Вместо пропуска в данном случае необходимо подставить среднее значение по двум строкам.\n",
    "- в строках со значениями типа занятости `студент` и `в декрете` пропусков нет, ничего менять не надо."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ccc77b50",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Заполнение-пропусков-в-столбце-total_income) | [В начало раздела](#Заполнение-пропусков) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb272ee1",
   "metadata": {},
   "source": [
    "##### Заполнение пропусков. Вариант 1 (первоначальный)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "7664d808",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Заполнение пропусков в категории 'сотрудник' медианными значениями\n",
    "\n",
    "#rows = (data['total_income'].isna()) & (data['income_type'] == 'сотрудник')\n",
    "#data.loc[rows, \"total_income\"] = employee_data_income_median\n",
    "#missed_employee_data_total_income_sum = data.loc[rows, \"total_income\"].isna().sum()\n",
    "#print(f'Количество пропусков в столбце `total_income` для типа занятости `пенсионер`: {missed_employee_data_total_income_sum}')\n",
    "\n",
    "# Заполнение пропусков в категории 'пенсионер' медианными значениями\n",
    "\n",
    "#rows = (data['total_income'].isna()) & (data['income_type'] == 'пенсионер')\n",
    "#data.loc[rows, \"total_income\"] = pensioner_data_income_median\n",
    "#missed_pensioner_data_total_income_sum = data.loc[rows, \"total_income\"].isna().sum()\n",
    "#print(f'Количество пропусков в столбце `total_income` для типа занятости `пенсионер`: {missed_pensioner_data_total_income_sum}')\n",
    "\n",
    "# Заполнение пропусков в категории 'компаньон' медианными значениями\n",
    "\n",
    "#rows = (data['total_income'].isna()) & (data['income_type'] == 'компаньон')\n",
    "#data.loc[rows, \"total_income\"] = companion_data_income_median\n",
    "#missed_companion_data_total_income_sum = data.loc[rows, \"total_income\"].isna().sum()\n",
    "#print(f'Количество пропусков в столбце `total_income` для типа занятости `компаньон`: {missed_companion_data_total_income_sum}')\n",
    "\n",
    "# Заполнение пропусков в категории 'госслужащий' медианными значениями\n",
    "\n",
    "#rows = (data['total_income'].isna()) & (data['income_type'] == 'госслужащий')\n",
    "#data.loc[rows, \"total_income\"] = civil_servant_data_income_median\n",
    "#missed_civil_servant_data_total_income_sum = data.loc[rows, \"total_income\"].isna().sum()\n",
    "#print(f'Количество пропусков в столбце `total_income` для типа занятости `госслужащий`: {missed_civil_servant_data_total_income_sum}')\n",
    "\n",
    "# Заполнение пропусков в категории 'предприниматель' средним значением и расчет новой медианы\n",
    "\n",
    "#rows = (data['total_income'].isna()) & (data['income_type'] == 'предприниматель')\n",
    "\n",
    "#Заполняем пропуск средним значением ежемесячного дохода для категории предприниматель\n",
    "#data.loc[rows, \"total_income\"] = entrepreneur_data_income_avg\n",
    "#missed_entrepreneur_data_total_income_sum = data.loc[rows, \"total_income\"].isna().sum()\n",
    "#print(f'Количество пропусков в столбце `total_income` для типа занятости `предприниматель`: {missed_entrepreneur_data_total_income_sum}')\n",
    "\n",
    "#Пересчитываем медианное значение с учетом заполненного пропуска\n",
    "#entrepreneur_data_income_median = data.loc[data['income_type'] == 'предприниматель']['total_income'].median()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b176c63f",
   "metadata": {},
   "source": [
    "##### Заполнение пропусков. Вариант 2 (после ревью)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "14dab241",
   "metadata": {},
   "outputs": [],
   "source": [
    "#for i in data['income_type'].unique():\n",
    "#    data.loc[(data['income_type'] == i) & (data['total_income'].isna()), 'total_income'] = data.loc[(data['income_type'] == i), 'total_income'].median()\n",
    "    \n",
    "# Заполнение пропусков в категории 'предприниматель' средним значением и расчет новой медианы\n",
    "\n",
    "#rows = (data['total_income'].isna()) & (data['income_type'] == 'предприниматель')\n",
    "\n",
    "#Заполняем пропуск средним значением ежемесячного дохода для категории предприниматель\n",
    "#data.loc[rows, \"total_income\"] = entrepreneur_data_income_avg\n",
    "#missed_entrepreneur_data_total_income_sum = data.loc[rows, \"total_income\"].isna().sum()\n",
    "#print(f'Количество пропусков в столбце `total_income` для типа занятости `предприниматель`: {missed_entrepreneur_data_total_income_sum}')\n",
    "\n",
    "#Пересчитываем медианное значение с учетом заполненного пропуска\n",
    "#entrepreneur_data_income_median = data.loc[data['income_type'] == 'предприниматель']['total_income'].median()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a2bb5ec2",
   "metadata": {},
   "source": [
    "##### Заполнение пропусков. Вариант 3 (после прохождения курса)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "f9182d2b",
   "metadata": {},
   "outputs": [],
   "source": [
    "data['total_income'] = data['total_income'].fillna(data.groupby('income_type')['total_income'].transform('median'))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f9aa1ae9",
   "metadata": {},
   "source": [
    "##### Проверка заполнения пропусков"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "8feb4092",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>income_type</th>\n",
       "      <th>всего строк</th>\n",
       "      <th>пропусков</th>\n",
       "      <th>доля пропусков</th>\n",
       "      <th>медиана ежмес. дохода</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>сотрудник</td>\n",
       "      <td>11119</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>142594.396847</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>пенсионер</td>\n",
       "      <td>3856</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>118514.486412</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>компаньон</td>\n",
       "      <td>5085</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>172357.950966</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>госслужащий</td>\n",
       "      <td>1459</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>150447.935283</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>безработный</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>131339.751676</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>предприниматель</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>499163.144947</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>студент</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>98201.625314</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>в декрете</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0.0</td>\n",
       "      <td>53829.130729</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       income_type  всего строк  пропусков  доля пропусков  \\\n",
       "0        сотрудник        11119          0             0.0   \n",
       "1        пенсионер         3856          0             0.0   \n",
       "2        компаньон         5085          0             0.0   \n",
       "3      госслужащий         1459          0             0.0   \n",
       "4      безработный            2          0             0.0   \n",
       "5  предприниматель            2          0             0.0   \n",
       "6          студент            1          0             0.0   \n",
       "7        в декрете            1          0             0.0   \n",
       "\n",
       "   медиана ежмес. дохода  \n",
       "0          142594.396847  \n",
       "1          118514.486412  \n",
       "2          172357.950966  \n",
       "3          150447.935283  \n",
       "4          131339.751676  \n",
       "5          499163.144947  \n",
       "6           98201.625314  \n",
       "7           53829.130729  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Расчет общей суммы ежемесячного дохода для вычислений долей в функции `total_income_info (data)`\n",
    "missed_employee_data_total_income_sum = data.loc[(data['total_income'].isna()) & (data['income_type'] == 'сотрудник'), \"total_income\"].isna().sum()\n",
    "missed_pensioner_data_total_income_sum = data.loc[(data['total_income'].isna()) & (data['income_type'] == 'пенсионер'), \"total_income\"].isna().sum()\n",
    "missed_companion_data_total_income_sum = data.loc[(data['total_income'].isna()) & (data['income_type'] == 'компаньон'), \"total_income\"].isna().sum()\n",
    "missed_civil_servant_data_total_income_sum = data.loc[(data['total_income'].isna()) & (data['income_type'] == 'госслужащий'), \"total_income\"].isna().sum()\n",
    "missed_entrepreneur_data_total_income_sum = data.loc[(data['total_income'].isna()) & (data['income_type'] == 'предприниматель'), \"total_income\"].isna().sum()\n",
    "\n",
    "# Проверка заполнения пропусков\n",
    "total_income_info (data)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c48e5f41",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Заполнение-пропусков-в-столбце-total_income) | [В начало раздела](#Заполнение-пропусков) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0a98447d",
   "metadata": {},
   "source": [
    "#### Вывод по подразделу 5.1\n",
    "\n",
    "✅ Пропуски в столбце `total_income` заполнены медианными значениями по каждому типу из столбца `income_type`."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e80be81b",
   "metadata": {},
   "source": [
    "[В начало раздела](#Заполнение-пропусков) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "07832181",
   "metadata": {},
   "source": [
    "### Проверка данных на аномалии и исправления\n",
    "\n",
    "Проверка данных на аномалии при выполнении проекта была проведена в порядке следования столбцов в исходной таблице. Позднее эта часть проекта была преобразована из самостоятельного исследования в набор задач для прохождения на тренажере платформы Яндекс Практикума. Вследствие этого, номера заданий, взятых из более поздней (тренажерной) версии проекта на платформе следуют не по порядку.\n",
    "\n",
    "#### Проверка столбца `children`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `children`\n",
    "\n",
    "Задание 8. Выведите перечень уникальных значений столбца `children`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "a825e559",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([ 1,  0,  3,  2, -1,  4, 20,  5], dtype=int64)"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `children`\n",
    "data['children'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f6ef752b",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца 'children' обнаружено аномальное значение `-1` и подозрительное значение `20`. Можно предположить, что в обоих случаях имеет место ошибка при вводе (в первом случае ошибочно ввели минус, а во втором, 20 вместо 2). Для того, чтобы принять решение как поступить с данными значениями, сделаем обзор и оценим количество строк, содержащих данные аномалии.\n",
    "\n",
    "##### Анализ аномальных значений в столбце `children`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "c7c86765",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>291</th>\n",
       "      <td>-1</td>\n",
       "      <td>-4417.703588</td>\n",
       "      <td>46</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>102816.346412</td>\n",
       "      <td>профильное образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>705</th>\n",
       "      <td>-1</td>\n",
       "      <td>-902.084528</td>\n",
       "      <td>50</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>137882.899271</td>\n",
       "      <td>приобретение автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>742</th>\n",
       "      <td>-1</td>\n",
       "      <td>-3174.456205</td>\n",
       "      <td>57</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>64268.044444</td>\n",
       "      <td>дополнительное образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>800</th>\n",
       "      <td>-1</td>\n",
       "      <td>349987.852217</td>\n",
       "      <td>54</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>86293.724153</td>\n",
       "      <td>дополнительное образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>941</th>\n",
       "      <td>-1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>57</td>\n",
       "      <td>Среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>118514.486412</td>\n",
       "      <td>на покупку своего автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1363</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1195.264956</td>\n",
       "      <td>55</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>69550.699692</td>\n",
       "      <td>профильное образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1929</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1461.303336</td>\n",
       "      <td>38</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>109121.569013</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2073</th>\n",
       "      <td>-1</td>\n",
       "      <td>-2539.761232</td>\n",
       "      <td>42</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>162638.609373</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3814</th>\n",
       "      <td>-1</td>\n",
       "      <td>-3045.290443</td>\n",
       "      <td>26</td>\n",
       "      <td>Среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>131892.785435</td>\n",
       "      <td>на проведение свадьбы</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4201</th>\n",
       "      <td>-1</td>\n",
       "      <td>-901.101738</td>\n",
       "      <td>41</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>226375.766751</td>\n",
       "      <td>операции со своей недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4402</th>\n",
       "      <td>-1</td>\n",
       "      <td>398001.302888</td>\n",
       "      <td>64</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>163264.062064</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4542</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1811.899756</td>\n",
       "      <td>32</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>160544.718446</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5272</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1143.485347</td>\n",
       "      <td>46</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>278708.018820</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6013</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1361.258696</td>\n",
       "      <td>46</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>143008.454914</td>\n",
       "      <td>строительство собственной недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6385</th>\n",
       "      <td>-1</td>\n",
       "      <td>370215.476226</td>\n",
       "      <td>48</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>36052.447435</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7190</th>\n",
       "      <td>-1</td>\n",
       "      <td>-5928.202068</td>\n",
       "      <td>34</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>184315.121979</td>\n",
       "      <td>приобретение автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7278</th>\n",
       "      <td>-1</td>\n",
       "      <td>-526.318451</td>\n",
       "      <td>51</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>146928.769439</td>\n",
       "      <td>операции с коммерческой недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7615</th>\n",
       "      <td>-1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>35</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>142594.396847</td>\n",
       "      <td>образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7685</th>\n",
       "      <td>-1</td>\n",
       "      <td>-3237.360455</td>\n",
       "      <td>53</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>159676.174958</td>\n",
       "      <td>строительство жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8229</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1803.441074</td>\n",
       "      <td>54</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>138809.082930</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8251</th>\n",
       "      <td>-1</td>\n",
       "      <td>-3113.998449</td>\n",
       "      <td>31</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>54412.056005</td>\n",
       "      <td>свой автомобиль</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8561</th>\n",
       "      <td>-1</td>\n",
       "      <td>-195.479496</td>\n",
       "      <td>31</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>145577.881522</td>\n",
       "      <td>ремонт жилью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9565</th>\n",
       "      <td>-1</td>\n",
       "      <td>-2896.629686</td>\n",
       "      <td>34</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>126754.656529</td>\n",
       "      <td>операции с недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9574</th>\n",
       "      <td>-1</td>\n",
       "      <td>-2710.419901</td>\n",
       "      <td>28</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>303137.161001</td>\n",
       "      <td>получение дополнительного образования</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10177</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1743.604011</td>\n",
       "      <td>37</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>310367.509001</td>\n",
       "      <td>получение образования</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10365</th>\n",
       "      <td>-1</td>\n",
       "      <td>345774.125957</td>\n",
       "      <td>63</td>\n",
       "      <td>ВЫСШЕЕ</td>\n",
       "      <td>0</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>170762.751325</td>\n",
       "      <td>строительство жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10918</th>\n",
       "      <td>-1</td>\n",
       "      <td>340499.039342</td>\n",
       "      <td>50</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>170762.773162</td>\n",
       "      <td>покупка своего жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11109</th>\n",
       "      <td>-1</td>\n",
       "      <td>-3438.463024</td>\n",
       "      <td>59</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>219874.012345</td>\n",
       "      <td>операции с жильем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11268</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1048.782203</td>\n",
       "      <td>30</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>321603.700207</td>\n",
       "      <td>на покупку автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11617</th>\n",
       "      <td>-1</td>\n",
       "      <td>-370.827130</td>\n",
       "      <td>27</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>164591.260338</td>\n",
       "      <td>покупка жилья для сдачи</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12304</th>\n",
       "      <td>-1</td>\n",
       "      <td>-8493.101252</td>\n",
       "      <td>61</td>\n",
       "      <td>неоконченное высшее</td>\n",
       "      <td>2</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>315006.182056</td>\n",
       "      <td>недвижимость</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13786</th>\n",
       "      <td>-1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>42</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>172357.950966</td>\n",
       "      <td>автомобиль</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14357</th>\n",
       "      <td>-1</td>\n",
       "      <td>-268.337037</td>\n",
       "      <td>23</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>92257.579312</td>\n",
       "      <td>покупка жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15147</th>\n",
       "      <td>-1</td>\n",
       "      <td>-9851.184337</td>\n",
       "      <td>44</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>110990.810581</td>\n",
       "      <td>свой автомобиль</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15435</th>\n",
       "      <td>-1</td>\n",
       "      <td>-3614.220232</td>\n",
       "      <td>40</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>98127.537462</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16129</th>\n",
       "      <td>-1</td>\n",
       "      <td>-457.861760</td>\n",
       "      <td>33</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>1</td>\n",
       "      <td>149641.079451</td>\n",
       "      <td>автомобиль</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16265</th>\n",
       "      <td>-1</td>\n",
       "      <td>-2802.218127</td>\n",
       "      <td>40</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>111984.472021</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17095</th>\n",
       "      <td>-1</td>\n",
       "      <td>-2809.693200</td>\n",
       "      <td>34</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>182543.890127</td>\n",
       "      <td>на покупку подержанного автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17429</th>\n",
       "      <td>-1</td>\n",
       "      <td>-895.379738</td>\n",
       "      <td>37</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>214814.018780</td>\n",
       "      <td>жилье</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17657</th>\n",
       "      <td>-1</td>\n",
       "      <td>-4571.957475</td>\n",
       "      <td>41</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>122105.415823</td>\n",
       "      <td>операции со своей недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18219</th>\n",
       "      <td>-1</td>\n",
       "      <td>-3575.215641</td>\n",
       "      <td>33</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>128362.023879</td>\n",
       "      <td>высшее образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19100</th>\n",
       "      <td>-1</td>\n",
       "      <td>-617.246968</td>\n",
       "      <td>38</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>122205.497527</td>\n",
       "      <td>строительство жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19366</th>\n",
       "      <td>-1</td>\n",
       "      <td>-372.034749</td>\n",
       "      <td>43</td>\n",
       "      <td>СРЕДНЕЕ</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>155588.766795</td>\n",
       "      <td>сделка с подержанным автомобилем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19417</th>\n",
       "      <td>-1</td>\n",
       "      <td>350340.760224</td>\n",
       "      <td>28</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>52872.993654</td>\n",
       "      <td>автомобили</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20393</th>\n",
       "      <td>-1</td>\n",
       "      <td>355157.107212</td>\n",
       "      <td>69</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>116521.045858</td>\n",
       "      <td>операции с недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20717</th>\n",
       "      <td>-1</td>\n",
       "      <td>-661.822321</td>\n",
       "      <td>32</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>137405.384917</td>\n",
       "      <td>покупка жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21140</th>\n",
       "      <td>-1</td>\n",
       "      <td>-1422.668059</td>\n",
       "      <td>44</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>169562.091999</td>\n",
       "      <td>операции со своей недвижимостью</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       children  days_employed  dob_years            education  education_id  \\\n",
       "291          -1   -4417.703588         46              среднее             1   \n",
       "705          -1    -902.084528         50              среднее             1   \n",
       "742          -1   -3174.456205         57              среднее             1   \n",
       "800          -1  349987.852217         54              среднее             1   \n",
       "941          -1            NaN         57              Среднее             1   \n",
       "1363         -1   -1195.264956         55              СРЕДНЕЕ             1   \n",
       "1929         -1   -1461.303336         38              среднее             1   \n",
       "2073         -1   -2539.761232         42              среднее             1   \n",
       "3814         -1   -3045.290443         26              Среднее             1   \n",
       "4201         -1    -901.101738         41              среднее             1   \n",
       "4402         -1  398001.302888         64              СРЕДНЕЕ             1   \n",
       "4542         -1   -1811.899756         32              среднее             1   \n",
       "5272         -1   -1143.485347         46              среднее             1   \n",
       "6013         -1   -1361.258696         46               высшее             0   \n",
       "6385         -1  370215.476226         48              среднее             1   \n",
       "7190         -1   -5928.202068         34              СРЕДНЕЕ             1   \n",
       "7278         -1    -526.318451         51              среднее             1   \n",
       "7615         -1            NaN         35              среднее             1   \n",
       "7685         -1   -3237.360455         53              среднее             1   \n",
       "8229         -1   -1803.441074         54               высшее             0   \n",
       "8251         -1   -3113.998449         31              среднее             1   \n",
       "8561         -1    -195.479496         31              среднее             1   \n",
       "9565         -1   -2896.629686         34               высшее             0   \n",
       "9574         -1   -2710.419901         28               высшее             0   \n",
       "10177        -1   -1743.604011         37              среднее             1   \n",
       "10365        -1  345774.125957         63               ВЫСШЕЕ             0   \n",
       "10918        -1  340499.039342         50              среднее             1   \n",
       "11109        -1   -3438.463024         59              среднее             1   \n",
       "11268        -1   -1048.782203         30               высшее             0   \n",
       "11617        -1    -370.827130         27              среднее             1   \n",
       "12304        -1   -8493.101252         61  неоконченное высшее             2   \n",
       "13786        -1            NaN         42              среднее             1   \n",
       "14357        -1    -268.337037         23              среднее             1   \n",
       "15147        -1   -9851.184337         44              среднее             1   \n",
       "15435        -1   -3614.220232         40               высшее             0   \n",
       "16129        -1    -457.861760         33              среднее             1   \n",
       "16265        -1   -2802.218127         40               высшее             0   \n",
       "17095        -1   -2809.693200         34              среднее             1   \n",
       "17429        -1    -895.379738         37              среднее             1   \n",
       "17657        -1   -4571.957475         41              среднее             1   \n",
       "18219        -1   -3575.215641         33              среднее             1   \n",
       "19100        -1    -617.246968         38              среднее             1   \n",
       "19366        -1    -372.034749         43              СРЕДНЕЕ             1   \n",
       "19417        -1  350340.760224         28              среднее             1   \n",
       "20393        -1  355157.107212         69              среднее             1   \n",
       "20717        -1    -661.822321         32               высшее             0   \n",
       "21140        -1   -1422.668059         44              среднее             1   \n",
       "\n",
       "               family_status  family_status_id gender  income_type  debt  \\\n",
       "291         гражданский брак                 1      F    сотрудник     0   \n",
       "705          женат / замужем                 0      F  госслужащий     0   \n",
       "742          женат / замужем                 0      F    сотрудник     0   \n",
       "800    Не женат / не замужем                 4      F    пенсионер     0   \n",
       "941          женат / замужем                 0      F    пенсионер     0   \n",
       "1363         женат / замужем                 0      F    компаньон     0   \n",
       "1929   Не женат / не замужем                 4      M    сотрудник     0   \n",
       "2073               в разводе                 3      F    компаньон     0   \n",
       "3814        гражданский брак                 1      F  госслужащий     0   \n",
       "4201         женат / замужем                 0      F  госслужащий     0   \n",
       "4402         женат / замужем                 0      F    пенсионер     0   \n",
       "4542         женат / замужем                 0      F    сотрудник     0   \n",
       "5272          вдовец / вдова                 2      F    сотрудник     0   \n",
       "6013         женат / замужем                 0      F    сотрудник     0   \n",
       "6385          вдовец / вдова                 2      F    пенсионер     0   \n",
       "7190         женат / замужем                 0      M    сотрудник     0   \n",
       "7278         женат / замужем                 0      F    сотрудник     0   \n",
       "7615         женат / замужем                 0      M    сотрудник     0   \n",
       "7685          вдовец / вдова                 2      F    сотрудник     0   \n",
       "8229         женат / замужем                 0      F    компаньон     0   \n",
       "8251        гражданский брак                 1      F    сотрудник     0   \n",
       "8561         женат / замужем                 0      F    сотрудник     0   \n",
       "9565         женат / замужем                 0      M    сотрудник     0   \n",
       "9574         женат / замужем                 0      M  госслужащий     0   \n",
       "10177        женат / замужем                 0      M    сотрудник     0   \n",
       "10365         вдовец / вдова                 2      F    пенсионер     0   \n",
       "10918        женат / замужем                 0      M    пенсионер     0   \n",
       "11109        женат / замужем                 0      F    сотрудник     0   \n",
       "11268       гражданский брак                 1      F    компаньон     0   \n",
       "11617        женат / замужем                 0      F    компаньон     0   \n",
       "12304        женат / замужем                 0      M    сотрудник     0   \n",
       "13786  Не женат / не замужем                 4      M    компаньон     0   \n",
       "14357              в разводе                 3      F    компаньон     0   \n",
       "15147              в разводе                 3      F    сотрудник     0   \n",
       "15435       гражданский брак                 1      F    сотрудник     0   \n",
       "16129        женат / замужем                 0      F    сотрудник     1   \n",
       "16265        женат / замужем                 0      M    сотрудник     0   \n",
       "17095        женат / замужем                 0      F    сотрудник     0   \n",
       "17429        женат / замужем                 0      F    компаньон     0   \n",
       "17657        женат / замужем                 0      F    сотрудник     0   \n",
       "18219        женат / замужем                 0      F    сотрудник     0   \n",
       "19100  Не женат / не замужем                 4      M    сотрудник     0   \n",
       "19366        женат / замужем                 0      M    сотрудник     0   \n",
       "19417              в разводе                 3      F    пенсионер     0   \n",
       "20393  Не женат / не замужем                 4      F    пенсионер     0   \n",
       "20717        женат / замужем                 0      F    сотрудник     0   \n",
       "21140        женат / замужем                 0      F    компаньон     0   \n",
       "\n",
       "        total_income                                 purpose  \n",
       "291    102816.346412                  профильное образование  \n",
       "705    137882.899271                 приобретение автомобиля  \n",
       "742     64268.044444              дополнительное образование  \n",
       "800     86293.724153              дополнительное образование  \n",
       "941    118514.486412            на покупку своего автомобиля  \n",
       "1363    69550.699692                  профильное образование  \n",
       "1929   109121.569013                           покупка жилья  \n",
       "2073   162638.609373                           покупка жилья  \n",
       "3814   131892.785435                   на проведение свадьбы  \n",
       "4201   226375.766751         операции со своей недвижимостью  \n",
       "4402   163264.062064                    покупка недвижимости  \n",
       "4542   160544.718446                             образование  \n",
       "5272   278708.018820                    покупка недвижимости  \n",
       "6013   143008.454914  строительство собственной недвижимости  \n",
       "6385    36052.447435                             образование  \n",
       "7190   184315.121979                 приобретение автомобиля  \n",
       "7278   146928.769439   операции с коммерческой недвижимостью  \n",
       "7615   142594.396847                             образование  \n",
       "7685   159676.174958        строительство жилой недвижимости  \n",
       "8229   138809.082930                    покупка недвижимости  \n",
       "8251    54412.056005                         свой автомобиль  \n",
       "8561   145577.881522                            ремонт жилью  \n",
       "9565   126754.656529                операции с недвижимостью  \n",
       "9574   303137.161001   получение дополнительного образования  \n",
       "10177  310367.509001                   получение образования  \n",
       "10365  170762.751325        строительство жилой недвижимости  \n",
       "10918  170762.773162                    покупка своего жилья  \n",
       "11109  219874.012345                       операции с жильем  \n",
       "11268  321603.700207                   на покупку автомобиля  \n",
       "11617  164591.260338                 покупка жилья для сдачи  \n",
       "12304  315006.182056                            недвижимость  \n",
       "13786  172357.950966                              автомобиль  \n",
       "14357   92257.579312              покупка жилой недвижимости  \n",
       "15147  110990.810581                         свой автомобиль  \n",
       "15435   98127.537462                         сыграть свадьбу  \n",
       "16129  149641.079451                              автомобиль  \n",
       "16265  111984.472021                           покупка жилья  \n",
       "17095  182543.890127      на покупку подержанного автомобиля  \n",
       "17429  214814.018780                                   жилье  \n",
       "17657  122105.415823         операции со своей недвижимостью  \n",
       "18219  128362.023879                      высшее образование  \n",
       "19100  122205.497527        строительство жилой недвижимости  \n",
       "19366  155588.766795        сделка с подержанным автомобилем  \n",
       "19417   52872.993654                              автомобили  \n",
       "20393  116521.045858                операции с недвижимостью  \n",
       "20717  137405.384917              покупка жилой недвижимости  \n",
       "21140  169562.091999         операции со своей недвижимостью  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Всего строк с со значением `-1` в столбце `children`: 47\n",
      "Доля строк с со значением `-1` в столбце `children` в датасете: 0.22%\n"
     ]
    }
   ],
   "source": [
    "# Фильтруем в новый датасет строки с нужным аномальным значением\n",
    "children_negative_data = data[data['children'] == -1]\n",
    "\n",
    "# Выводим на экран новый датасет полностью, чтобы оценить есть ли взаимосвязь аномальных значений с какими-то другими в датасете\n",
    "display(children_negative_data)\n",
    "print(f'Всего строк с со значением `-1` в столбце `children`: {children_negative_data.shape[0]}')\n",
    "print(f'Доля строк с со значением `-1` в столбце `children` в датасете: {(children_negative_data.shape[0] / data.shape[0]):.2%}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "211a3171",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>606</th>\n",
       "      <td>20</td>\n",
       "      <td>-880.221113</td>\n",
       "      <td>21</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>145334.865002</td>\n",
       "      <td>покупка жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>720</th>\n",
       "      <td>20</td>\n",
       "      <td>-855.595512</td>\n",
       "      <td>44</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>112998.738649</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1074</th>\n",
       "      <td>20</td>\n",
       "      <td>-3310.411598</td>\n",
       "      <td>56</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>1</td>\n",
       "      <td>229518.537004</td>\n",
       "      <td>получение образования</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2510</th>\n",
       "      <td>20</td>\n",
       "      <td>-2714.161249</td>\n",
       "      <td>59</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>264474.835577</td>\n",
       "      <td>операции с коммерческой недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2941</th>\n",
       "      <td>20</td>\n",
       "      <td>-2161.591519</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>199739.941398</td>\n",
       "      <td>на покупку автомобиля</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21008</th>\n",
       "      <td>20</td>\n",
       "      <td>-1240.257910</td>\n",
       "      <td>40</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>1</td>\n",
       "      <td>133524.010303</td>\n",
       "      <td>свой автомобиль</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21325</th>\n",
       "      <td>20</td>\n",
       "      <td>-601.174883</td>\n",
       "      <td>37</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>102986.065978</td>\n",
       "      <td>профильное образование</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21390</th>\n",
       "      <td>20</td>\n",
       "      <td>NaN</td>\n",
       "      <td>53</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>172357.950966</td>\n",
       "      <td>покупка жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21404</th>\n",
       "      <td>20</td>\n",
       "      <td>-494.788448</td>\n",
       "      <td>52</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>156629.683642</td>\n",
       "      <td>операции со своей недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21491</th>\n",
       "      <td>20</td>\n",
       "      <td>-173.954460</td>\n",
       "      <td>27</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>155520.899688</td>\n",
       "      <td>на покупку подержанного автомобиля</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>76 rows × 12 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       children  days_employed  dob_years education  education_id  \\\n",
       "606          20    -880.221113         21   среднее             1   \n",
       "720          20    -855.595512         44   среднее             1   \n",
       "1074         20   -3310.411598         56   среднее             1   \n",
       "2510         20   -2714.161249         59    высшее             0   \n",
       "2941         20   -2161.591519          0   среднее             1   \n",
       "...         ...            ...        ...       ...           ...   \n",
       "21008        20   -1240.257910         40   среднее             1   \n",
       "21325        20    -601.174883         37   среднее             1   \n",
       "21390        20            NaN         53   среднее             1   \n",
       "21404        20    -494.788448         52   среднее             1   \n",
       "21491        20    -173.954460         27   среднее             1   \n",
       "\n",
       "         family_status  family_status_id gender income_type  debt  \\\n",
       "606    женат / замужем                 0      M   компаньон     0   \n",
       "720    женат / замужем                 0      F   компаньон     0   \n",
       "1074   женат / замужем                 0      F   сотрудник     1   \n",
       "2510    вдовец / вдова                 2      F   сотрудник     0   \n",
       "2941   женат / замужем                 0      F   сотрудник     0   \n",
       "...                ...               ...    ...         ...   ...   \n",
       "21008  женат / замужем                 0      F   сотрудник     1   \n",
       "21325  женат / замужем                 0      F   компаньон     0   \n",
       "21390  женат / замужем                 0      M   компаньон     0   \n",
       "21404  женат / замужем                 0      M   компаньон     0   \n",
       "21491  женат / замужем                 0      F   сотрудник     0   \n",
       "\n",
       "        total_income                                purpose  \n",
       "606    145334.865002                          покупка жилья  \n",
       "720    112998.738649                   покупка недвижимости  \n",
       "1074   229518.537004                  получение образования  \n",
       "2510   264474.835577  операции с коммерческой недвижимостью  \n",
       "2941   199739.941398                  на покупку автомобиля  \n",
       "...              ...                                    ...  \n",
       "21008  133524.010303                        свой автомобиль  \n",
       "21325  102986.065978                 профильное образование  \n",
       "21390  172357.950966             покупка жилой недвижимости  \n",
       "21404  156629.683642        операции со своей недвижимостью  \n",
       "21491  155520.899688     на покупку подержанного автомобиля  \n",
       "\n",
       "[76 rows x 12 columns]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Всего строк с со значением `20` в столбце `children`: 76\n",
      "Доля строк с со значением `20` в столбце `children` в датасете: 0.35%\n"
     ]
    }
   ],
   "source": [
    "# Фильтруем в новый датасет строки с нужным аномальным значением\n",
    "children_excess_data = data[data['children'] == 20]\n",
    "\n",
    "# Выводим на экран новый датасет полностью, чтобы оценить есть ли взаимосвязь аномальных значений с какими-то другими в датасете\n",
    "display(children_excess_data)\n",
    "print(f'Всего строк с со значением `20` в столбце `children`: {children_excess_data.shape[0]}')\n",
    "print(f'Доля строк с со значением `20` в столбце `children` в датасете: {(children_excess_data.shape[0] / data.shape[0]):.2%}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a9a5e468",
   "metadata": {},
   "source": [
    "**Выводы по результатам анализа аномальных значений в столбце `children`**:\n",
    "\n",
    "* Взаимосвязи между аномальными значениями в столбце `children` и другими данными не выявлено. Таким образом, можно принять гипотезу об ошибочном вводе данных.\n",
    "* Доля строк с ошибочными значениями в столбце `children` относительно общего объёма датасета мала. Таким образом, ни удаление этих строк из датасета, ни изменение их значений на условно правильные скорее всего не приведет к существенным искажениям данных на последующих шагах анализа.\n",
    "* Однако, учитывая, что одним из вопросов исследования является наличие зависимости между количеством детей и возвратом кредита в срок, не будем удалять строки с аномальными значениями из датасета, а исправление проведем путём замены значений `-1` в соответствующих строках на `1` и значения `20` на `2`.\n",
    "\n",
    "##### Исправление аномальных значений  в столбце `children`\n",
    "\n",
    "**Первоначальная версия проекта:** исправление аномальных значений в столбце `children`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "fc6324fe",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Вариант 1 (первоначальный)\n",
    "\n",
    "# Выбираем строки со значением `-1` в столбце 'children'.\n",
    "# rows = data['children'] == -1\n",
    "# Заменяем значение '-1' на его значение по модулю\n",
    "# data.loc[rows, 'children'] = rows.abs()\n",
    "\n",
    "\n",
    "# Выбираем строки со значением `20` в столбце 'children'.\n",
    "# rows = data['children'] == 20\n",
    "# Заменяем значение '20' на `2`\n",
    "# data.loc[rows, 'children'] = 2\n",
    "\n",
    "# Вариант 2 (после прохождения курса)\n",
    "\n",
    "# Замена значений -1 на 1 и 20 на 2 в столбце \"children\"\n",
    "# data['children'] = data['children'].replace({-1: 1, 20: 2})"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "17a5638d",
   "metadata": {},
   "source": [
    "**Поздняя версия проекта:** удаление строк с аномальными значениями в столбце `children`\n",
    "\n",
    "Задание 9. В столбце `children` есть два аномальных значения. Удалите строки, в которых встречаются такие аномальные значения из датафрейма `data`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "7f11991c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Удаление строк с аномальными значениями -1 и 20 в столбце \"children\"\n",
    "data = data[(data['children'] != -1) & (data['children'] != 20)]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ed4c526b",
   "metadata": {},
   "source": [
    "##### Проверка исправления аномальных значений  в столбце `children`\n",
    "\n",
    "Задание 10. Ещё раз выведите перечень уникальных значений столбца `children`, чтобы убедиться, что артефакты удалены."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "f9c3e686",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([1, 0, 3, 2, 4, 5], dtype=int64)"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data['children'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b06b7b7f",
   "metadata": {},
   "source": [
    "##### Вывод по подразделу 5.2.1\n",
    "\n",
    "✅ Артефакты в столбце `children` устранены."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8edf42d1",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-children) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6c55532b",
   "metadata": {},
   "source": [
    "#### Проверка столбца `days_employed`\n",
    "\n",
    "В наборе значений столбца `days_employed` обнаружены пропуски (пп. 1. [п. 4.3](#Выводы-по-разделу)) и аномальные значения. Для того, чтобы попытаться определить возможные причины появления таких данных, создадим функцию `days_employed_info (data)`, которая будет собирать в датафрейм количество отрицательных, нулевых и положительных значений, минимальные, средние, медианные и максимальные значения из столбца `days_employed` для каждой категории `income_type` и выводить табличку с ними на экран.\n",
    "\n",
    "##### Поиск аномальных значений в столбце `days_employed`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "1c01f374",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Функция days_employed_info (data) будет собирать в датафрейм количество отрицательных, нулевых и положительных значений,\n",
    "# минимальные, средние, медианные и максимальные значения из столбца 'days_employed' для каждой категории 'income_type',\n",
    "# а также количество пропусков и выводить табличку с ними на экран\n",
    "\n",
    "def days_employed_info(data):\n",
    "\n",
    "    income_type_1 = [] # Столбец с категорией 'income_type'\n",
    "    income_type_2 = [] # Столбец с количеством отрицательных значений в 'days_employed' для каждого 'income_type'\n",
    "    income_type_3 = [] # Столбец с количеством нулевых значений в 'days_employed' для каждого 'income_type'\n",
    "    income_type_4 = [] # Столбец с количеством положительных значений в 'days_employed' для каждого 'income_type'\n",
    "    income_type_5 = [] # Столбец с минимальными значениями в 'days_employed' для каждого 'income_type'\n",
    "    income_type_6 = [] # Столбец со средними значениями в 'days_employed' для каждого 'income_type'\n",
    "    income_type_7 = [] # Столбец с медианными значениями в 'days_employed' для каждого 'income_type'\n",
    "    income_type_8 = [] # Столбец с максимальными значениями в 'days_employed' для каждого 'income_type'\n",
    "    income_type_9 = [] # Столбец с пропусками в 'days_employed' для каждого 'income_type'    \n",
    "\n",
    "# В цикле по уникальным значениям 'income_type' заполняем списки для каждого из столбцов    \n",
    "    \n",
    "    for income_type in data['income_type'].unique():\n",
    "        income_type_1.append(income_type)\n",
    "        income_type_2.append(data[(data['days_employed'] < 0) & (data['income_type'] == income_type)].shape[0])\n",
    "        income_type_3.append(data[(data['days_employed'] == 0) & (data['income_type'] == income_type)].shape[0])\n",
    "        income_type_4.append(data[(data['days_employed'] > 0) & (data['income_type'] == income_type)].shape[0])\n",
    "        income_type_5.append(data[data['income_type'] == income_type]['days_employed'].min())\n",
    "        income_type_6.append(data[data['income_type'] == income_type]['days_employed'].mean())\n",
    "        income_type_7.append(data[data['income_type'] == income_type]['days_employed'].median())\n",
    "        income_type_8.append(data[data['income_type'] == income_type]['days_employed'].max())\n",
    "        income_type_9.append(data[data['income_type'] == income_type]['days_employed'].isna().sum())\n",
    "        \n",
    "# Создаем датафрейм, содержащий результаты обзора данных         \n",
    "        \n",
    "    days_employed_info = pd.DataFrame({'income_type': income_type_1,\n",
    "                                       'negative': income_type_2,\n",
    "                                       'zero': income_type_3,\n",
    "                                       'positive': income_type_4,\n",
    "                                       'min': income_type_5,\n",
    "                                       'mean': income_type_6,\n",
    "                                       'median': income_type_7,\n",
    "                                       'max': income_type_8,\n",
    "                                       'NaN': income_type_9,\n",
    "                                       })\n",
    "# Выводим датафрейм на экран \n",
    "\n",
    "    display(days_employed_info)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "92c0fb30",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>income_type</th>\n",
       "      <th>negative</th>\n",
       "      <th>zero</th>\n",
       "      <th>positive</th>\n",
       "      <th>min</th>\n",
       "      <th>mean</th>\n",
       "      <th>median</th>\n",
       "      <th>max</th>\n",
       "      <th>NaN</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>сотрудник</td>\n",
       "      <td>9949</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>-18388.949901</td>\n",
       "      <td>-2323.653522</td>\n",
       "      <td>-1572.328285</td>\n",
       "      <td>-24.141633</td>\n",
       "      <td>1101</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>3429</td>\n",
       "      <td>328728.720605</td>\n",
       "      <td>365025.091981</td>\n",
       "      <td>365286.622650</td>\n",
       "      <td>401755.400475</td>\n",
       "      <td>410</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>компаньон</td>\n",
       "      <td>4550</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>-17615.563266</td>\n",
       "      <td>-2118.257358</td>\n",
       "      <td>-1555.947387</td>\n",
       "      <td>-30.195337</td>\n",
       "      <td>504</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>госслужащий</td>\n",
       "      <td>1307</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>-15193.032201</td>\n",
       "      <td>-3403.534603</td>\n",
       "      <td>-2689.137274</td>\n",
       "      <td>-39.954170</td>\n",
       "      <td>146</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>безработный</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>2</td>\n",
       "      <td>337524.466835</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>395302.838654</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>предприниматель</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>студент</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>в декрете</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       income_type  negative  zero  positive            min           mean  \\\n",
       "0        сотрудник      9949     0         0  -18388.949901   -2323.653522   \n",
       "1        пенсионер         0     0      3429  328728.720605  365025.091981   \n",
       "2        компаньон      4550     0         0  -17615.563266   -2118.257358   \n",
       "3      госслужащий      1307     0         0  -15193.032201   -3403.534603   \n",
       "4      безработный         0     0         2  337524.466835  366413.652744   \n",
       "5  предприниматель         1     0         0    -520.848083    -520.848083   \n",
       "6          студент         1     0         0    -578.751554    -578.751554   \n",
       "7        в декрете         1     0         0   -3296.759962   -3296.759962   \n",
       "\n",
       "          median            max   NaN  \n",
       "0   -1572.328285     -24.141633  1101  \n",
       "1  365286.622650  401755.400475   410  \n",
       "2   -1555.947387     -30.195337   504  \n",
       "3   -2689.137274     -39.954170   146  \n",
       "4  366413.652744  395302.838654     0  \n",
       "5    -520.848083    -520.848083     1  \n",
       "6    -578.751554    -578.751554     0  \n",
       "7   -3296.759962   -3296.759962     0  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество строк с отрицательными `days_employed`, шт.: 15809\n",
      "Доля строк с отрицательными `days_employed` в датасете, %: 73.86692832445566\n",
      "Количество строк с пропусками в `days_employed`, шт.: 2162\n"
     ]
    }
   ],
   "source": [
    "# Вызов функции для описания столбца 'days_employed'\n",
    "days_employed_info (data)\n",
    "\n",
    "# Определим количество строк, содержащих отрицательные значения в столбце 'days_employed'\n",
    "print('Количество строк с отрицательными `days_employed`, шт.:', data[data['days_employed'] < 0].shape[0])\n",
    "print('Доля строк с отрицательными `days_employed` в датасете, %:', (data[data['days_employed'] < 0].shape[0]/len(data)*100))\n",
    "print('Количество строк с пропусками в `days_employed`, шт.:', data['days_employed'].isna().sum())"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "65a5fdc3",
   "metadata": {},
   "source": [
    "Для того, чтобы проверить корректность работы собственной функции выполним аналогичные действия с помощью группировки данных по столбцу `income_type` методом `groupby()` и агрегирования."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "cbe6ca8c",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead tr th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe thead tr:last-of-type th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr>\n",
       "      <th></th>\n",
       "      <th colspan=\"5\" halign=\"left\">days_employed</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th></th>\n",
       "      <th>count</th>\n",
       "      <th>min</th>\n",
       "      <th>mean</th>\n",
       "      <th>median</th>\n",
       "      <th>max</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>income_type</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>безработный</th>\n",
       "      <td>2</td>\n",
       "      <td>337524.466835</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>395302.838654</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>в декрете</th>\n",
       "      <td>1</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>-3296.759962</td>\n",
       "      <td>-3296.759962</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>госслужащий</th>\n",
       "      <td>1307</td>\n",
       "      <td>-15193.032201</td>\n",
       "      <td>-3403.534603</td>\n",
       "      <td>-2689.137274</td>\n",
       "      <td>-39.954170</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>компаньон</th>\n",
       "      <td>4550</td>\n",
       "      <td>-17615.563266</td>\n",
       "      <td>-2118.257358</td>\n",
       "      <td>-1555.947387</td>\n",
       "      <td>-30.195337</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>пенсионер</th>\n",
       "      <td>3429</td>\n",
       "      <td>328728.720605</td>\n",
       "      <td>365025.091981</td>\n",
       "      <td>365286.622650</td>\n",
       "      <td>401755.400475</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>предприниматель</th>\n",
       "      <td>1</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>-520.848083</td>\n",
       "      <td>-520.848083</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>сотрудник</th>\n",
       "      <td>9949</td>\n",
       "      <td>-18388.949901</td>\n",
       "      <td>-2323.653522</td>\n",
       "      <td>-1572.328285</td>\n",
       "      <td>-24.141633</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>студент</th>\n",
       "      <td>1</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>-578.751554</td>\n",
       "      <td>-578.751554</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                days_employed                                               \\\n",
       "                        count            min           mean         median   \n",
       "income_type                                                                  \n",
       "безработный                 2  337524.466835  366413.652744  366413.652744   \n",
       "в декрете                   1   -3296.759962   -3296.759962   -3296.759962   \n",
       "госслужащий              1307  -15193.032201   -3403.534603   -2689.137274   \n",
       "компаньон                4550  -17615.563266   -2118.257358   -1555.947387   \n",
       "пенсионер                3429  328728.720605  365025.091981  365286.622650   \n",
       "предприниматель             1    -520.848083    -520.848083    -520.848083   \n",
       "сотрудник                9949  -18388.949901   -2323.653522   -1572.328285   \n",
       "студент                     1    -578.751554    -578.751554    -578.751554   \n",
       "\n",
       "                                \n",
       "                           max  \n",
       "income_type                     \n",
       "безработный      395302.838654  \n",
       "в декрете         -3296.759962  \n",
       "госслужащий         -39.954170  \n",
       "компаньон           -30.195337  \n",
       "пенсионер        401755.400475  \n",
       "предприниматель    -520.848083  \n",
       "сотрудник           -24.141633  \n",
       "студент            -578.751554  "
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Группировка данных по столбцу `income_type` и агрегирование\n",
    "data_grouped = data.groupby('income_type').agg({'days_employed': ['count', 'min', 'mean', 'median', 'max']})\n",
    "\n",
    "# Выводим данные на экран\n",
    "data_grouped"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a6c1e267",
   "metadata": {},
   "source": [
    "**Промежуточный вывод:**\n",
    "\n",
    "✅ функция `days_employed_info (data)` работает корректно."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "57f79f15",
   "metadata": {},
   "source": [
    "##### Анализ аномальных значений в столбце `days_employed`\n",
    "\n",
    "**Найденные артефакты (аномалии)** в столбце `days_employed`:\n",
    "- Столбец содержит данные типа число с плавающей точкой, хотя по смыслу показателя должны быть целые числа.\n",
    "- Почти 74% (15905 строк из 21525) содержат отрицательные значения. Особенно много их для категории типа занятости `сотрудник` (10014).\n",
    "- Категории `пенсионер` и `безработный` содержат явно ошибочные значения (если исходить из условия, что в столбце приведено количество дней трудового стажа, то при пересчете в года получаются значения порядка 1000 лет).\n",
    "\n",
    "**Возможные причины появления артефактов (аномалий)** в столбце `days_employed`:\n",
    "- То, что в столбце хранятся числа с плавающей точкой говорит о том, что в столбце хранятся не те данные, которые заявлены (наиболее близкий к имеющимся данным результат дает гипотеза, что это трудовой стаж в неделях, а не днях).\n",
    "- Отрицательные значения возможно возникли, если при расчете из даты начала работы вычитали дату завершения работы, а не наоборот.\n",
    "- Аномально большие или малые значения в столбцах `пенсионер`, `безработный` и `сотрудник` возможно появились из-за ошибки при вводе года начала или завершения работы.\n",
    "\n",
    "Поскольку величина трудового стажа по условию не участвует в ответе на поставленные вопросы и, принимая во внимание, что большой объём данных с некорректными значениями в этом столбце не позволяет просто удалить соответствующие строки из датасета (мы потерям 2/3 данных), то для дальнейшей работы мы:\n",
    "1. Заменим все отрицательные значения в столбце `days_employed` на положительные.\n",
    "1. После этого заполним пропуски медианными значениями в зависимости от категории типа занятости `income_type`.\n",
    "\n",
    "\n",
    "##### Исправление аномальных значений в столбце `days_employed`\n",
    "\n",
    "Задание 6. В данных могут встречаться артефакты (аномалии) — значения, которые не отражают действительность и появились по какой-то ошибке. Таким артефактом будет отрицательное количество дней трудового стажа в столбце `days_employed`. Для реальных данных это нормально. Обработайте значения в этом столбце: замените все отрицательные значения положительными с помощью метода `abs()`.\n",
    "\n",
    "Задание 7. Для каждого типа занятости выведите медианное значение трудового стажа в днях из столбца `days_employed`. У двух типов (безработные и пенсионеры) получатся аномально большие значения. Исправить такие значения сложно, поэтому оставьте их как есть."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "130e3ce8",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>income_type</th>\n",
       "      <th>negative</th>\n",
       "      <th>zero</th>\n",
       "      <th>positive</th>\n",
       "      <th>min</th>\n",
       "      <th>mean</th>\n",
       "      <th>median</th>\n",
       "      <th>max</th>\n",
       "      <th>NaN</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>9949</td>\n",
       "      <td>24.141633</td>\n",
       "      <td>2323.653522</td>\n",
       "      <td>1572.328285</td>\n",
       "      <td>18388.949901</td>\n",
       "      <td>1101</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>3429</td>\n",
       "      <td>328728.720605</td>\n",
       "      <td>365025.091981</td>\n",
       "      <td>365286.622650</td>\n",
       "      <td>401755.400475</td>\n",
       "      <td>410</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>4550</td>\n",
       "      <td>30.195337</td>\n",
       "      <td>2118.257358</td>\n",
       "      <td>1555.947387</td>\n",
       "      <td>17615.563266</td>\n",
       "      <td>504</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1307</td>\n",
       "      <td>39.954170</td>\n",
       "      <td>3403.534603</td>\n",
       "      <td>2689.137274</td>\n",
       "      <td>15193.032201</td>\n",
       "      <td>146</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>безработный</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>2</td>\n",
       "      <td>337524.466835</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>395302.838654</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>предприниматель</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>520.848083</td>\n",
       "      <td>520.848083</td>\n",
       "      <td>520.848083</td>\n",
       "      <td>520.848083</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>студент</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>в декрете</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       income_type  negative  zero  positive            min           mean  \\\n",
       "0        сотрудник         0     0      9949      24.141633    2323.653522   \n",
       "1        пенсионер         0     0      3429  328728.720605  365025.091981   \n",
       "2        компаньон         0     0      4550      30.195337    2118.257358   \n",
       "3      госслужащий         0     0      1307      39.954170    3403.534603   \n",
       "4      безработный         0     0         2  337524.466835  366413.652744   \n",
       "5  предприниматель         0     0         1     520.848083     520.848083   \n",
       "6          студент         0     0         1     578.751554     578.751554   \n",
       "7        в декрете         0     0         1    3296.759962    3296.759962   \n",
       "\n",
       "          median            max   NaN  \n",
       "0    1572.328285   18388.949901  1101  \n",
       "1  365286.622650  401755.400475   410  \n",
       "2    1555.947387   17615.563266   504  \n",
       "3    2689.137274   15193.032201   146  \n",
       "4  366413.652744  395302.838654     0  \n",
       "5     520.848083     520.848083     1  \n",
       "6     578.751554     578.751554     0  \n",
       "7    3296.759962    3296.759962     0  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Заменяем отрицательные значения в столбце `days_employed` на положительные\n",
    "data['days_employed'] = data['days_employed'].abs()\n",
    "\n",
    "# Проверяем результат замены с помощью функции days_employed_info (data)\n",
    "days_employed_info(data)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "616b6625",
   "metadata": {},
   "source": [
    "Задание 11. Заполните пропуски в столбце `days_employed` медианными значениями по каждому типу занятости `income_type`. \n",
    "\n",
    "**Первоначальная версия проекта:** последовательное преобразование методом `.loc`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "e95faa80",
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Произведем замену пропусков в столбце `days_employed` на соответствующие медианные для каждого типа занятости\n",
    "\n",
    "# data.loc[(data['days_employed'].isna()) & (data['income_type'] == 'сотрудник'), \"days_employed\"] = data[data['income_type'] == 'сотрудник']['days_employed'].median()\n",
    "# data.loc[(data['days_employed'].isna()) & (data['income_type'] == 'пенсионер'), \"days_employed\"] = data[data['income_type'] == 'пенсионер']['days_employed'].median()\n",
    "# data.loc[(data['days_employed'].isna()) & (data['income_type'] == 'компаньон'), \"days_employed\"] = data[data['income_type'] == 'компаньон']['days_employed'].median()\n",
    "# data.loc[(data['days_employed'].isna()) & (data['income_type'] == 'госслужащий'), \"days_employed\"] = data[data['income_type'] == 'госслужащий']['days_employed'].median()\n",
    "# data.loc[(data['days_employed'].isna()) & (data['income_type'] == 'предприниматель'), \"days_employed\"] = data[data['income_type'] == 'предприниматель']['days_employed'].median()\n",
    "\n",
    "# Проверяем результат заполнения пропусков\n",
    "# days_employed_info (data)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "994c47a1",
   "metadata": {},
   "source": [
    "**Поздняя версия проекта:** использование методов `fillna()`, `groupby()` и `.transform('median')`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "6ebf4e1c",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>income_type</th>\n",
       "      <th>negative</th>\n",
       "      <th>zero</th>\n",
       "      <th>positive</th>\n",
       "      <th>min</th>\n",
       "      <th>mean</th>\n",
       "      <th>median</th>\n",
       "      <th>max</th>\n",
       "      <th>NaN</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>11050</td>\n",
       "      <td>24.141633</td>\n",
       "      <td>16299.951115</td>\n",
       "      <td>1809.527317</td>\n",
       "      <td>142594.396847</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>3839</td>\n",
       "      <td>118514.486412</td>\n",
       "      <td>338698.093209</td>\n",
       "      <td>360632.255610</td>\n",
       "      <td>401755.400475</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>5054</td>\n",
       "      <td>30.195337</td>\n",
       "      <td>19095.068909</td>\n",
       "      <td>1776.386087</td>\n",
       "      <td>172357.950966</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>госслужащий</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1453</td>\n",
       "      <td>39.954170</td>\n",
       "      <td>18178.815057</td>\n",
       "      <td>3040.268136</td>\n",
       "      <td>150447.935283</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>безработный</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>2</td>\n",
       "      <td>337524.466835</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>366413.652744</td>\n",
       "      <td>395302.838654</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>предприниматель</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>2</td>\n",
       "      <td>520.848083</td>\n",
       "      <td>249841.996515</td>\n",
       "      <td>249841.996515</td>\n",
       "      <td>499163.144947</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>студент</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>578.751554</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>в декрете</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>3296.759962</td>\n",
       "      <td>0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       income_type  negative  zero  positive            min           mean  \\\n",
       "0        сотрудник         0     0     11050      24.141633   16299.951115   \n",
       "1        пенсионер         0     0      3839  118514.486412  338698.093209   \n",
       "2        компаньон         0     0      5054      30.195337   19095.068909   \n",
       "3      госслужащий         0     0      1453      39.954170   18178.815057   \n",
       "4      безработный         0     0         2  337524.466835  366413.652744   \n",
       "5  предприниматель         0     0         2     520.848083  249841.996515   \n",
       "6          студент         0     0         1     578.751554     578.751554   \n",
       "7        в декрете         0     0         1    3296.759962    3296.759962   \n",
       "\n",
       "          median            max  NaN  \n",
       "0    1809.527317  142594.396847    0  \n",
       "1  360632.255610  401755.400475    0  \n",
       "2    1776.386087  172357.950966    0  \n",
       "3    3040.268136  150447.935283    0  \n",
       "4  366413.652744  395302.838654    0  \n",
       "5  249841.996515  499163.144947    0  \n",
       "6     578.751554     578.751554    0  \n",
       "7    3296.759962    3296.759962    0  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Замена пропусков в столбце `days_employed` на соответствующие медианные для каждого типа занятости \n",
    "data['days_employed'] = data['days_employed'].fillna(data.groupby('income_type')['total_income'].transform('median'))\n",
    "\n",
    "# Проверяем результат заполнения пропусков\n",
    "days_employed_info (data)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d3afada1",
   "metadata": {},
   "source": [
    "##### Вывод по подразделу 5.2.2\n",
    "\n",
    "✅ Артефакты в столбце `days_employed` устранены."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ae8fa854",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-days_employed) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c7a9488f",
   "metadata": {},
   "source": [
    "#### Проверка столбца `dob_years`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `dob_years`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "e52ec7f4",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([42, 36, 33, 32, 53, 27, 43, 50, 35, 41, 40, 65, 54, 56, 26, 48, 24,\n",
       "       21, 57, 67, 28, 63, 62, 47, 34, 68, 25, 31, 30, 20, 49, 37, 45, 61,\n",
       "       64, 44, 52, 46, 23, 38, 39, 51,  0, 59, 29, 60, 55, 58, 71, 22, 73,\n",
       "       66, 69, 19, 72, 70, 74, 75], dtype=int64)"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `dob_years`\n",
    "data['dob_years'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dc2667ef",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `dob_years` обнаружены аномальные значения: `0`.\n",
    "\n",
    "##### Анализ аномальных значений в столбце `dob_years`\n",
    "\n",
    "Сделаем обзор и оценим количество строк, содержащих данную аномалию."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "d12ce11f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>99</th>\n",
       "      <td>0</td>\n",
       "      <td>346541.618895</td>\n",
       "      <td>0</td>\n",
       "      <td>Среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>71291.522491</td>\n",
       "      <td>автомобиль</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>149</th>\n",
       "      <td>0</td>\n",
       "      <td>2664.273168</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>70176.435951</td>\n",
       "      <td>операции с жильем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>270</th>\n",
       "      <td>3</td>\n",
       "      <td>1872.663186</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>102166.458894</td>\n",
       "      <td>ремонт жилью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>578</th>\n",
       "      <td>0</td>\n",
       "      <td>397856.565013</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>97620.687042</td>\n",
       "      <td>строительство собственной недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1040</th>\n",
       "      <td>0</td>\n",
       "      <td>1158.029561</td>\n",
       "      <td>0</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>303994.134987</td>\n",
       "      <td>свой автомобиль</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19829</th>\n",
       "      <td>0</td>\n",
       "      <td>142594.396847</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>142594.396847</td>\n",
       "      <td>жилье</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20462</th>\n",
       "      <td>0</td>\n",
       "      <td>338734.868540</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>259193.920299</td>\n",
       "      <td>покупка своего жилья</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20577</th>\n",
       "      <td>0</td>\n",
       "      <td>331741.271455</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>129788.762899</td>\n",
       "      <td>недвижимость</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21179</th>\n",
       "      <td>2</td>\n",
       "      <td>108.967042</td>\n",
       "      <td>0</td>\n",
       "      <td>высшее</td>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>240702.007382</td>\n",
       "      <td>строительство жилой недвижимости</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21313</th>\n",
       "      <td>0</td>\n",
       "      <td>1268.487728</td>\n",
       "      <td>0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>Не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>152419.184851</td>\n",
       "      <td>операции с жильем</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>100 rows × 12 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       children  days_employed  dob_years education  education_id  \\\n",
       "99            0  346541.618895          0   Среднее             1   \n",
       "149           0    2664.273168          0   среднее             1   \n",
       "270           3    1872.663186          0   среднее             1   \n",
       "578           0  397856.565013          0   среднее             1   \n",
       "1040          0    1158.029561          0    высшее             0   \n",
       "...         ...            ...        ...       ...           ...   \n",
       "19829         0  142594.396847          0   среднее             1   \n",
       "20462         0  338734.868540          0   среднее             1   \n",
       "20577         0  331741.271455          0   среднее             1   \n",
       "21179         2     108.967042          0    высшее             0   \n",
       "21313         0    1268.487728          0   среднее             1   \n",
       "\n",
       "               family_status  family_status_id gender income_type  debt  \\\n",
       "99           женат / замужем                 0      F   пенсионер     0   \n",
       "149                в разводе                 3      F   сотрудник     0   \n",
       "270          женат / замужем                 0      F   сотрудник     0   \n",
       "578          женат / замужем                 0      F   пенсионер     0   \n",
       "1040               в разводе                 3      F   компаньон     0   \n",
       "...                      ...               ...    ...         ...   ...   \n",
       "19829        женат / замужем                 0      F   сотрудник     0   \n",
       "20462        женат / замужем                 0      F   пенсионер     0   \n",
       "20577  Не женат / не замужем                 4      F   пенсионер     0   \n",
       "21179        женат / замужем                 0      M   компаньон     0   \n",
       "21313  Не женат / не замужем                 4      M   сотрудник     0   \n",
       "\n",
       "        total_income                                 purpose  \n",
       "99      71291.522491                              автомобиль  \n",
       "149     70176.435951                       операции с жильем  \n",
       "270    102166.458894                            ремонт жилью  \n",
       "578     97620.687042  строительство собственной недвижимости  \n",
       "1040   303994.134987                         свой автомобиль  \n",
       "...              ...                                     ...  \n",
       "19829  142594.396847                                   жилье  \n",
       "20462  259193.920299                    покупка своего жилья  \n",
       "20577  129788.762899                            недвижимость  \n",
       "21179  240702.007382        строительство жилой недвижимости  \n",
       "21313  152419.184851                       операции с жильем  \n",
       "\n",
       "[100 rows x 12 columns]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Всего строк с со значением `0` в столбце `dob_years`: 100\n",
      "Доля строк с со значением `0` в столбце `dob_years` в датасете: 0.47%\n"
     ]
    }
   ],
   "source": [
    "# Фильтруем в новый датасет строки с нужным аномальным значением\n",
    "dob_years_zero_data = data[data['dob_years'] == 0]\n",
    "\n",
    "# Выводим на экран новый датасет полностью, чтобы оценить есть ли взаимосвязь аномальных значений с какими-то другими в датасете\n",
    "display(dob_years_zero_data)\n",
    "print(f'Всего строк с со значением `0` в столбце `dob_years`: {dob_years_zero_data.shape[0]}')\n",
    "print(f'Доля строк с со значением `0` в столбце `dob_years` в датасете: {(dob_years_zero_data.shape[0] / data.shape[0]):.2%}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b01abd24",
   "metadata": {},
   "source": [
    "**Выводы по результатам анализа аномальных значений в столбце `dob_years`**:\n",
    "* Взаимосвязи между аномальными значениями в столбце `dob_years` и другими данными не выявлено. Таким образом, можно принять гипотезу об ошибочном вводе данных.\n",
    "* Доля строк с ошибочными значениями в столбце `dob_years` относительно общего объёма датасета мала (0.47%). Таким образом, ни удаление этих строк из датасета, ни изменение их значений на условно правильные скорее всего не приведет к существенным искажениям данных на последующих шагах анализа.\n",
    "* Исправим аномальные значения в этом столбце, заменив их на соответствующие медианные, рассчитанные для категорий `income_type`.\n",
    "\n",
    "##### Исправление аномальных значений в столбце `dob_years`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "4a91769a",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "income_type\n",
       "безработный        38.0\n",
       "в декрете          39.0\n",
       "госслужащий        40.0\n",
       "компаньон          39.0\n",
       "пенсионер          60.0\n",
       "предприниматель    42.5\n",
       "сотрудник          39.0\n",
       "студент            22.0\n",
       "Name: dob_years, dtype: float64"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Рассчитаем медианные значения для каждого типа занятости\n",
    "median_age_by_income_type = data.groupby('income_type')['dob_years'].median()\n",
    "\n",
    "# Выводим полученные значения медиан на экран\n",
    "median_age_by_income_type"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ae3b7cbb",
   "metadata": {},
   "source": [
    "**Первоначальная версия проекта:** последовательное преобразование методом `.loc`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "241dd26f",
   "metadata": {
    "scrolled": true
   },
   "outputs": [],
   "source": [
    "# Произведем замену нулевых значений в столбце `dob_years` на соответствующие медианные для каждого типа занятости\n",
    "\n",
    "# Заполнение пропусков в категории 'сотрудник' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'сотрудник'), 'dob_years'] = 39\n",
    "\n",
    "# Заполнение пропусков в категории 'пенсионер' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'пенсионер'), 'dob_years'] = 60\n",
    "\n",
    "# Заполнение пропусков в категории 'компаньон' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'компаньон'), 'dob_years'] = 39\n",
    "\n",
    "# Заполнение пропусков в категории 'госслужащий' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'госслужащий'), 'dob_years'] = 40\n",
    "\n",
    "# Заполнение пропусков в категории 'предприниматель' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'предприниматель'), 'dob_years'] = 42.5\n",
    "\n",
    "# Заполнение пропусков в категории 'безработный' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'безработный'), 'dob_years'] = 38\n",
    "\n",
    "# Заполнение пропусков в категории 'студент' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'студент'), 'dob_years'] = 22\n",
    "\n",
    "# Заполнение пропусков в категории 'в декрете' медианными значениями\n",
    "#data.loc[(data['dob_years'] == 0) & (data['income_type'] == 'в декрете'), 'dob_years'] = 39\n",
    "\n",
    "# Проверка преобразования - выводим на экран уникальные значения `dob_years`\n",
    "#data['dob_years'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3d4a374b",
   "metadata": {},
   "source": [
    "**Поздняя версия проекта:** использование собственной фукнции `replace_zero_age(row)`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "d8fcb20f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([42., 36., 33., 32., 53., 27., 43., 50., 35., 41., 40., 65., 54.,\n",
       "       56., 26., 48., 24., 21., 57., 67., 28., 63., 62., 47., 34., 68.,\n",
       "       25., 31., 30., 20., 49., 37., 45., 61., 64., 44., 52., 46., 23.,\n",
       "       38., 39., 51., 60., 59., 29., 55., 58., 71., 22., 73., 66., 69.,\n",
       "       19., 72., 70., 74., 75.])"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Функция для замены нулевых значений 'dob_years' на медианные значения по 'income_type'\n",
    "def replace_zero_age(row):\n",
    "    if row['dob_years'] == 0:\n",
    "        return median_age_by_income_type[row['income_type']]\n",
    "    return row['dob_years']\n",
    "\n",
    "# Применяем функцию к датафрейму для замены нулевых значений\n",
    "data['dob_years'] = data.apply(replace_zero_age, axis=1)\n",
    "\n",
    "# Проверяем рузультат работы функции\n",
    "data['dob_years'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "61246e4a",
   "metadata": {},
   "source": [
    "##### Вывод по подразделу 5.2.3\n",
    "\n",
    "✅ Артефакты в столбце `dob_years` устранены."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c8cfc2da",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-dob_years) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3948d9d6",
   "metadata": {},
   "source": [
    "#### Проверка столбца `education`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `education`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "580fc9bd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['высшее', 'среднее', 'Среднее', 'СРЕДНЕЕ', 'ВЫСШЕЕ',\n",
       "       'неоконченное высшее', 'начальное', 'Высшее',\n",
       "       'НЕОКОНЧЕННОЕ ВЫСШЕЕ', 'Неоконченное высшее', 'НАЧАЛЬНОЕ',\n",
       "       'Начальное', 'Ученая степень', 'УЧЕНАЯ СТЕПЕНЬ', 'ученая степень'],\n",
       "      dtype=object)"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `education`\n",
    "data['education'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c9dee929",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `education` обнаружены аномальные значения: в наименованиях категорий образования используются строчные и прописные буквы из-за чего возникает дублирование категорий при категоризации данных по этому параметру. Для исправления этого сделаем все значения в этом столбце строчными.\n",
    "\n",
    "##### Исправление аномальных значений в столбце `education`\n",
    "\n",
    "Задание 14. Обработайте неявные дубликаты в столбце `education`. В этом столбце есть одни и те же значения, но записанные по-разному: с использованием заглавных и строчных букв. Приведите их к нижнему регистру."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "04dee492",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['высшее', 'среднее', 'неоконченное высшее', 'начальное',\n",
       "       'ученая степень'], dtype=object)"
      ]
     },
     "execution_count": 42,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Приводим все значения в столбце `education` к нижнему регистру\n",
    "data['education'] = data['education'].str.lower()\n",
    "\n",
    "# Проверяем результат\n",
    "data['education'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3871f5ca",
   "metadata": {},
   "source": [
    "##### Вывод по подразделу 5.2.4\n",
    "\n",
    "✅ Артефакты в столбце `education` устранены."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "812f5d30",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-education) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9c84ddcb",
   "metadata": {},
   "source": [
    "#### Проверка столбца `education_id`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `education_id`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "390bbdb6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0, 1, 2, 3, 4], dtype=int64)"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `education_id`\n",
    "data['education_id'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f4037c21",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `education_id` не обнаружены аномальные значения, количество значений — 5 соответствует количеству истинно уникальных категорий в столбце `education` (ранее, при [обзоре датасета](#Выводы-по-разделу) было выявлено 3 категории):\n",
    "* `education_id = 0` - высшее;\n",
    "* `education_id = 1` - среднее;\n",
    "* `education_id = 2` - неоконченное высшее.\n",
    "\n",
    "Дополнительно требуется установить соответствие между оставшимися значениями `education_id` (3 и 4) и категориями `начальное` и `ученая степень`. Для этого отфильтруем датасет по соответствующим значениями столбца `education_id` и выведем на экран соответствующие строки."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "af0d1c0d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>0</td>\n",
       "      <td>1682.083438</td>\n",
       "      <td>47.0</td>\n",
       "      <td>начальное</td>\n",
       "      <td>3</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>275485.684538</td>\n",
       "      <td>жилье</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years  education  education_id  \\\n",
       "31         0    1682.083438       47.0  начальное             3   \n",
       "\n",
       "      family_status  family_status_id gender income_type  debt   total_income  \\\n",
       "31  женат / замужем                 0      F   сотрудник     0  275485.684538   \n",
       "\n",
       "   purpose  \n",
       "31   жилье  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>2963</th>\n",
       "      <td>0</td>\n",
       "      <td>337584.81556</td>\n",
       "      <td>69.0</td>\n",
       "      <td>ученая степень</td>\n",
       "      <td>4</td>\n",
       "      <td>женат / замужем</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>98752.495442</td>\n",
       "      <td>покупка жилой недвижимости</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      children  days_employed  dob_years       education  education_id  \\\n",
       "2963         0   337584.81556       69.0  ученая степень             4   \n",
       "\n",
       "        family_status  family_status_id gender income_type  debt  \\\n",
       "2963  женат / замужем                 0      M   пенсионер     0   \n",
       "\n",
       "      total_income                     purpose  \n",
       "2963  98752.495442  покупка жилой недвижимости  "
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выводим на экран строки датасета c `education_id = 3, 4`, чтобы узнать соответствующее значение в столбце `education`\n",
    "display(data[data['education_id'] == 3].head(1))\n",
    "data[data['education_id'] == 4].head(1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ba3c104c",
   "metadata": {},
   "source": [
    "##### Выводы по подразделу 5.2.5\n",
    "\n",
    "✅ Артефакты в столбце `education_id` отсутствуют.\n",
    "\n",
    "Полный набор значений в столбце `education` для соответствующих `education_id` выглядит так:\n",
    "- `education_id = 0` - высшее;\n",
    "- `education_id = 1` - среднее;\n",
    "- `education_id = 2` - неоконченное высшее;\n",
    "- `education_id = 3` - начальное;\n",
    "- `education_id = 4` - ученая степень."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2cac7124",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-education_id) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "df48fe19",
   "metadata": {},
   "source": [
    "#### Проверка столбца `family_status`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `family_status`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "0f3314de",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['женат / замужем', 'гражданский брак', 'вдовец / вдова',\n",
       "       'в разводе', 'Не женат / не замужем'], dtype=object)"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `family_status`\n",
    "data['family_status'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a3f5c74f",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `family_status` не обнаружены аномальные значения. Следует заменить прописную букву строчной в значениях `Не женат / не замужем`.\n",
    "\n",
    "##### Исправление аномальных значений в столбце `family_status`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "f3b77ba7",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['женат / замужем', 'гражданский брак', 'вдовец / вдова',\n",
       "       'в разводе', 'не женат / не замужем'], dtype=object)"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Приводим все значения столбца `family_status` к нижнему регистру\n",
    "data['family_status'] = data['family_status'].str.lower()\n",
    "\n",
    "# Проверяем результат преобразования\n",
    "data['family_status'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0f9a2385",
   "metadata": {},
   "source": [
    "##### Вывод по подразделу 5.2.6\n",
    "\n",
    "✅ Артефакты в столбце `family_status` отсутствуют."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "591a53f7",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-family_status) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "30721fd8",
   "metadata": {},
   "source": [
    "#### Проверка столбца `family_status_id`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `family_status_id`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "a06a73d9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0, 1, 2, 3, 4], dtype=int64)"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `family_status_id`\n",
    "data['family_status_id'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9a745d0e",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `family_status_id` не обнаружены аномальные значения, количество значений — 5 соответствует количеству истинно уникальных категорий в столбце `family_status` (ранее, при [обзоре датасета](#Выводы-по-разделу) было выявлено 2 категории):\n",
    "* `family_status_id = 0` - женат / замужем;\n",
    "* `family_status_id = 1` - гражданский брак;\n",
    "\n",
    "Дополнительно требуется установить соответствие между оставшимися значениями `family_status_id` (2, 3 и 4) и категориями `вдовец / вдова`, `в разводе` и `Не женат / не замужем`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "341476f7",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>0</td>\n",
       "      <td>400281.136913</td>\n",
       "      <td>53.0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "      <td>2</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>56823.777243</td>\n",
       "      <td>на покупку подержанного автомобиля</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id  \\\n",
       "18         0  400281.136913       53.0   среднее             1   \n",
       "\n",
       "     family_status  family_status_id gender income_type  debt  total_income  \\\n",
       "18  вдовец / вдова                 2      F   пенсионер     0  56823.777243   \n",
       "\n",
       "                               purpose  \n",
       "18  на покупку подержанного автомобиля  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>0</td>\n",
       "      <td>10038.818549</td>\n",
       "      <td>48.0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>в разводе</td>\n",
       "      <td>3</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>242831.107982</td>\n",
       "      <td>на покупку своего автомобиля</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id family_status  \\\n",
       "19         0   10038.818549       48.0   среднее             1     в разводе   \n",
       "\n",
       "    family_status_id gender income_type  debt   total_income  \\\n",
       "19                 3      F   сотрудник     0  242831.107982   \n",
       "\n",
       "                         purpose  \n",
       "19  на покупку своего автомобиля  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>1</td>\n",
       "      <td>338551.952911</td>\n",
       "      <td>57.0</td>\n",
       "      <td>среднее</td>\n",
       "      <td>1</td>\n",
       "      <td>не женат / не замужем</td>\n",
       "      <td>4</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>290547.235997</td>\n",
       "      <td>операции с коммерческой недвижимостью</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    children  days_employed  dob_years education  education_id  \\\n",
       "24         1  338551.952911       57.0   среднее             1   \n",
       "\n",
       "            family_status  family_status_id gender income_type  debt  \\\n",
       "24  не женат / не замужем                 4      F   пенсионер     0   \n",
       "\n",
       "     total_income                                purpose  \n",
       "24  290547.235997  операции с коммерческой недвижимостью  "
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выводим на экран строки датасета c `family_status_id = 2, 3, 4`, чтобы узнать соответствующее значение в столбце `family_status`\n",
    "display(data[data['family_status_id'] == 2].head(1))\n",
    "display(data[data['family_status_id'] == 3].head(1))\n",
    "data[data['family_status_id'] == 4].head(1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "59737b13",
   "metadata": {},
   "source": [
    "##### Выводы по подразделу 5.2.7\n",
    "\n",
    "✅ Артефакты в столбце `family_status_id` отсутствуют.\n",
    "\n",
    "Полный набор значений в столбце `family_status` для соответствующих `family_status_id` выглядит так:\n",
    "* `family_status_id = 0` - женат / замужем;\n",
    "* `family_status_id = 1` - гражданский брак;\n",
    "* `family_status_id = 2` - вдовец / вдова;\n",
    "* `family_status_id = 3` - в разводе;\n",
    "* `family_status_id = 4` - Не женат / не замужем."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3bfcfff",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-family_status_id) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "98fcbae4",
   "metadata": {},
   "source": [
    "#### Проверка столбца `gender`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `gender`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "a855ef7a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['F', 'M', 'XNA'], dtype=object)"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `gender`\n",
    "data['gender'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9a2d1027",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `gender` обнаружены `XNA`. Необходимо выяснить, что они значат.\n",
    "\n",
    "##### Анализ аномальных значений в столбце `gender`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "50b2e7f1",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>10701</th>\n",
       "      <td>0</td>\n",
       "      <td>2358.600502</td>\n",
       "      <td>24.0</td>\n",
       "      <td>неоконченное высшее</td>\n",
       "      <td>2</td>\n",
       "      <td>гражданский брак</td>\n",
       "      <td>1</td>\n",
       "      <td>XNA</td>\n",
       "      <td>компаньон</td>\n",
       "      <td>0</td>\n",
       "      <td>203905.157261</td>\n",
       "      <td>покупка недвижимости</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       children  days_employed  dob_years            education  education_id  \\\n",
       "10701         0    2358.600502       24.0  неоконченное высшее             2   \n",
       "\n",
       "          family_status  family_status_id gender income_type  debt  \\\n",
       "10701  гражданский брак                 1    XNA   компаньон     0   \n",
       "\n",
       "        total_income               purpose  \n",
       "10701  203905.157261  покупка недвижимости  "
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Фильтруем в новый датасет строки со значением `gender = XNA`\n",
    "gender_XNA = data[data['gender'] == 'XNA']\n",
    "\n",
    "# Выводим на экран строку полученного датасета, чтобы узнать соответствующее значение в столбце `education`\n",
    "gender_XNA"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dea757d3",
   "metadata": {},
   "source": [
    "**Вывод**\n",
    "\n",
    "В датасете содержится всего одна строка, содержащая некорректное значение столбца `gender`. Её исключение не окажет существенного влияния на результат исследования.\n",
    "\n",
    "##### Исправление аномальных значений в столбце `gender`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "id": "7b8b7155",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['F', 'M'], dtype=object)"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Удаляем из датафрейма строку с аномальным значением\n",
    "data = data[data['gender'] != 'XNA']\n",
    "\n",
    "# Проверяем результат преобразования\n",
    "data['gender'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "68481844",
   "metadata": {},
   "source": [
    "##### Выводы по подразделу 5.2.8\n",
    "\n",
    "✅ Артефакты в столбце `gender` устранены."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "844e9eaa",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-gender) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e5ca5758",
   "metadata": {},
   "source": [
    "#### Проверка столбца `income_type`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `income_type`\n",
    "\n",
    "Проверка столбца `income_type` была проведена ранее (см. [пп. 5.1.3.1](#Получение-уникальных-значений-в-столбце-income_type)).\n",
    "\n",
    "##### Выводы по подразделу 5.2.9\n",
    "\n",
    "✅ Артефакты в столбце `income_type` отсутствуют."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4fe622eb",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-income_type) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d751dcbf",
   "metadata": {},
   "source": [
    "#### Проверка столбца `debt`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `debt`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "3bfb6ce7",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0, 1], dtype=int64)"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `debt`\n",
    "data['debt'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "079ddd9b",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `debt` не обнаружены аномальные значения.\n",
    "\n",
    "##### Вывод по подразделу 5.2.10\n",
    "\n",
    "✅ Артефакты в столбце `debt` отсутствуют."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "66c33267",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-debt) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "489a532b",
   "metadata": {},
   "source": [
    "#### Проверка столбца `total_income`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `total_income`\n",
    "\n",
    "Ранее в [пп. 5.1.1](#Нахождение-пропусков) были выявлены пропуски в столбце `total_income` и заполнены медианными значениями в соответствии с типом занятости (см. [пп. 5.1.3](#Заполнение-пропусков-в-столбце-total_income)).\n",
    "\n",
    "\n",
    "##### Вывод по подразделу 5.2.11\n",
    "\n",
    "✅ Артефакты в столбце `total_income` отсутствуют."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b930a98a",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-total_income) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bda742f2",
   "metadata": {},
   "source": [
    "#### Проверка столбца `purpose`\n",
    "\n",
    "##### Поиск аномальных значений в столбце `purpose`\n",
    "\n",
    "Задание 17. Выведите на экран перечень уникальных целей взятия кредита из столбца `purpose`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "id": "aa5351f2",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['покупка жилья', 'приобретение автомобиля',\n",
       "       'дополнительное образование', 'сыграть свадьбу',\n",
       "       'операции с жильем', 'образование', 'на проведение свадьбы',\n",
       "       'покупка жилья для семьи', 'покупка недвижимости',\n",
       "       'покупка коммерческой недвижимости', 'покупка жилой недвижимости',\n",
       "       'строительство собственной недвижимости', 'недвижимость',\n",
       "       'строительство недвижимости', 'на покупку подержанного автомобиля',\n",
       "       'на покупку своего автомобиля',\n",
       "       'операции с коммерческой недвижимостью',\n",
       "       'строительство жилой недвижимости', 'жилье',\n",
       "       'операции со своей недвижимостью', 'автомобили',\n",
       "       'заняться образованием', 'сделка с подержанным автомобилем',\n",
       "       'получение образования', 'автомобиль', 'свадьба',\n",
       "       'получение дополнительного образования', 'покупка своего жилья',\n",
       "       'операции с недвижимостью', 'получение высшего образования',\n",
       "       'свой автомобиль', 'сделка с автомобилем',\n",
       "       'профильное образование', 'высшее образование',\n",
       "       'покупка жилья для сдачи', 'на покупку автомобиля', 'ремонт жилью',\n",
       "       'заняться высшим образованием'], dtype=object)"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Выведем на экран все уникальные значения столбца `purpose`\n",
    "data['purpose'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1b39b048",
   "metadata": {},
   "source": [
    "**Результат проверки:** в наборе значений столбца `purpose` выявлены множественные неявные повторы (напр. 'покупка жилья', 'операции с жильем', 'покупка жилья для семьи' и т. д.).\n",
    "\n",
    "\n",
    "##### Выводы по подразделу 5.2.12\n",
    "\n",
    "✅ В столбце `purpose` содержатся множественные неявные повторы. Требуется категоризировать данные этого столбца по укрупнённым категориям, чтобы они не искажали анализ данных."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "429187a0",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Проверка-столбца-purpose) | [В начало раздела](#Проверка-данных-на-аномалии-и-исправления) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5fae1d71",
   "metadata": {},
   "source": [
    "### Изменение типов данных\n",
    "\n",
    "#### Замена типа данных в столбце `total_income`\n",
    "\n",
    "Задание 13. Замените вещественный тип данных в столбце `total_income` на целочисленный с помощью метода `astype()`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "bd19672f",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 21401 entries, 0 to 21524\n",
      "Data columns (total 12 columns):\n",
      " #   Column            Non-Null Count  Dtype  \n",
      "---  ------            --------------  -----  \n",
      " 0   children          21401 non-null  int64  \n",
      " 1   days_employed     21401 non-null  float64\n",
      " 2   dob_years         21401 non-null  float64\n",
      " 3   education         21401 non-null  object \n",
      " 4   education_id      21401 non-null  int64  \n",
      " 5   family_status     21401 non-null  object \n",
      " 6   family_status_id  21401 non-null  int64  \n",
      " 7   gender            21401 non-null  object \n",
      " 8   income_type       21401 non-null  object \n",
      " 9   debt              21401 non-null  int64  \n",
      " 10  total_income      21401 non-null  int32  \n",
      " 11  purpose           21401 non-null  object \n",
      "dtypes: float64(2), int32(1), int64(4), object(5)\n",
      "memory usage: 2.0+ MB\n"
     ]
    }
   ],
   "source": [
    "# Заменяем вещественный тип данных в столбце `total_income` на целочисленный c помощью метода astype()\n",
    "data['total_income'] = data['total_income'].astype('int')\n",
    "\n",
    "# Проверяем результат преобразования\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "83dff43b",
   "metadata": {},
   "source": [
    "#### Вывод по подразделу 5.3\n",
    "\n",
    "✅ Вещественный тип данных в столбце `total_income` успешно заменен на целочисленный."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ffe89570",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Замена-типа-данных-в-столбце-total_income) | [В начало раздела](#Изменение-типов-данных) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c17af251",
   "metadata": {},
   "source": [
    "### Удаление строк-дубликатов в данных\n",
    "\n",
    "Задание 15. Выведите на экран количество строк-дубликатов в данных. Если такие строки присутствуют, удалите их. Сбрасывать индексы после удаления строк дубликатов с помощью `reset_index(drop=True)` здесь не требуется.\n",
    "\n",
    "#### Поиск строк-дубликатов в данных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "id": "a5f417b6",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Обнаружено явных дубликатов в датафрейме: 71\n",
      "Доля строк-дубликатов от общего количества строк в датасете: 0.3318%\n"
     ]
    }
   ],
   "source": [
    "# Выводим на экран количество строк-дубликатов в данных\n",
    "print('Обнаружено явных дубликатов в датафрейме:', data.duplicated().sum())\n",
    "\n",
    "# Находим долю строк-дубликатов от общего количества строк в датасете\n",
    "duplicated_share = data.duplicated().sum() / len(data)\n",
    "\n",
    "# Выводим на экран долю строк-дубликатов от общего количества строк в датасете \n",
    "print(f'Доля строк-дубликатов от общего количества строк в датасете: {duplicated_share:.4%}')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ae6834d1",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "a0ea1142",
   "metadata": {},
   "source": [
    "**Результат проверки:** в датафрейме выявлено всего 71 строк-дубликатов, что составляет 0,33% от объёма данных. Строки-дубликаты могут быть удалены, так как это не окажет существенного влияния на анализ данных.\n",
    "\n",
    "#### Удаление строк-дубликатов в данных"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "id": "8bc1d713",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Удаляем явные дубликаты\n",
    "data = data.drop_duplicates()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2b7e1de2",
   "metadata": {},
   "source": [
    "#### Вывод по подразделу 5.4\n",
    "\n",
    "✅ Датафрейм очищен от строк-дубликатов."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d2094555",
   "metadata": {},
   "source": [
    "[В начало раздела](#Удаление-строк-дубликатов-в-данных) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8a1d4225",
   "metadata": {},
   "source": [
    "### Декомпозиция исходного датафрейма. Формирование дополнительных датафреймов словарей\n",
    "\n",
    "#### Уточнение значений категорий содержащихся в столбцах `education` и `family_status`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "id": "1c25df05",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "среднее                15075\n",
       "высшее                  5227\n",
       "неоконченное высшее      740\n",
       "начальное                282\n",
       "ученая степень             6\n",
       "Name: education, dtype: int64"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data['education'].value_counts().head(15)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "id": "9793b757",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "женат / замужем          12261\n",
       "гражданский брак          4133\n",
       "не женат / не замужем     2796\n",
       "в разводе                 1189\n",
       "вдовец / вдова             951\n",
       "Name: family_status, dtype: int64"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data['family_status'].value_counts().head(15)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a9837e04",
   "metadata": {},
   "source": [
    "Неявные дубликаты в этих столбцах были удалены нами ранее (см. пп. [5.2.4.2](#Исправление-аномальных-значений-в-столбце-education) и [5.2.6.2](#Исправление-аномальных-значений-в-столбце-family_status))\n",
    "\n",
    "#### Создание датафреймов \"словарей\" для хранения категорий `education` и `family_status`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "id": "31ba1f18",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>education_id</th>\n",
       "      <th>education</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>высшее</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>среднее</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>неоконченное высшее</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>начальное</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>ученая степень</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   education_id            education\n",
       "0             0               высшее\n",
       "1             1              среднее\n",
       "2             2  неоконченное высшее\n",
       "3             3            начальное\n",
       "4             4       ученая степень"
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# \"Вырезаем\" из исходного датафрейма столбцы 'education_id','education'\n",
    "# и формируем из них новый датафрем \"словарь\"\n",
    "education_dict = data[['education_id','education']]\n",
    "\n",
    "# Удаляем из созданного \"словаря\" повторяющиеся значения\n",
    "education_dict = education_dict.drop_duplicates().reset_index(drop=True)\n",
    "\n",
    "# Проверяем результат\n",
    "education_dict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "id": "c74ea444",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>family_status</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>женат / замужем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>гражданский брак</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2</td>\n",
       "      <td>вдовец / вдова</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>в разводе</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>4</td>\n",
       "      <td>не женат / не замужем</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   family_status_id          family_status\n",
       "0                 0        женат / замужем\n",
       "1                 1       гражданский брак\n",
       "2                 2         вдовец / вдова\n",
       "3                 3              в разводе\n",
       "4                 4  не женат / не замужем"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# \"Вырезаем\" из исходного датафрейма столбцы 'family_status_id','family_status'\n",
    "# и формируем из них новый датафрем \"словарь\"\n",
    "family_status_dict = data[['family_status_id','family_status']]\n",
    "\n",
    "# Удаляем из созданного \"словаря\" повторяющиеся значения\n",
    "family_status_dict = family_status_dict.drop_duplicates().reset_index(drop=True)\n",
    "\n",
    "# проверяем результат\n",
    "family_status_dict"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f4decb5e",
   "metadata": {},
   "source": [
    "#### Удаление столбцов `education` и `family_status` из исходного датафрейма"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "id": "b83c852c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "Int64Index: 21330 entries, 0 to 21524\n",
      "Data columns (total 10 columns):\n",
      " #   Column            Non-Null Count  Dtype  \n",
      "---  ------            --------------  -----  \n",
      " 0   children          21330 non-null  int64  \n",
      " 1   days_employed     21330 non-null  float64\n",
      " 2   dob_years         21330 non-null  float64\n",
      " 3   education_id      21330 non-null  int64  \n",
      " 4   family_status_id  21330 non-null  int64  \n",
      " 5   gender            21330 non-null  object \n",
      " 6   income_type       21330 non-null  object \n",
      " 7   debt              21330 non-null  int64  \n",
      " 8   total_income      21330 non-null  int32  \n",
      " 9   purpose           21330 non-null  object \n",
      "dtypes: float64(2), int32(1), int64(4), object(3)\n",
      "memory usage: 1.7+ MB\n"
     ]
    }
   ],
   "source": [
    "# Удаляем столбцы из датафрейма\n",
    "data = data.drop(['education', 'family_status'], axis=1)\n",
    "\n",
    "# Проверяем результат удаления\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "34de2259",
   "metadata": {},
   "source": [
    "#### Вывод по подразделу 5.5\n",
    "\n",
    "✅ Созданы датафреймы-словари `education_dict` и `family_status_dict` которые можно использовать как справочники для основной таблицы, связанные с ней по полю-идентификатору соответствующего статуса. Это позволило очистить исходный датасет от неиспользуемых в анализе данных и сделать его более компактным и удобным для анализа."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0b693581",
   "metadata": {},
   "source": [
    "[В начало раздела](#Декомпозиция-исходного-датафрейма.-Формирование-дополнительных-датафреймов-словарей) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3f46e28",
   "metadata": {},
   "source": [
    "### Категоризация дохода\n",
    "\n",
    "Задание 16. На основании диапазонов, указанных ниже, создайте в датафрейме `data` столбец `total_income_category` с категориями:\n",
    "- 0–30000 — `'E'`;\n",
    "- 30001–50000 — `'D'`;\n",
    "- 50001–200000 — `'C'`;\n",
    "- 200001–1000000 — `'B'`;\n",
    "- 1000001 и выше — `'A'`.\n",
    "\n",
    "</br></br>\n",
    "Например, кредитополучателю с доходом 25000 нужно назначить категорию `'E'`, а клиенту, получающему 235000, — `'B'`.\n",
    "\n",
    "#### Создание функции `set_income_category`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "id": "c72ae0d8",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Создаем функцию для категоризации дохода\n",
    "def set_income_category(row):\n",
    "    total_income = row['total_income']\n",
    "    if total_income <= 30000 and total_income >= 0:\n",
    "        return 'E'\n",
    "    if total_income <= 50000 and total_income >= 30001:\n",
    "        return 'D'\n",
    "    if total_income <= 200000 and total_income >= 50001:\n",
    "        return 'C'\n",
    "    if total_income <= 1000000 and total_income >= 200001:\n",
    "        return 'B'\n",
    "    if total_income > 1000001:\n",
    "        return 'A'"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5f1c3de3",
   "metadata": {},
   "source": [
    "#### Добавление в датафрейм столбца с категорией дохода"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "id": "0db255fb",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "      <th>total_income_category</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>8437.673028</td>\n",
       "      <td>42.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>253875</td>\n",
       "      <td>покупка жилья</td>\n",
       "      <td>B</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>4024.803754</td>\n",
       "      <td>36.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>112080</td>\n",
       "      <td>приобретение автомобиля</td>\n",
       "      <td>C</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>5623.422610</td>\n",
       "      <td>33.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>145885</td>\n",
       "      <td>покупка жилья</td>\n",
       "      <td>C</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>4124.747207</td>\n",
       "      <td>32.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>267628</td>\n",
       "      <td>дополнительное образование</td>\n",
       "      <td>B</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>340266.072047</td>\n",
       "      <td>53.0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>158616</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "      <td>C</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   children  days_employed  dob_years  education_id  family_status_id gender  \\\n",
       "0         1    8437.673028       42.0             0                 0      F   \n",
       "1         1    4024.803754       36.0             1                 0      F   \n",
       "2         0    5623.422610       33.0             1                 0      M   \n",
       "3         3    4124.747207       32.0             1                 0      M   \n",
       "4         0  340266.072047       53.0             1                 1      F   \n",
       "\n",
       "  income_type  debt  total_income                     purpose  \\\n",
       "0   сотрудник     0        253875               покупка жилья   \n",
       "1   сотрудник     0        112080     приобретение автомобиля   \n",
       "2   сотрудник     0        145885               покупка жилья   \n",
       "3   сотрудник     0        267628  дополнительное образование   \n",
       "4   пенсионер     0        158616             сыграть свадьбу   \n",
       "\n",
       "  total_income_category  \n",
       "0                     B  \n",
       "1                     C  \n",
       "2                     C  \n",
       "3                     B  \n",
       "4                     C  "
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Добавляем в исходный датафрейм столбец с категориями дохода\n",
    "data['total_income_category'] = data.apply(set_income_category, axis=1)\n",
    "\n",
    "# Проверяем результат\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a06a1ccc",
   "metadata": {},
   "source": [
    "#### Вывод по подразделу 5.6\n",
    "\n",
    "✅ Создана функция `set_income_category` с помощью которой в датафрейм добавляется столбец `total_income_category` с категориями дохода."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bc26aa77",
   "metadata": {},
   "source": [
    "[В начало раздела](#Категоризация-дохода) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c6037322",
   "metadata": {},
   "source": [
    "### Категоризация целей кредита\n",
    "\n",
    "Задание 18. Создайте функцию, которая на основании данных из столбца `purpose` сформирует новый столбец `purpose_category`, куда войдут следующие категории:\n",
    "- `'операции с автомобилем'`,\n",
    "- `'операции с недвижимостью'`,\n",
    "- `'проведение свадьбы'`,\n",
    "- `'получение образования'`.\n",
    "\n",
    "</br></br>\n",
    "Например, если в столбце purpose находится подстрока `'на покупку автомобиля'`, то в столбце `purpose_category` должна появиться строка `'операции с автомобилем'`.\n",
    "\n",
    "Используйте собственную функцию с именем `categorize_purpose()` и метод `apply()`. Изучите данные в столбце `purpose` и определите, какие подстроки помогут вам правильно определить категорию.\n",
    "\n",
    "#### Изучение столбца `purpose` и выделение подстрок для определения категории\n",
    "\n",
    "По результатам проверки столбца `purpose` (см. [пп. 5.2.12](#Проверка-столбца-purpose)) были сформированы наборы уникальных значений целей кредитования для группировки по 4 основным категориям, приведённые в таблице:\n",
    "\n",
    "<table style = \"width: 100%; margin-bottom: 20px; border: 1px solid #dddddd; border-collapse: collapse\">\n",
    "    <thead style = \"background: #efefef; border: 1px solid #dddddd\">\n",
    "        <tr>\n",
    "            <th style = \"width: 25%; text-align: center\">Категория</th>\n",
    "            <th style = \"text-align: center\">Значения в столбце 'purpose'</th>\n",
    "        </tr>    \n",
    "    </thead>\n",
    "    <tbody>\n",
    "        <tr>\n",
    "            <td style = \"text-align: left\">операции с автомобилем</td>\n",
    "            <td style = \"text-align: left\">'приобретение автомобиля', 'на покупку подержанного автомобиля', 'на покупку своего автомобиля', 'автомобили', 'сделка с подержанным автомобилем', 'автомобиль', 'свой автомобиль', 'сделка с автомобилем', 'на покупку автомобиля'</td>\n",
    "        </tr>\n",
    "        <tr>\n",
    "            <td style = \"text-align: left\">операции с недвижимостью</td>\n",
    "            <td style = \"text-align: left\">'покупка жилья', 'операции с жильем', 'покупка жилья для семьи', 'покупка недвижимости', 'покупка коммерческой недвижимости', 'покупка жилой недвижимости', 'строительство собственной недвижимости', 'недвижимость', 'строительство недвижимости', 'операции с коммерческой недвижимостью', 'строительство жилой недвижимости', 'жилье', 'операции со своей недвижимостью', 'покупка своего жилья', 'операции с недвижимостью', 'покупка жилья для сдачи', 'ремонт жилью'</td>\n",
    "    </tr>\n",
    "    <tr>\n",
    "      <td style = \"text-align: left\">проведение свадьбы</td>\n",
    "      <td style = \"text-align: left\">'сыграть свадьбу', 'на проведение свадьбы', 'свадьба'</td>\n",
    "    </tr>    \n",
    "    <tr>\n",
    "      <td style = \"text-align: left\">получение образования</td>\n",
    "      <td style = \"text-align: left\">'дополнительное образование', 'образование', 'заняться образованием', 'получение образования', 'получение дополнительного образования', 'получение высшего образования', 'профильное образование', 'высшее образование', 'заняться высшим образованием'</td>\n",
    "    </tr>\n",
    "    </tbody>    \n",
    "</table>\n",
    "\n",
    "\n",
    "На основании этих наборов сформируем список ключевых слов, по которым с помощью функции будем разделять исходный датафрейм по категориям целей кредитования:\n",
    "\n",
    "<table style = \"width: 100%; margin-bottom: 20px; border: 1px solid #dddddd; border-collapse: collapse\">\n",
    "    <thead style = \"background: #efefef; border: 1px solid #dddddd\">\n",
    "        <tr>\n",
    "            <th style = \"width: 25%; text-align: center\">Категория</th>\n",
    "            <th style = \"text-align: center\">Подстрока</th>\n",
    "        </tr>    \n",
    "    </thead>\n",
    "    <tbody>\n",
    "        <tr>\n",
    "            <td style = \"text-align: left\">операции с автомобилем</td>\n",
    "            <td style = \"text-align: left\">\"автомобил\"</td>\n",
    "        </tr>\n",
    "        <tr>\n",
    "            <td style = \"text-align: left\">операции с недвижимостью</td>\n",
    "            <td style = \"text-align: left\">\"жил\" и \"недвиж\"</td>\n",
    "    </tr>\n",
    "    <tr>\n",
    "      <td style = \"text-align: left\">проведение свадьбы</td>\n",
    "      <td style = \"text-align: left\">\"свадьб\"</td>\n",
    "    </tr>    \n",
    "    <tr>\n",
    "      <td style = \"text-align: left\">получение образования</td>\n",
    "      <td style = \"text-align: left\">\"образ\"</td>\n",
    "    </tr>\n",
    "    </tbody>    \n",
    "</table>\n",
    "\n",
    "#### Функция для категоризации целей кредитования по ключевым словам"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "id": "a0184a3e",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Создаем функцию для категоризации целей кредитования\n",
    "def purpose_category(list):\n",
    "    if \"автомобил\" in list:\n",
    "        return \"операции с автомобилем\"\n",
    "    if \"жил\" in list or \"недвиж\" in list:\n",
    "        return \"операции с недвижимостью\"\n",
    "    if \"свадьб\" in list:\n",
    "        return \"проведение свадьбы\"\n",
    "    if \"образ\" in list:\n",
    "        return \"получение образования\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e0a43718",
   "metadata": {},
   "source": [
    "#### Категоризация датафрейма по целям кредитования"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "id": "30a1a8dc",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>children</th>\n",
       "      <th>days_employed</th>\n",
       "      <th>dob_years</th>\n",
       "      <th>education_id</th>\n",
       "      <th>family_status_id</th>\n",
       "      <th>gender</th>\n",
       "      <th>income_type</th>\n",
       "      <th>debt</th>\n",
       "      <th>total_income</th>\n",
       "      <th>purpose</th>\n",
       "      <th>total_income_category</th>\n",
       "      <th>purpose_category</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1</td>\n",
       "      <td>8437.673028</td>\n",
       "      <td>42.0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>253875</td>\n",
       "      <td>покупка жилья</td>\n",
       "      <td>B</td>\n",
       "      <td>операции с недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1</td>\n",
       "      <td>4024.803754</td>\n",
       "      <td>36.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>F</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>112080</td>\n",
       "      <td>приобретение автомобиля</td>\n",
       "      <td>C</td>\n",
       "      <td>операции с автомобилем</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>5623.422610</td>\n",
       "      <td>33.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>145885</td>\n",
       "      <td>покупка жилья</td>\n",
       "      <td>C</td>\n",
       "      <td>операции с недвижимостью</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>3</td>\n",
       "      <td>4124.747207</td>\n",
       "      <td>32.0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>M</td>\n",
       "      <td>сотрудник</td>\n",
       "      <td>0</td>\n",
       "      <td>267628</td>\n",
       "      <td>дополнительное образование</td>\n",
       "      <td>B</td>\n",
       "      <td>получение образования</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>340266.072047</td>\n",
       "      <td>53.0</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>F</td>\n",
       "      <td>пенсионер</td>\n",
       "      <td>0</td>\n",
       "      <td>158616</td>\n",
       "      <td>сыграть свадьбу</td>\n",
       "      <td>C</td>\n",
       "      <td>проведение свадьбы</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   children  days_employed  dob_years  education_id  family_status_id gender  \\\n",
       "0         1    8437.673028       42.0             0                 0      F   \n",
       "1         1    4024.803754       36.0             1                 0      F   \n",
       "2         0    5623.422610       33.0             1                 0      M   \n",
       "3         3    4124.747207       32.0             1                 0      M   \n",
       "4         0  340266.072047       53.0             1                 1      F   \n",
       "\n",
       "  income_type  debt  total_income                     purpose  \\\n",
       "0   сотрудник     0        253875               покупка жилья   \n",
       "1   сотрудник     0        112080     приобретение автомобиля   \n",
       "2   сотрудник     0        145885               покупка жилья   \n",
       "3   сотрудник     0        267628  дополнительное образование   \n",
       "4   пенсионер     0        158616             сыграть свадьбу   \n",
       "\n",
       "  total_income_category          purpose_category  \n",
       "0                     B  операции с недвижимостью  \n",
       "1                     C    операции с автомобилем  \n",
       "2                     C  операции с недвижимостью  \n",
       "3                     B     получение образования  \n",
       "4                     C        проведение свадьбы  "
      ]
     },
     "execution_count": 65,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Добавляем в исходный датафрейм столбец с категориями целей кредитования\n",
    "data['purpose_category'] = data['purpose'].apply(purpose_category)\n",
    "\n",
    "# Проверяем результат\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ce050840",
   "metadata": {},
   "source": [
    "#### Вывод по подразделу 5.7\n",
    "\n",
    "✅ Создана функция `purpose_category` с помощью которой в датафрейм добавляется столбец `purpose_category` с категориями целей кредитования."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "716f7aba",
   "metadata": {},
   "source": [
    "[В начало раздела](#Категоризация-целей-кредита) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7611c4e0",
   "metadata": {},
   "source": [
    "## Ответы на вопросы\n",
    "\n",
    "### Вопрос 1\n",
    "\n",
    "Задание 19. Есть ли зависимость между количеством детей и возвратом кредита в срок?\n",
    "\n",
    "#### Вариант 1 (первоначальный, после ревью)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "id": "69267e70",
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>children</th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "      <th>5</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>13027.0</td>\n",
       "      <td>4364.0</td>\n",
       "      <td>1858.0</td>\n",
       "      <td>303.0</td>\n",
       "      <td>37.0</td>\n",
       "      <td>9.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1063.0</td>\n",
       "      <td>444.0</td>\n",
       "      <td>194.0</td>\n",
       "      <td>27.0</td>\n",
       "      <td>4.0</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "children        0       1       2      3     4    5\n",
       "debt                                               \n",
       "0         13027.0  4364.0  1858.0  303.0  37.0  9.0\n",
       "1          1063.0   444.0   194.0   27.0   4.0  NaN"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Количество детей: 0 | Процент невозвратов: 8.16%\n",
      "Количество детей: 1 | Процент невозвратов: 10.17%\n",
      "Количество детей: 2 | Процент невозвратов: 10.44%\n",
      "Количество детей: 3 | Процент невозвратов: 8.91%\n",
      "Количество детей: 4 | Процент невозвратов: 10.81%\n",
      "Количество детей: 5 | Процент невозвратов: nan%\n"
     ]
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу\n",
    "data_pivot_1 = data.pivot_table(index=['debt'], columns='children', values='family_status_id', aggfunc='count')\n",
    "\n",
    "# Выводим результат на экран\n",
    "display(data_pivot_1)\n",
    "\n",
    "# Выводим процент невозвратов\n",
    "for i in range(len(data['children'].unique())):\n",
    "    print(f'Количество детей: {i} |', f'Процент невозвратов: {(data_pivot_1[i][1] / data_pivot_1[i][0]):.2%}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bcd8df40",
   "metadata": {},
   "source": [
    "#### Вариант 2 (после прохождения курса)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "id": "0c42a49c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>children</th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "      <th>5</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>13027.00</td>\n",
       "      <td>4364.00</td>\n",
       "      <td>1858.00</td>\n",
       "      <td>303.00</td>\n",
       "      <td>37.00</td>\n",
       "      <td>9.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>1063.00</td>\n",
       "      <td>444.00</td>\n",
       "      <td>194.00</td>\n",
       "      <td>27.00</td>\n",
       "      <td>4.00</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ratio</th>\n",
       "      <td>8.16</td>\n",
       "      <td>10.17</td>\n",
       "      <td>10.44</td>\n",
       "      <td>8.91</td>\n",
       "      <td>10.81</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "children         0        1        2       3      4    5\n",
       "debt                                                    \n",
       "0         13027.00  4364.00  1858.00  303.00  37.00  9.0\n",
       "1          1063.00   444.00   194.00   27.00   4.00  NaN\n",
       "ratio         8.16    10.17    10.44    8.91  10.81  NaN"
      ]
     },
     "execution_count": 67,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу\n",
    "pivot_1 = data.pivot_table(index='debt',\n",
    "                           columns='children',\n",
    "                           values='family_status_id',\n",
    "                           aggfunc='count')\n",
    "\n",
    "# Добавляем строку с расчетом процента просрочек\n",
    "pivot_1.loc['ratio'] = ((pivot_1.loc[1] / pivot_1.loc[0]) * 100).round(2)\n",
    "\n",
    "# Выводим сводную таблицу на экран\n",
    "pivot_1"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5802f4d4",
   "metadata": {},
   "source": [
    "#### Ответ на вопрос 1\n",
    "\n",
    "С ростом количества детей в семье процент невозвратов (отношение количества клиентов имеющих просрочку к количеству не имеющих задолженности по кредиту) растет."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c6f1f14d",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Вопрос-1) | [В начало раздела](#Ответы-на-вопросы) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b33d047e",
   "metadata": {},
   "source": [
    "### Вопрос 2\n",
    "\n",
    "Задание 20. Есть ли зависимость между семейным положением и возвратом кредита в срок?\n",
    "\n",
    "#### Вариант 1 (первоначальный, после ревью)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "4d319afc",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>family_status_id</th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>11334</td>\n",
       "      <td>3748</td>\n",
       "      <td>888</td>\n",
       "      <td>1105</td>\n",
       "      <td>2523</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>927</td>\n",
       "      <td>385</td>\n",
       "      <td>63</td>\n",
       "      <td>84</td>\n",
       "      <td>273</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "family_status_id      0     1    2     3     4\n",
       "debt                                          \n",
       "0                 11334  3748  888  1105  2523\n",
       "1                   927   385   63    84   273"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Семейное положение: женат / замужем | Процент невозвратов: 8.18%\n",
      "Семейное положение: гражданский брак | Процент невозвратов: 10.27%\n",
      "Семейное положение: вдовец / вдова | Процент невозвратов: 7.09%\n",
      "Семейное положение: в разводе | Процент невозвратов: 7.60%\n",
      "Семейное положение: не женат / не замужем | Процент невозвратов: 10.82%\n"
     ]
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу\n",
    "data_pivot_2 = data.pivot_table(index=['debt'], columns='family_status_id', values='dob_years', aggfunc='count')\n",
    "\n",
    "# Выводим результат на экран\n",
    "display(data_pivot_2)\n",
    "\n",
    "# Выводим процент невозвратов\n",
    "for i in range(len(data['family_status_id'].unique())):\n",
    "    print('Семейное положение:', family_status_dict['family_status'][i],'|',f'Процент невозвратов: {(data_pivot_2[i][1] / data_pivot_2[i][0]):.2%}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5beca8d0",
   "metadata": {},
   "source": [
    "#### Вариант 2 (после прохождения курса)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "2b666298",
   "metadata": {
    "code_folding": []
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>family_status_id</th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>11334.00</td>\n",
       "      <td>3748.00</td>\n",
       "      <td>888.00</td>\n",
       "      <td>1105.0</td>\n",
       "      <td>2523.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>927.00</td>\n",
       "      <td>385.00</td>\n",
       "      <td>63.00</td>\n",
       "      <td>84.0</td>\n",
       "      <td>273.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ratio</th>\n",
       "      <td>8.18</td>\n",
       "      <td>10.27</td>\n",
       "      <td>7.09</td>\n",
       "      <td>7.6</td>\n",
       "      <td>10.82</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "family_status_id         0        1       2       3        4\n",
       "debt                                                        \n",
       "0                 11334.00  3748.00  888.00  1105.0  2523.00\n",
       "1                   927.00   385.00   63.00    84.0   273.00\n",
       "ratio                 8.18    10.27    7.09     7.6    10.82"
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу\n",
    "pivot_2 = data.pivot_table(index='debt',\n",
    "                           columns='family_status_id',\n",
    "                           values='dob_years',\n",
    "                           aggfunc='count')\n",
    "\n",
    "# Добавляем строку с расчетом процента просрочек\n",
    "pivot_2.loc['ratio'] = ((pivot_2.loc[1] / pivot_2.loc[0]) * 100).round(2)\n",
    "\n",
    "# Выводим сводную таблицу на экран\n",
    "pivot_2 "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "18cc8f5f",
   "metadata": {},
   "source": [
    "#### Ответ на вопрос 2\n",
    "\n",
    "Процент просрочки по кредитам выше среди холостых и живущих в гражданском браке."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c1f3e9d3",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Вопрос-2) | [В начало раздела](#Ответы-на-вопросы) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6779864e",
   "metadata": {},
   "source": [
    "### Вопрос 3\n",
    "\n",
    "Задание 21. Есть ли зависимость между уровнем дохода и возвратом кредита в срок?\n",
    "\n",
    "#### Вариант 1 (первоначальный, после ревью)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "id": "52d1fb89",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>total_income_category</th>\n",
       "      <th>A</th>\n",
       "      <th>B</th>\n",
       "      <th>C</th>\n",
       "      <th>D</th>\n",
       "      <th>E</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>23</td>\n",
       "      <td>4659</td>\n",
       "      <td>14568</td>\n",
       "      <td>328</td>\n",
       "      <td>20</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2</td>\n",
       "      <td>354</td>\n",
       "      <td>1353</td>\n",
       "      <td>21</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "total_income_category   A     B      C    D   E\n",
       "debt                                           \n",
       "0                      23  4659  14568  328  20\n",
       "1                       2   354   1353   21   2"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Уровень дохода: A (> 1000001) | Процент невозвратов: 8.70%\n",
      "Уровень дохода: B (200001–1000000) | Процент невозвратов: 7.60%\n",
      "Уровень дохода: C (50001–200000) | Процент невозвратов: 9.29%\n",
      "Уровень дохода: D (30001–50000) | Процент невозвратов: 6.40%\n",
      "Уровень дохода: E (0–30000) | Процент невозвратов: 10.00%\n"
     ]
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу \n",
    "data_pivot_3 = data.pivot_table(index=['debt'], columns='total_income_category', values='dob_years', aggfunc='count')\n",
    "\n",
    "# Выводим результат на экран\n",
    "display(data_pivot_3)\n",
    "\n",
    "# Выводим процент невозвратов\n",
    "income_1 = data_pivot_3['A'][1] / data_pivot_3['A'][0]\n",
    "income_2 = data_pivot_3['B'][1] / data_pivot_3['B'][0]\n",
    "income_3 = data_pivot_3['C'][1] / data_pivot_3['C'][0]\n",
    "income_4 = data_pivot_3['D'][1] / data_pivot_3['D'][0]\n",
    "income_5 = data_pivot_3['E'][1] / data_pivot_3['E'][0]\n",
    "\n",
    "print(f'Уровень дохода: A (> 1000001) |', f'Процент невозвратов: {income_1:.2%}')\n",
    "print(f'Уровень дохода: B (200001–1000000) |', f'Процент невозвратов: {income_2:.2%}')\n",
    "print(f'Уровень дохода: C (50001–200000) |', f'Процент невозвратов: {income_3:.2%}')\n",
    "print(f'Уровень дохода: D (30001–50000) |', f'Процент невозвратов: {income_4:.2%}')\n",
    "print(f'Уровень дохода: E (0–30000) |', f'Процент невозвратов: {income_5:.2%}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6840471d",
   "metadata": {},
   "source": [
    "#### Вариант 2 (после прохождения курса)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "827fd457",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>total_income_category</th>\n",
       "      <th>A</th>\n",
       "      <th>B</th>\n",
       "      <th>C</th>\n",
       "      <th>D</th>\n",
       "      <th>E</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>23.0</td>\n",
       "      <td>4659.0</td>\n",
       "      <td>14568.00</td>\n",
       "      <td>328.0</td>\n",
       "      <td>20.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2.0</td>\n",
       "      <td>354.0</td>\n",
       "      <td>1353.00</td>\n",
       "      <td>21.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ratio</th>\n",
       "      <td>8.7</td>\n",
       "      <td>7.6</td>\n",
       "      <td>9.29</td>\n",
       "      <td>6.4</td>\n",
       "      <td>10.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "total_income_category     A       B         C      D     E\n",
       "debt                                                      \n",
       "0                      23.0  4659.0  14568.00  328.0  20.0\n",
       "1                       2.0   354.0   1353.00   21.0   2.0\n",
       "ratio                   8.7     7.6      9.29    6.4  10.0"
      ]
     },
     "execution_count": 71,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу\n",
    "pivot_3 = data.pivot_table(index='debt',\n",
    "                           columns='total_income_category',\n",
    "                           values='dob_years',\n",
    "                           aggfunc='count')\n",
    "\n",
    "# Добавляем строку с расчетом процента просрочек\n",
    "pivot_3.loc['ratio'] = ((pivot_3.loc[1] / pivot_3.loc[0]) * 100).round(2)\n",
    "\n",
    "# Выводим сводную таблицу на экран\n",
    "pivot_3 "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3d13a892",
   "metadata": {},
   "source": [
    "#### Ответ на вопрос 3\n",
    "\n",
    "Процент невозвратов наибольший у группы с доходом до 30000 руб. и у группы с уровнем дохода от 50001–200000. Скорее всего это связано с тем, что в эти группы попадает наибольшее количество заёмщиков."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f5ee1183",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Вопрос-3) | [В начало раздела](#Ответы-на-вопросы) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "284118c7",
   "metadata": {},
   "source": [
    "### Вопрос 4\n",
    "\n",
    "Задание 22. Как разные цели кредита влияют на его возврат в срок?\n",
    "\n",
    "#### Вариант 1 (первоначальный, после ревью)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "id": "a6e06f6f",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>purpose_category</th>\n",
       "      <th>операции с автомобилем</th>\n",
       "      <th>операции с недвижимостью</th>\n",
       "      <th>получение образования</th>\n",
       "      <th>проведение свадьбы</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>3879</td>\n",
       "      <td>9970</td>\n",
       "      <td>3619</td>\n",
       "      <td>2130</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>400</td>\n",
       "      <td>780</td>\n",
       "      <td>369</td>\n",
       "      <td>183</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "purpose_category  операции с автомобилем  операции с недвижимостью  \\\n",
       "debt                                                                 \n",
       "0                                   3879                      9970   \n",
       "1                                    400                       780   \n",
       "\n",
       "purpose_category  получение образования  проведение свадьбы  \n",
       "debt                                                         \n",
       "0                                  3619                2130  \n",
       "1                                   369                 183  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Цель кредита: операции с автомобилем | Процент невозвратов: 10.31%\n",
      "Цель кредита: операции с недвижимостью | Процент невозвратов: 7.82%\n",
      "Цель кредита: получение образования | Процент невозвратов: 10.20%\n",
      "Цель кредита: проведение свадьбы | Процент невозвратов: 8.59%\n"
     ]
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу \n",
    "data_pivot_4 = data.pivot_table(index=['debt'], columns='purpose_category', values='dob_years', aggfunc='count')\n",
    "\n",
    "# Выводим результат на экран\n",
    "display(data_pivot_4)\n",
    "\n",
    "# Выводим процент невозвратов\n",
    "purp_1 = data_pivot_4['операции с автомобилем'][1] / data_pivot_4['операции с автомобилем'][0]\n",
    "purp_2 = data_pivot_4['операции с недвижимостью'][1] / data_pivot_4['операции с недвижимостью'][0]\n",
    "purp_3 = data_pivot_4['получение образования'][1] / data_pivot_4['получение образования'][0]\n",
    "purp_4 = data_pivot_4['проведение свадьбы'][1] / data_pivot_4['проведение свадьбы'][0]\n",
    "\n",
    "print(f'Цель кредита: операции с автомобилем |', f'Процент невозвратов: {purp_1:.2%}')\n",
    "print(f'Цель кредита: операции с недвижимостью |', f'Процент невозвратов: {purp_2:.2%}')\n",
    "print(f'Цель кредита: получение образования |', f'Процент невозвратов: {purp_3:.2%}')\n",
    "print(f'Цель кредита: проведение свадьбы |', f'Процент невозвратов: {purp_4:.2%}')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d7cfacf5",
   "metadata": {},
   "source": [
    "#### Вариант 2 (после прохождения курса)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "id": "9d41462c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>purpose_category</th>\n",
       "      <th>операции с автомобилем</th>\n",
       "      <th>операции с недвижимостью</th>\n",
       "      <th>получение образования</th>\n",
       "      <th>проведение свадьбы</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>debt</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>3879.00</td>\n",
       "      <td>9970.00</td>\n",
       "      <td>3619.0</td>\n",
       "      <td>2130.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>400.00</td>\n",
       "      <td>780.00</td>\n",
       "      <td>369.0</td>\n",
       "      <td>183.00</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>ratio</th>\n",
       "      <td>10.31</td>\n",
       "      <td>7.82</td>\n",
       "      <td>10.2</td>\n",
       "      <td>8.59</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "purpose_category  операции с автомобилем  операции с недвижимостью  \\\n",
       "debt                                                                 \n",
       "0                                3879.00                   9970.00   \n",
       "1                                 400.00                    780.00   \n",
       "ratio                              10.31                      7.82   \n",
       "\n",
       "purpose_category  получение образования  проведение свадьбы  \n",
       "debt                                                         \n",
       "0                                3619.0             2130.00  \n",
       "1                                 369.0              183.00  \n",
       "ratio                              10.2                8.59  "
      ]
     },
     "execution_count": 73,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Группируем данные для анализа в сводную таблицу\n",
    "pivot_4 = data.pivot_table(index='debt',\n",
    "                           columns='purpose_category',\n",
    "                           values='dob_years',\n",
    "                           aggfunc='count')\n",
    "\n",
    "# Добавляем строку с расчетом процента просрочек\n",
    "pivot_4.loc['ratio'] = ((pivot_4.loc[1] / pivot_4.loc[0]) * 100).round(2)\n",
    "\n",
    "# Выводим сводную таблицу на экран\n",
    "pivot_4 "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "45e517ca",
   "metadata": {},
   "source": [
    "**Ответ на вопрос 4**\n",
    "\n",
    "Наибольший риск просрочки по кредитам на операции с недвижимостью и автокредитам"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "511297f4",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Вопрос-4) | [В начало раздела](#Ответы-на-вопросы) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6770baa0",
   "metadata": {},
   "source": [
    "### Причины появления пропусков в исходных данных\n",
    "\n",
    "Задание 23. Приведите возможные причины появления пропусков в исходных данных.\n",
    "\n",
    "По итогам обзора датасета (пп. 1. [п. 4.3](#Выводы-по-разделу)) обнаружены пропуски в двух столбцах: `days_employed` и `total_income`. В других столбцах пропусков в данных нет. Оба столбца содержат количественные переменные (количество дней трудового стажа и сумму ежемесячного дохода). Пропуски в столбцах `days_employed` и `total_income` находятся в одних и тех же строках. Наиболее вероятной причиной их возникновения является недостаточность информации при вводе данных (например, логично выглядит наличие пропусков, если величина ежемесячного дохода рассчитывается от количества дней трудового стажа)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1f218981",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Причины-появления-пропусков-в-исходных-данных) | [В начало раздела](#Ответы-на-вопросы) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2a20d82a",
   "metadata": {},
   "source": [
    "### Обоснование заполнения пропусков медианным значением\n",
    "\n",
    "Задание 24. Объясните, почему заполнить пропуски медианным значением — лучшее решение для количественных переменных.\n",
    "\n",
    "Заполнение пропусков медианным значением является одним из распространенных методов обработки пропущенных данных для количественных переменных, и это может быть хорошим решением по нескольким причинам:\n",
    "\n",
    "1. **Сохранение статистических характеристик**: Медиана является мерой центральной тенденции, которая не чувствительна к выбросам, в отличие, например, от среднего значения (средней). Заполнение пропусков медианным значением позволяет сохранить общую структуру данных и предотвратить искажение статистических характеристик распределения.\n",
    "\n",
    "2. **Избегание искажений**: Заполнение нулевых значений медианным значением позволяет избежать искажения распределения данных. Если бы мы заполнили нулевые значения, например, средним значением, это могло бы значительно повлиять на среднее значение и сделать его менее информативным.\n",
    "\n",
    "3. **Простота и интерпретируемость**: Заполнение пропусков медианным значением - простой и интуитивно понятный метод, который не требует сложных вычислений или дополнительных данных. Это облегчает интерпретацию результатов.\n",
    "\n",
    "4. **Устойчивость к выбросам**: Медиана устойчива к выбросам. Это означает, что даже если в данных есть несколько крайних значений (выбросов), медиана остается стабильной. Это полезно, когда в данных есть выбросы, которые могут исказить среднее значение.\n",
    "\n",
    "5. **Уменьшение потери информации**: Заполнение пропусков медианным значением позволяет сохранить имеющуюся информацию. При удалении строк с пропущенными данными вы можете потерять другие важные характеристики, которые могут быть полезными для анализа.\n",
    "\n",
    "</br></br>\n",
    "Однако важно помнить, что выбор метода заполнения пропусков зависит от конкретного контекста и характера данных. В некоторых ситуациях другие методы, такие как интерполяция, могут быть более подходящими. Также необходимо учитывать, что заполнение медианой может быть не лучшим выбором, если есть сильная корреляция между переменными, и такой подход может исказить анализ."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "be5dda08",
   "metadata": {},
   "source": [
    "[В начало подраздела](#Обоснование-заполнения-пропусков-медианным-значением) | [В начало раздела](#Ответы-на-вопросы) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7612f3f4",
   "metadata": {},
   "source": [
    "## Общий вывод\n",
    "\n",
    "**В ходе исследования проведены:**\n",
    "- Предобработка данных: нахождение и заполнение пропусков, исследование и исправление артефактов в данных, преобразование типов, удаление явных и неявных дубликатов.\n",
    "- Проведена оптимизация датафрейма с выделением двух новых датафреймов \"словарей\" и категоризация заёмщиков по уровню доходов и целям получения кредита.\n",
    "- С помощью сводных таблиц проведено исследование и получены ответы на поставленные вопросы.\n",
    "\n",
    "**Предобработка позволила выявить, что исходные данные:**\n",
    "- содержали 10,1% пропусков в колонках `days_employed` и `total_income`.\n",
    "- имели неявные дубликаты в колонках `education`, `family_status` и `purpose`.\n",
    "- имели вещественный формат в колонке `total_income` вместо целочисленного.\n",
    "- имели 71 ед. строк-дубликатов (0,33% от общего объёма данных).\n",
    "\n",
    "</br></br>\n",
    "Для обработки данных использовались такие методы как `value_counts()`, `pivot_table()`, `fillna()`, `transform()`, `apply()`, `isna().sum()`, `astype()`, `str.lower()`, `duplicated().sum()` и `drop_duplicates()`.\n",
    "\n",
    "**Проверка данных на аномалии показала, что:**\n",
    "- В колонке `dob_years` были заемщики с нулевым возрастом (101 ед. или 0,47%). Нулевые значения заменены характерным медианным значением в зависимости от категории заемщика.\n",
    "- В колонке `days_emploed` были обнаружены большое количество отрицательных значений — 74% (15905 строк из 21525), что противоречит логике показателя и явно ошибочные значения в столбцах `пенсионер` и `безработный`(если исходить из условия, что в столбце приведено количество дней трудового стажа, то при пересчете в года получаются значения порядка 1000 лет). Заменили все отрицательные значения в столбце `days_employed` на положительные. После этого заполнили пропуски медианными значениями в зависимости от категории типа занятости `income_type`.\n",
    "- В колонке `children` были отрицательные значения (47 ед. или 0,22%) и семьи с 20-ю детьми (76 ед. или 0,35%). В отношении отрицательной численности значения были приведены к значению по модулю, а в отношении многодетных семей данные удалены из датафрейма ввиду их малого количества.\n",
    "\n",
    "</br></br>\n",
    "**По результатам проведенного исследования сделаны следующие выводы:**\n",
    "1. С ростом количества детей в семье процент невозвратов (отношение количества клиентов имеющих просрочку к количеству не имеющих задолженности по кредиту) растет.\n",
    "1. Процент просрочки по кредитам выше среди холостых и живущих в гражданском браке.\n",
    "1. Процент невозвратов наибольший у группы с доходом до 30000 руб. и у группы с уровнем дохода от 50001–200000. Скорее всего это связано с тем, что в эти группы попадает наибольшее количество заёмщиков.\n",
    "1. Наибольший риск просрочки по кредитам на операции с недвижимостью и автокредитам"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "37cbca6e",
   "metadata": {},
   "source": [
    "[В начало раздела](#Общий-вывод) | [К содержанию проекта](#Содержание)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8521c163",
   "metadata": {},
   "source": [
    "## Чек-лист выполнения проекта\n",
    "\n",
    "**Шаг 1. Открыть таблицу и изучить общую информацию о данных**\n",
    "   - [x] Задание 1. Импортирована библиотека pandas. Считаны данные из csv-файла в датафрейм и сохранены в переменную `data`\n",
    "   - [x] Задание 2. Выведены первые 20 строчек датафрейма `data` на экран\n",
    "   - [x] Задание 3. Выведена основная информация о датафрейме с помощью метода `info()`\n",
    "\n",
    "</br></br>\n",
    "**Шаг 2. Предобработка данных**\n",
    "   - [x] Задание 4. Выведено количество пропущенных значений для каждого столбца с помощью сочетания двух методов `isna()` и `sum()`\n",
    "   - [x] Задание 5. Пропуски в столбце `total_income` заполнены медианными значениями по каждому типу из столбца `income_type`\n",
    "   - [x] Задание 6. Обработаны артефакты (отрицательные значения) в столбце `days_employed`: заменены все отрицательные значения положительными с помощью метода `abs()`\n",
    "   - [x] Задание 7. Для каждого типа занятости выведено медианное значение трудового стажа в днях из столбца `days_employed`\n",
    "   - [x] Задание 8. Выведен перечень уникальных значений столбца `children`\n",
    "   - [x] Задание 9. Из датафрейма `data` удалены строки в которых встречаются аномальные значения в столбце `children`\n",
    "   - [x] Задание 10. Повторно выведен перечень уникальных значений столбца `children`, чтобы убедиться, что артефакты удалены\n",
    "   - [x] Задание 11. Заполнены пропуски в столбце `days_employed` медианными значениями по каждому типу занятости `income_type`\n",
    "   - [x] Задание 12. Подтверждено заполнение всех пропусков. Ещё раз выведено количество пропущенных значений для каждого столбца с помощью сочетания двух методов `isna()` и `sum()`\n",
    "   - [x] Задание 13. Заменён вещественный тип данных в столбце `total_income` на целочисленный с помощью метода `astype()`\n",
    "   - [x] Задание 14. Обработаны неявные дубликаты в столбце `education`\n",
    "   - [x] Задание 15. Выведено на экран количество строк-дубликатов в данных. Обнаруженные строки-дубликаты удалены методом `drop_duplicates()`\n",
    "   - [x] Задание 16. На основании заданных диапазонов `total_income` в датафрейме `data` создан столбец `total_income_category`\n",
    "   - [x] Задание 17. Выведен на экран перечень уникальных целей взятия кредита из столбца `purpose`\n",
    "   - [x] Задание 18. Создана функция, которая на основании данных из столбца `purpose` формирует новый столбец `purpose_category`\n",
    "\n",
    "</br></br>\n",
    "**Шаг 3. Исследовать данные и дать ответы на поставленные вопросы:**\n",
    "   - [x] Задание 19. Есть ли зависимость между количеством детей и возвратом кредита в срок?\n",
    "   - [x] Задание 20. Есть ли зависимость между семейным положением и возвратом кредита в срок?\n",
    "   - [x] Задание 21. Есть ли зависимость между уровнем дохода и возвратом кредита в срок?\n",
    "   - [x] Задание 22. Как разные цели кредита влияют на его возврат в срок?\n",
    "   - [x] Задание 23. Приведите возможные причины появления пропусков в исходных данных\n",
    "   - [x] Задание 24. Объясните, почему заполнить пропуски медианным значением — лучшее решение для количественных переменных?\n",
    "\n",
    "</br></br>\n",
    "**Шаг 4. Написать общий вывод**\n",
    "   - [x] Сделан общий вывод по результатам исследования\n",
    "\n",
    "</br></br>\n",
    "[К содержанию проекта](#Содержание)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": true,
   "title_cell": "Содержание",
   "title_sidebar": "Contents",
   "toc_cell": true,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "352.8px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}