Априорное распределение параметров в задачах выбора моделей глубокого обучения

Диссертация на соискание ученой степени кандидата физико-математических наук

Грабовой Андрей Валериевич

Научный руководитель: д.ф.-м.н. Стрижов Вадим Викторович

Аннотация

Работа посвящена выбору моделей глубокого обучения. Рассматриваются методы снижения пространства параметров моделей на основе дистилляции. Предлагается обобщение классической дистилляции используя выравнивания вероятностных пространств параметров модели учителя и ученика. Для снижения размерности пространства параметров используется информация об их априорном и апостериорном распределениях. Разобраны частные случае, когда учитель и ученика являются полносвязными и рекурентными нейросетевыми моделями.

Публикации по теме диссертации

1. Грабовой А.В., Стрижов В.В. Байесовская дистилляция моделей глубокого обучения // Автоматика и телемеханика, 2021.
2. Грабовой А.В., Стрижов В.В. Анализ выбора априорного распределениядля смеси экспертов // Журнал вычислительной математики и матема-тической физики, 2021.
3. A. Grabovoy, V. Strijov. Quasi-periodic time series clustering for human //Lobachevskii Journal of Mathematics, 2020.
4. Грабовой А.В., Бахтеев О. Ю., Стрижов В.В. Введение отношения порядка на множестве параметров аппроксимирующих моделей // Инфор-матика и ее применения, 2020.
5. Грабовой А.В., Бахтеев О.Ю., Стрижов В.В. Определение релевантности параметров нейросети // Информатика и ее применения, 2019.
6. Грабовой А.В., Стрижов В.В. Вероятностная интерпретация задачи дистилляции // Автоматика и телемеханика, 2022.
7. A. Grabovoy, T. Gadaev, A. Motrenko, V. Strijov Numerical methods ofminimum sufficient sample size estimation for linear models // LobachevskiiJournal of Mathematics, 2023.
8. A. Bazarova, A. Grabovoy , V. Strijov Analysis of the properties ofprobabilistic models in learning problems with an expert // Journal ofComputational Mathematics, 2023.

Выступления на конференциях по теме диссертации

1. Задача обучения с экспертом для построения интерпретируемых моделей машинного обучения, Международная конференция <<Интеллектуализация обработки информации>>, 2020.
2. Привилегированная информация и дистилляция моделей, Всероссийская конференция <<63-я научная конференция МФТИ>>, 2020.
3. Введение отношения порядка на множестве параметров нейронной сети, Всероссийская конференция <<Математические методы распознавания об-разов ММРО>>, 2019.
4. Анализ априорных распределений в задаче смеси экспертов, Всероссийская конференция <<62-я научная конференция МФТИ>>, 2019.
5. Поиск оптимальной модели при помощи алгоритмов прореживания, Всероссийская конференция <<61-я научная конференция МФТИ>>, 2018.
6. Автоматическое определение релевантности параметров нейросети, Международная конференция <<Интеллектуализация обработки информации>>, 2018

Программные модули разработанные в рамках диссертационной работы

1. Модуль для определения достаточного объема выборки
2. Модуль для построения смеси экспертов

Исходный код вычислительных экспериментов в рамках диссертационной работы

1. Определения достаточного объема выборки
2. Анализ моделей привилегированного обучения и дистилляции
3. Байесовская дистилляция моделей глубокого обучения
4. Апроксимация кривых второго порядка на основе смеси экспертов
5. Анализ априорных распределений в задаче смеси экспертов
6. Анализ свойств локальных моделей в задачах кластеризации временных рядов
7. Задание порядка на множестве параметров нейросетевых моделей
8. Релевантность параметров нейросетевых моделей методом Белсли