А. Ю. Долганов - Базовые алгоритмы машинного обучения на языке python

k-cредних.......................................................................... 95
Практические задания......................................................................101
Контрольные вопросы.....................................................................102
Заключение........................................................................................103
Список библиографических ссылок...................................................106
Приложения.......................................................................................108
1. Класс линейной регрессии...........................................................108
2. Класс регуляризации Тихонова...................................................111
3. Класс регуляризации Лассо..........................................................112
4. Класс эластичной регуляризации................................................113
5. Класс классификации логистической регрессии........................114
6. Класс уменьшения размерности методом главных компонент....118
7. Класс кластеризации методом k-средних....................................120

4

Предисловие

Ц

елью данного учебно-методического пособия является
формирование у студентов теоретических знаний, умений
и практических навыков по базовым алгоритмам машинного обучения, овладение студентами инструментарием, моделями и методами машинного обучения.
Книга имеет следующую структуру.
Глава 1 посвящена знакомству с ключевыми понятиями машинного обучения, типами данных, а также с базовыми понятиями линейной
алгебры и математического анализа, которые необходимы для дальнейшего освоения учебно-методического пособия.
В главе 2 обсуждаются вопросы, связанные с визуализацией данных, их предварительной обработкой и генерацией признаков. В частности, рассмотрены библиотеки Pandas и Seaborn.
В главе 3 представлена одна из простейших моделей машинного
обучения — линейная регрессия. Рассмотрен подход к нахождению весов линейной регрессии «градиентный спуск». Схожие идеи используются для обучения и более сложных нейронных сетей. В качестве
практики пошагово реализуется алгоритм линейной регрессии «своими руками».
В главе 4 рассмотрены особенности задачи классификации и ключевые метрики для оценки качества модели классификации. Обсуждается модель логистической регрессии, которая наследует идеи линейной регрессии. В качестве практики пошагово реализуется алгоритм
логистической регрессии «своими руками».
В главе 5 обсуждается классический метод уменьшения размерности — метод главных компонент. В качестве практики реализуется метод главных компонент «своими руками».
Глава 6 посвящена особенностям задачи кластеризации и различным подходам к оценке расстояния между объектами. Рассмотрен ба5

Предисловие

зовый алгоритм кластеризации — метод k‑средних. В качестве практики пошагово реализуется алгоритм кластеризации k‑средних «своими
руками».
В заключении приводятся рекомендации по дальнейшему изучению методов машинного обучения.
В каждой главе приведены контрольные вопросы для самостоятельной оценки усвоения материала. Практические задания к главам
включают не только работу с генерируемыми данными, но и с реальным набором данных продаж автомобилей на вторичном рынке для
закрепления изученных алгоритмов. Вторичный рынок автомобилей,
по нашему мнению, является достаточно хорошо интерпретируемым
и понятным каждому читателю набором данных. При этом, как будет далее показано, используемый набор данных представляется достаточно наглядным в отношении решаемых задач. Кроме того, будет
полезным отметить, что методически важными критериями этого набора данных являются возможность решения задач как категориального принятия решений (классификации), так и непрерывного (регрессии), а также достаточный объем для демонстрации различных
аспектов изучаемых алгоритмов, что оставляет читателю пространство для практических экспериментов и более полного освоения изучаемого материала.
Набор данных продаж автомобилей, а также полные версии листингов программ, используемых в учебно-методическом пособии, доступны в онлайн-хостинге репозиториев GitHub по ссылке https://github.
com/dayekb/Basic_ML_Alg

6

Глава 1.
Машинное обучение:
общие сведения и понятия

В

этой главе мы рассмотрим основные понятия, связанные
с машинным обучением: обсудим типы данных, которые
обычно обрабатываются, типовые задачи машинного обучения, а также необходимые для освоения данного пособия понятия
линейной алгебры и математического анализа.
Ключевые понятия стоит рассмотреть на конкретном примере
данных. В табл. 1.1 --">