Л. А. Демидова - Интеллектуальный анализ данных на языке Python

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ
РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ
ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ОБРАЗОВАНИЯ
«МИРЭА ‐ Российский технологический университет»
(РТУ МИРЭА)

Демидова Л. А.

Интеллектуальный анализ данных на языке
Python
Учебно-методическое пособие

Москва 2021

УДК004
ББК32.97
Д 30
Демидова Л.А. Интеллектуальный анализ данных на языке Python [Электронный
ресурс]: Учебно-методическое пособие / Демидова Л.А. — М.: МИРЭА – Российский
технологический университет, 2021. — 1 электрон. опт. диск (CD-ROM)
В учебно-методическом пособии рассматриваются аспекты интеллектуального
анализа данных средствами языка Python на примере задач, заключающихся в поиске
ассоциативных правил в базах данных транзакций. Предлагается перечень заданий,
при выполнении которых применяются различные критерии принятия решений.
Предназначено для магистрантов по направлению 09.04.04 Программная инженерия.
Учебно-методическое пособие издается в авторской редакции.
Автор: Демидова Лилия Анатольевна.
Рецензенты:
Головин Сергей Анатольевич, д.т.н., профессор, заведующий кафедрой математического
обеспечения
и
стандартизации
информационных
технологий,
Институт
информационных технологий, РТУ МИРЭА
Андреева Ольга Николаевна, д.т.н., доцент, начальник отдела научной работы АО «Концерн
МОРИНФОРМСИСТЕМА-АГАТ»
Системные требования:
Наличие операционной системы Windows, поддерживаемой производителем.
Наличие свободного места в оперативной памяти не менее 128 Мб.
Наличие свободного места в памяти постоянного хранения (на жестком диске) не менее 30 Мб.
Наличие интерфейса ввода информации.
Дополнительные программные средства: программа для чтения pdf-файлов (Adobe Reader).
Подписано к использованию по решению Редакционно-издательского совета
МИРЭА — Российский технологический университет.
Обьем: 2.82 мб
Тираж: 10

© Демидова Л.А., 2021
© МИРЭА – Российский технологический
университет, 2021

Оглавление
ВВЕДЕНИЕ ........................................................................................................................................ 4
ПОИСК АССОЦИАТИВНЫХ ПРАВИЛ ........................................................................................ 5
1. Основные понятия .................................................................................................................. 5
2.

Алгоритм Apriori ................................................................................................................... 14

3. Алгоритм FPGrowth .............................................................................................................. 29
4. Алгоритм Apriori на языке Python ....................................................................................... 66
4.1.

Программная реализация apriori-python.......................................................................... 66

4.2.

Программная реализация efficient-apriori ....................................................................... 72

5.

Алгоритм FPGrowth на языке Python .................................................................................. 83

6. Визуализация ассоциативных правил ................................................................................. 87
ВАРИАНТЫ И ЗАДАНИЯ ............................................................................................................. 88
СПИСОК ЛИТЕРАТУРЫ ............................................................................................................... 90

3

ВВЕДЕНИЕ
Учебно-методическое пособие излагает принципы интеллектуального анализа данных на примере задач, заключающихся в поиске ассоциативных правил
в базах данных транзакций. Рассматриваются два алгоритма поиска ассоциативных правил – Apriori и FPGrowth, реализующие различные подходы к формированию частых предметных наборов и характеризующиеся существенно
различными требованиями, предъявляемыми к памяти и времени, которые
необходимы для работы алгоритмов. Приводятся примеры, демонстрирующие
пошагово работу алгоритмов поиска ассоциативных правил. Предлагается выполнять поиск ассоциативных правил в базах данных транзакций средствами
языка Python с применением соответствующих библиотек.
Читателю предлагается перечень заданий: каждое из них содержит тестовый вариант и вариант из репозитория данных для машинного обучения. Тестовый вариант позволяет выполнить как подробное ознакомление с алгоритмами
поиска ассоциативных правил в ходе ручных расчетов, например, с применением MS Excel, так и эксперименты с применением средств языка Python. Вариант
с набором транзакций из репозитория данных для машинного обучения позволяет выполнить эксперименты на основе данных большого объема с применением средств языка Python.
Читатель может получить дополнительные сведения по теоретическим --">