Юлиц Васильев - Обработка естественного языка. Python и spaCy на практике

ЮЛИЙ ВАСИЛЬЕВ

ОБРАБОТКА
ЕСТЕСТВЕННОГО ЯЗЫКА
PYTHON И SPACY
НА ПРАКТИКЕ

2021

ББК 81.111
УДК 81.322.2+004.43
В19

Васильев Юлий
В19 Обработка естественного языка. Python и spaCy на практике. — СПб.: Питер, 2021. — 256 с.: ил. — (Серия «Библиотека программиста»).
ISBN 978-5-4461-1506-8
Python и spaCy помогут вам быстро и легко создавать NLP-приложения: чат-боты, сценарии
для сокращения текста или инструменты принятия заказов. Вы научитесь использовать spaCy
для интеллектуального анализа текста, определять синтаксические связи между словами,
идентифицировать части речи, а также определять категории для имен собственных. Ваши приложения даже смогут поддерживать беседу, создавая собственные вопросы на основе разговора.
Прочитав эту книгу, вы можете сами расширить приведенные в книге сценарии, чтобы обрабатывать разнообразные варианты ввода и создавать приложения профессионального уровня.

16+ (В соответствии с Федеральным законом от 29 декабря 2010 г. № 436-ФЗ.)

ББК 81.111
УДК 81.322.2+004.43

Права на издание получены по соглашению с No Starch Press. Все права защищены. Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения
владельцев авторских прав.
Информация, содержащаяся в данной книге, получена из источников, рассматриваемых издательством
как надежные. Тем не менее, имея в виду возможные человеческие или технические ошибки, издательство не может гарантировать абсолютную точность и полноту приводимых сведений и не несет ответственности за возможные ошибки, связанные с использованием книги. Издательство не несет ответственности за доступность материалов, ссылки на которые вы можете найти в этой книге. На момент подготовки
книги к изданию все ссылки на интернет-ресурсы были действующими.

ISBN 978-1718500525 англ.
ISBN 978-5-4461-1506-8

© 2020 by Yuli Vasiliev.
Natural Language Processing with Python and spaCy: A Practical Introduction
ISBN 978-1-7185-0052-5, published by No Starch Press.
© Перевод на русский язык ООО Издательство «Питер», 2021
© Издание на русском языке, оформление ООО Издательство «Питер»,
2021
© Серия «Библиотека программиста», 2021

Краткое содержание

Об авторе..................................................................................................... 13
О научном редакторе.................................................................................... 14
Введение...................................................................................................... 15
От издательства........................................................................................... 21
Глава 1. Как происходит обработка текстов на естественном языке............ 22
Глава 2. Конвейер обработки текста........................................................... 40
Глава 3. Работа с объектами-контейнерами и настройка spaCy
под свои нужды............................................................................. 60
Глава 4. Выделение и использование лингвистических признаков.............. 81
Глава 5. Работа с векторами слов.............................................................. 100
Глава 6. Поиск паттернов и обход деревьев зависимостей........................ 116
Глава 7. Визуализация.............................................................................. 144
Глава 8. Распознавание намерений........................................................... 160
Глава 9. С
 охранение данных, введенных пользователем,
в базе данных.............................................................................. 179
Глава 10. Обучение моделей..................................................................... 196
Глава 11. Развертывание собственного чат-бота....................................... 214
Глава 12. Реализация веб-данных и обработка изображений.................... 230
Приложение. Начальное руководство по лингвистике.............................. 249

Оглавление

Об авторе..................................................................................................... 13
О научном редакторе.................................................................................... 14
Введение...................................................................................................... 15
Применение языка Python для обработки естественного языка................ 15
Библиотека spaCy.................................................................................... 16
Для кого предназначена книга................................................................ 17
Что вы найдете в издании....................................................................... 18
Скачивание примеров кода...................................................................... 20
От издательства........................................................................................... 21
Глава 1. Как происходит обработка текстов на естественном языке............ 22
Как компьютеры понимают естественный язык........................................ 23
Задание соответствий слов и чисел с помощью вложений слов........ 23
Применение машинного обучения для обработки
естественного языка......................................................................... 25
Зачем использовать --">