Юлиц Васильев - Обработка естественного языка. Python и spaCy на практике

113
Резюме.................................................................................................. 115
Глава 6. Поиск паттернов и обход деревьев зависимостей........................ 116
Паттерны последовательностей слов..................................................... 116
Поиск паттернов лингвистических признаков................................. 117
Проверка высказывания на соответствие паттерну......................... 119
Использование утилиты Matcher библиотеки spaCy для поиска
паттернов последовательностей слов............................................. 120

Оглавление    9

Применение нескольких паттернов................................................. 122
Создание паттернов на основе пользовательских признаков.......... 124
Выбор применяемых паттернов....................................................... 126
Применение паттернов последовательностей слов в чат-ботах
для генерации высказываний.......................................................... 126
Выделение ключевых слов из деревьев синтаксических
зависимостей.................................................................................. 130
Выделение информации путем обхода дерева зависимостей.......... 132
Проход в цикле по главным элементам токенов.............................. 132
Краткое изложение текста с помощью деревьев зависимостей....... 134
Усовершенствование чат-бота для бронирования билетов
с помощью учета контекста............................................................ 137
Повышаем IQ чат-бота за счет поиска подходящих
модификаторов...................................................................................... 140
Резюме.................................................................................................. 143
Глава 7. Визуализация.............................................................................. 144
Знакомство с встроенными средствами визуализации spaCy.................. 144
Средство визуализации зависимостей displaCy................................ 145
Средство визуализации именованных сущностей displaCy............... 147
Визуализация из кода spaCy.................................................................. 148
Визуализация разбора зависимостей.............................................. 148
Визуализация по отдельным предложениям.................................... 150
Настройка визуализаций под свои задачи с помощью
аргумента options.................................................................................. 151
Использование аргумента options средства визуализации
зависимостей.................................................................................. 152
Использование аргумента options средства визуализации
именованных сущностей................................................................. 153
Экспорт визуализации в файл......................................................... 156
Использование displaCy для отображения данных
в ручном режиме............................................................................ 157
Форматирование данных................................................................. 158
Резюме.................................................................................................. 159

10    Оглавление
Глава 8. Распознавание намерений........................................................... 160
Распознавание намерений с помощью выделения переходного
глагола и прямого дополнения.............................................................. 160
Получение пары «переходный глагол/прямое дополнение»............ 162
Выделение множественных намерений
с помощью token.conjuncts.............................................................. 162
Выделение намерения с помощью списков слов.............................. 164
Поиск значений слов с помощью синонимов
и семантического подобия..................................................................... 167
Распознавание синонимов с помощью заранее
заданных списков........................................................................... 168
Распознавание неявных намерений с помощью
семантического подобия................................................................. 171
Выделение намерения из последовательности предложений................. 173
Обход структуры зависимостей связного текста.............................. 173
Замена местоименных элементов их антецедентами....................... 174
Резюме.................................................................................................. 178
Глава 9. Сохранение данных, введенных пользователем,
в базе данных............................................................................................. 179
Преобразование неструктурированных данных
в структурированные............................................................................. 179
Выделение данных в формате обмена данными.............................. 182
Перенос логики приложения в базу данных.................................... 183
Создание чат-бота, использующего базу данных................................... 185
Сбор данных и формирование объекта JSON.................................. 185
Преобразование числительных в числа.......................................... 187
Подготовка среды базы данных...................................................... 189
Отправка данных в БД.................................................................... 192
Что делать, если запрос пользователя содержит --">