Тоби Сегаран - Программируем коллективный разум

ранжирование........................................................... 77
Что такое поисковая машина ....................................................... 77
Простой паук ............................................................................ 79
Построение индекса ................................................................... 82
Запросы.................................................................................... 86
Ранжирование по содержимому ................................................... 88
Использование внешних ссылок на сайт ........................................ 93
Обучение на основе действий пользователя .................................... 99
Упражнения ........................................................................... 109

5. Оптимизация ....................................................................... 111
Групповые путешествия ........................................................... 112
Представление решений ........................................................... 113
Целевая функция .................................................................... 114
Случайный поиск .................................................................... 117
Алгоритм спуска с горы ............................................................ 118
Алгоритм имитации отжига ...................................................... 120
Генетические алгоритмы .......................................................... 123
Поиск реальных авиарейсов ...................................................... 127
Оптимизация с учетом предпочтений .......................................... 132
Визуализация сети ................................................................... 136
Другие возможности ................................................................ 142
Упражнения ........................................................................... 142

6. Фильтрация документов...................................................... 144
Фильтрация спама ................................................................... 145
Документы и слова................................................................... 145
Обучение классификатора ......................................................... 146
Вычисление вероятностей ......................................................... 149
Наивная классификация .......................................................... 151
Метод Фишера......................................................................... 155
Сохранение обученных классификаторов .................................... 159
Фильтрация блогов .................................................................. 161
Усовершенствование алгоритма обнаружения признаков .............. 164
Использование службы Akismet ................................................. 166

Оглавление

7
Альтернативные методы ........................................................... 168
Упражнения ........................................................................... 168

7. Моделирование с помощью деревьев решений .................. 170
Прогнозирование количества регистраций .................................. 171
Введение в теорию деревьев решений .......................................... 173
Обучение дерева....................................................................... 174
Выбор наилучшего разбиения .................................................... 176
Рекурсивное построение дерева.................................................. 178
Отображение дерева ................................................................. 180
Классификация новых наблюдений ............................................ 183
Отсечение ветвей дерева ............................................................ 184
Восполнение отсутствующих данных .......................................... 186
Числовые результаты ............................................................... 188
Моделирование цен на недвижимость ......................................... 188
Моделирование степени привлекательности ................................ 191
В каких случаях применять деревья решений .............................. 194
Упражнения ........................................................................... 196

8. Построение ценовых моделей ............................................. 197
Построение демонстрационного набора данных ............................ 198
Алгоритм k-ближайших соседей ................................................ 199
Взвешенные соседи .................................................................. 203
Перекрестный контроль............................................................ 207
Гетерогенные переменные ......................................................... 209
Оптимизация масштаба ............................................................ 212
Неравномерные распределения .................................................. 214
Использование реальных данных – API сайта eBay ....................... 220
В каких случаях применять метод k-ближайших соседей .............. 227
Упражнения ........................................................................... 227

9. Более сложные способы классификации:
ядерные методы и машины опорных векторов ................... 229
Набор данных для подбора пар................................................... 230
Затруднения при анализе данных............................................... 231
Простая линейная классификация ............................................. 234
Категориальные свойства .......................................................... 238
Масштабирование данных......................................................... 242
Идея ядерных методов .............................................................. 243
Метод опорных векторов ........................................................... 247
Библиотека LIBSVM ................................................................. 249

8

Оглавление
Подбор пар на сайте Facebook --">