Райан Митчелл - Современный скрапинг веб-сайтов с помощью Python

примеры кода с
ориентиром
на
начальный
и
средний
уровень
программирования на Python, чтобы они были понятны
широкому кругу читателей. Поэтому иногда здесь приводятся
пояснения более сложных аспектов программирования на
Python и общих вопросов информатики.
Если вы ищете более подробный учебник по Python, то
рекомендую Introducing Python Билла Любановича (Bill
Lubanovic)1 — это хорошее, хоть и довольно объемное
руководство. Тем, у кого не хватит на него времени, советую
посмотреть видеоуроки Introduction to Python Джессики
Маккеллар
(Jessica
McKellar)
(издательство
O’Reilly)
(http://oreil.ly/2HOqSNM) — это отличный ресурс. Мне также
понравилась книга Think Python моего бывшего профессора
Аллена Дауни (Allen Downey) (издательство O’Reilly)
(http://oreil.ly/2fjbT2F). Она особенно хороша для новичков в
программировании. Это учебник не только по языку Python, но
и по информатике вообще, а также по общим концепциям
разработки ПО.
Технические книги часто посвящены какому-то одному
языку или технологии. Однако веб-скрапинг — весьма
разносторонняя тема, в которой задействованы базы данных,
веб-серверы, HTTP, HTML, интернет-безопасность, обработка
изображений, анализ данных и другие инструменты. В данной
книге я постараюсь охватить все эти и другие темы с точки
зрения сбора данных. Это не значит, что здесь они будут

раскрыты полностью, однако я намерена раскрыть их
достаточно подробно, чтобы вы начали писать веб-скраперы!
В части I подробно рассматриваются веб-скрапинг и вебкраулинг. Особое внимание уделяется нескольким полезным
библиотекам. Часть I вполне может служить подробным
справочником по этим библиотекам и методикам (за
некоторыми исключениями; по ним будут предоставлены
дополнительные ссылки). Приемы, описанные в первой части
книги, полезны всем, кто пишет веб-скраперы независимо от
их конкретной цели и области приложения.
В части II раскрыты дополнительные темы, также полезные
при написании веб-скраперов, но не всегда и не любых. К
сожалению, данные темы слишком широки и их нельзя
уместить в одной главе. Поэтому я буду часто ссылаться на
другие ресурсы, где вы найдете дополнительную информацию.
Структура этой книги позволяет легко переходить от одной
главы к другой, чтобы найти описание только веб-скрапинга
или другую нужную вам информацию. Если концепция или
фрагмент кода основывается на чем-то, о чем говорилось в
предыдущей главе, то я явно ссылаюсь на раздел, в котором это
было рассмотрено.

Условные обозначения
В этой книге используются следующие условные обозначения.
Курсив
Курсивом выделены новые термины и важные слова.
Моноширинный шрифт
Используется для листингов программ, а также внутри
абзацев, чтобы обратиться к элементам программы вроде
переменных, функций, баз данных, типов данных, переменных

среды, инструкций и ключевых слов, имен и расширений
файлов.
Моноширинный жирный шрифт
Показывает команды или другой текст,
пользователь должен ввести самостоятельно.
Моноширинный курсивный шрифт

который

Показывает текст, который должен быть заменен
значениями, введенными пользователем, или значениями,
определяемыми контекстом.
Шрифт без засечек
Используется для обозначения URL, адресов электронной
почты, названий кнопок, каталогов.

Этот рисунок указывает на совет или предложение.

Такой рисунок указывает на общее замечание.

Этот рисунок указывает на предупреждение.

Использование примеров кода

Дополнительный материал (примеры кода, упражнения и т.д.)
можно скачать по адресу https://github.com/REMitchell/pythonscraping.
Эта книга призвана помочь вам выполнять свою работу.
Если какой-нибудь из приведенных примеров будет полезен
для вас, то вы можете использовать его в своих программах и
документации. Вам не нужно обращаться к нам за
разрешением, если только вы не воспроизводите значительную
часть кода. Так, для написания программы, в которой
задействованы несколько фрагментов кода из данной книги, не
требуется
разрешения.
А
вот
для
продажи
или
распространения компакт-дисков с примерами из книг O’Reilly
— требуется. Для ответа на вопрос с помощью этой книги и
примера кода разрешение не нужно. Однако на включение
значительного количества примеров кода из книги в
документацию вашего продукта требуется разрешение.
Мы ценим ссылки на эту книгу, но не требуем их. --">