Мурат Дурмус - Практическое введение в основные библиотеки и фреймворки Python

Chrome, Firefox,
Safari и Internet Explorer.
С помощью Selenium вы можете создавать сценарии
для автоматизации повторяющихся задач, таких как
заполнение форм, нажатие кнопок, навигация по
страницам и извлечение данных с веб-страниц.
В целом, Selenium — мощный инструмент для вебавтоматизации и тестирования, который может
значительно упростить задачи, которые в противном
случае были бы трудоемкими и затратными по
времени.
Пример использования кода Selenium для парсинга
веб-страниц:
from selenium import webdriver
from selenium.webdriver.common.by import By
# Set up the driver
driver =

160

webdriver.Chrome('path/to/chromedriver')


BEAUTIFULSOUP

# Navigate to the website you want to scrape
driver.get('https://www.example.com'
)
# Find the element you want to interact with
and perform actions
element = driver.find_element(By.XPATH,
'//button[@id="button-id"]')
element.click()
# Extract the data you want from the website
data_element = driver.find_element(By.XPATH,
'//div[@class="data-class"]')
data = data_element.text
# Clean up and close the driver
driver.quit()

В этом примере мы используем драйвер Chrome и
переходим на веб-сайт. Затем мы находим элемент
кнопки и нажимаем на него, что вызывает загрузку
некоторых данных на страницу. Затем мы находим
элемент, содержащий данные, которые мы хотим
очистить, и извлекаем его текст. Наконец, мы
очищаем и закрываем драйвер.
Обратите внимание, что парсинг веб-страниц
может быть «серой зоной» с юридической и
этической точки зрения, а условия обслуживания
некоторых веб-сайтов могут запрещать это.
Обязательно ознакомьтесь с политикой веб-сайта и
будьте этичны в своих действиях по парсингу
данных.
За и против
За
159

•

Можно взаимодействовать с веб-страницами,
как если бы вы использовали веб-браузер, что
позволяет выполнять более сложные задачи по
сбору данных

•

Поддерживает широкий спектр браузеров,
включая Chrome, Firefox, Safari и Internet
Explorer

•

Может обрабатывать динамический контент,
загружаемый с помощью JavaScript, AJAX и
других технологий

•

Поддерживает автономный просмотр, что
позволяет запускать задачи парсинга без
графического пользовательского интерфейса

•

Поддерживает
различные
языки
программирования, включая Python, Java, Ruby
и C#

Против
•

Может работать медленнее, чем другие
библиотеки
веб-парсинга,
поскольку
использует автоматизацию браузера

•

Требует дополнительных настроек и установок
по сравнению с другими библиотеками

•

Может быть более ресурсоемкой, поскольку
для запуска требуется экземпляр браузера

•

Может не подходить для всех задач парсинга
веб-страниц, особенно тех, которые требуют
высокой скорости и масштабируемости
160

--">