Митчелл Современный скрапинг веб-сайтов с помощью Python. 2-е межд. издание

Если программирование напоминает волшебство, то веб-скрапинг — это очень сильное колдунство. Написав простую автоматизированную программу, можно отправлять запросы на веб-серверы, запрашивать с них данные, а затем анализировать их и извлекать необходимую информацию. Новое расширенное издание книги знакомит не только с веб-скрапингом, но и поможет собрать любого вида данные в современном Интернете.
В части I основное внимание уделено механике веб-скрапинга: как с помощью Python запрашивать информацию с веб-сервера, производить базовую обработку серверного отклика и организовать автоматизированное взаимодействие с сайтами. В части II исследованы более специфичные инструменты и приложения, которые пригодятся при любом сценарии веб-скрапинга.
— Разбирайте сложные HTML-страницы.
— Разрабатывайте поисковые роботы с помощью фреймворка Scrapy.
— Изучайте методы хранения данных, полученных с помощью скрапинга.
— Считывайте и извлекайте данные из документов.
— Очищайте и нормализуйте плохо отформатированные данные.
— Читайте и пишите информацию на естественных языках.
— Освойте поиск по формам и логинам.
— Изучите скрапинг JavaScript и работу с API.
— Используйте и пишите программы для преобразования изображений в текст.
— Учитесь обходить скрапинговые ловушки и блокаторы ботов.
— Протестируйте собственный сайт с помощью скрапинга.

IT-технологии

Возрастные ограничения: 16+

Издательство: Питер

Бумажных страниц: 437

Книгу «Современный скрапинг веб-сайтов с помощью Python. 2-е межд. издание», автор которой — Митчелл, вы можете почитать на сайте или в приложении для iOS или Android. Книги, аудиокниги и комиксы электронной библиотеки Яндекс Книг можно читать и слушать онлайн или скачивать на устройство, чтобы читать без интернета.

Митчелл Современный скрапинг веб-сайтов с помощью Python. 2-е межд. издание

О книге Цитаты61 Читают520 На полках

IT-технологии

Возрастные ограничения: 16+

Издательство: Питер

Бумажных страниц: 437

Цитаты61

Georgyцитирует1 месяц назад

urlopen('http://www.pythonscraping.com/pages/page1.html')

Комментировать

михаил елистратовцитирует2 месяца назад

2. Добавить ровно пять букв b.
3. Добавить произвольное четное число букв c.
4. В конце поставить букву d или e.
Этим правилам соответствуют строки aaaabbbbbccccd, aabbbbbcce и т.д. (количество вариантов бесконечно).
Регулярные выражения — всего лишь краткий способ представления этих наборов правил. Например, регулярное выражение для описанного выше набора правил выглядит так:
aa*bbbbb(cc)*(d|e)
На первый взгляд эта строка смотрится жутковато, но она станет понятнее, если разбить ее на составляющие:
•aa* — буква a, после которой стоит символ * (звездочка), означает «любое количество букв a, включая 0». Такая запись гарантирует, что буква a будет написана хотя бы один раз;
• bbbbb — ничего особенного, просто пять букв b подряд;
• (cc)* — любое количество чего угодно можно заключить в скобки. Поэтому для реализации правила о четном количестве букв c мы можем написать две буквы c, заключить их в скобки и поставить после них звездочку. Это значит, что в строке может присутствовать любое количество пар, состоящих из букв c (обратите внимание, что это также может означать 0 пар);
• (d|e) — вертикальная линия между двумя выражениями означает «то или это». В данном случае мы говорим «добавить d или e». Таким образом мы гарантируем, что в строку добавится ровно один из этих двух символов.

Комментировать

Адель М.цитирует2 месяца назад

Всякий раз, обращаясь к тегу в объекте BeautifulSoup, разумно добавить проверку того, существует ли этот тег. При попытке доступа к несуществующему тегу BeautifulSoup возвращает объект None.

Комментировать