1

Слишком много в сети разных холливаров, и совсем не хочу и здесь читать такое. Сейчас вплотную подошел к выбору, но не знаю, какую библиотеку выбрать: одни ругают и советуют забросить Beautiful Soup, другим нравится русская поддержка, одни советуют Grab, другие восхваляют lxml, в общем новичку очень трудно остановится на чем-то одном. Хотелось бы услышать не хвалебную оду, а действительно сильный довод и четкий пример, в общем надо выбрать, а какой именно - не знаю, на каком остановиться?

4 ответа 4

3

Из собственных ощущений:

  • BeautifulSoup удобен, но медленный.
  • К lxml нареканий не имею, его и использовал. Работает в разы шустрее, документация, субъективно, лучше чем у BS. Иногда, субъективно, приходилось делать больше телодвижений, чем с BS. Умеет, если надо, использовать BS для парсинга.
  • Grab не пробовал.
3

Если подходить к этому вопросу с точки зрения производительности, то чистый lxml (точнее Вам нужен subpackage lxml.html) в среднем быстрее всех остальных (конечно, очень много вещей может повлиять на скорость парсинга).

Но, я бы не стал однозначно утверждать, что BeautifulSoup медленный - многое зависит от парсера, который Вы скажете BeautifulSoup использовать - хорошее сочетание это позволить ему использовать lxml.html внутри, что сильно поможет в скорости:

from bs4 import BeautifulSoup

soup = BeautifulSoup(data, "lxml") 

Также, например, Вы можете заранее указать BeautifulSoup, что не нужно парсить все HTML-дерево, а парсить лишь нужную его часть - делается с помощью SoupStrainer.

Также смотрите вот этот топик на SO:


С точки зрения удобства API и работы с библиотекой - очень сложно что-то противопоставить BeautifulSoup - это, пожалуй, одна из самых удобных библиотек, с которыми мне приходилось работать - отличный и удобный API, множество различного функционала, хорошая документация.


Другой важный момент - как парсер поведет себя, если HTML невалидный или сломанный. В этом плане опять же BeautifulSoup гибче - например, html5lib прощает многие ошибки и не раз Вас выручит, если будете много HTML-парсить:

soup = BeautifulSoup(data, "html.parser")
1

Посмотрите библиотеку pyquery. Это по сути обертка над lxml с jQuery-like синтаксисом.

0
+100

Недавно столкнулся с точно таким же вопросом и выбор пал на lxml из-за его устойчивости и НЕ-тормознутости при обработке файлов большого размера. Он нормально воспринимает огрехи в структуре xml, чего не скажешь о других. Но однозначно утверждать не буду - другие либы не использовал. Где-то еще на хабре была статейка про парсинг xml на питоне, там приводились доводы в зачет lxml.
Все вышенаписанное сугубо имхо, при несогласии прошу не минусовать :)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.