2

Я хочу получить все ссылки со страницы. Для этого я использую такое регулярное выражение:

pattern = r"<a href=\"(.+)\">"

Но проблема в том, что мне нужно получить только значение первой группы, а не всего значения. При попытке вытащить значение таким образом:

all_href = re.findall(pattern, res.text)

Я получаю всю строку с ненужными мне <a href....

Как получить только \1 из текста?

7
  • На заметку: в общем случае данная регулярка вытащит не все ссылки
    – andreymal
    4 июл 2016 в 11:51
  • Да, про учет пробелов я забыл... Но суть не в этом.
    – faoxis
    4 июл 2016 в 11:53
  • 3
    Не нужно парсить HTML с помощью регулярок. Используйте специальные HTML-парсеры, например BeautiffulSoup. А так, кто межает из полученных строк вырезать нужное с помощью той-же регулярки.
    – andy.37
    4 июл 2016 в 11:58
  • 3
    Что будет, если в html-коде будут использованы одинарные кавычки? Что будет, если в тексте ссылки окажется кавычка? Можно придумать миллион примеров, когда регулярка не сработает.
    – andy.37
    4 июл 2016 в 12:03
  • 1
    stackoverflow.com/questions/1732348/…
    – m9_psy
    4 июл 2016 в 12:23

2 ответа 2

7

Как очень правильно заметил @andy.37 в комментарии, лучше пользоваться инструментами, которые специально предназначены для парсинга HTML, иначе вам придется проделать всю ту работу (обработка специальных случаев типа кавычек и другого, оптимизация по скорости и т.д.), которую уже проделали создатели данных модулей. IMO BeautifulSoup4 самый популярный и удобный из известных мне парсеров:

import requests
from bs4 import BeautifulSoup, SoupStrainer

url='https://www.crummy.com/software/BeautifulSoup/bs4/doc/'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser', parse_only=SoupStrainer('a'))
print([link['href'] for link in soup if link.has_attr('href')])
6
  • 2
    Не является ответом на вопрос :)
    – andreymal
    4 июл 2016 в 12:53
  • @andreymal, спорное утверждение... ;) Вроде должно "получить все ссылки со страницы", как и хотел автор вопроса... 4 июл 2016 в 12:56
  • Ну, формально вопрос был «Как вытащить только \1 из текста?», а с неправильностью подхода мы уже сами пристали)
    – andreymal
    4 июл 2016 в 13:03
  • @andreymal, :-D 4 июл 2016 в 13:04
  • 1
    @faoxis, ну тогда мужайтесь ;) 4 июл 2016 в 13:24
2

Отвечая на сам вопрос — findall возвращает разные результаты в разных ситуациях:

  • если в регулярке нет никаких групп (нет скобочек) — список строк, соответствующих регулярке;

  • одна группа (одна пара скобочек — наш случай) — список строк, содержимого этих скобочек;

  • две и более групп (много скобочек) — список списков (точнее, кортежей) строк с содержимым каждой скобочки.

Регулярка из вопроса для кода '<a href="foo"></a> <a href="bar"></a>' вернула мне ['foo"></a> <a href="bar'] — то есть жадно отожрала всё от самой первой кавычки до самой последней. Как правильно заметил Visman в комментарии, её надо сделать чуть более ленивой одним из вариантов:

  • pattern = r'<a href="(.+?)">' (ищет до первого закрытия тега ">; внутри ссылки могут быть другие кавычки)

  • pattern = r'<a href="([^"]+)">' (ищет до первой кавычки; внутри ссылки кавычек быть не может)

Скорее всего, в случае данного вопроса оба варианта будут эквивалентны.

Тогда findall вернёт содержимое скобочек как положено:

>>> re.findall(pattern, res.text)
['foo', 'bar']

Как уже неоднократно отметили, парсить html регулярками — очень плохая идея; лучше воспользоваться BeautifulSoup4, с которым можно пропарсить всё намного точнее, качественнее и с учётом экранирования :)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.