1

Вот мой код

import sys, re, requests as r
l = []
pattern = r'<a href=[",\'][\w+://]*?([\w,\s,\.,\-,_]+?\.\w+)[/,\w]*?  [\:[0-9]*]*?[",\']'
f = re.findall(pattern, r.get(input()).text)
for i in f:
    if i not in l:
l.append(i)
for i in sorted(l):
    print(i)

Вот сайт, который я парсю http://pastebin.com/raw/hfMThaGb Скрипт выводит все нужные ссылки, кроме sas-_0123d.ifmo.ru Почему?

4
  • 1. Старайтесь экранировать любый кавычки, которые есть в регулярке, 2. Зачем пробел перед [\:[0-9]*]*?[",\'] ? 3. Зачем запятые в списке подстановки [\w,\s,\.,\-,_]? вот в таком виде должно работать: regex101.com/r/vSl29Z/1
    – strawdog
    13 июн 2019 в 5:30
  • @strawdog Все равно не ищет repl.it/@nikitaden03/WebbedOilyKeygens 13 июн 2019 в 5:50
  • Это не регесп не ищет, это у вас реквест ошибку выдает.
    – strawdog
    13 июн 2019 в 5:56
  • Давайте сначала: какие именно ссылки вам нужны? Как вы опишите словами их формат? 13 июн 2019 в 7:26

1 ответ 1

4

Вы ищите ссылки, которые не начинаются с ../. Используйте BeautifulSoup:

from bs4 import BeautifulSoup
import sys, requests as r
#...
def parse_links(html):
    soup = BeautifulSoup(html, 'html.parser') # Инициализируем DOM
    a_tags = soup.find_all('a', href = True)  # Находим все теги а с атрибутом href
    return [x['href'] for x in a_tags if not x['href'].startswith('../')] # Получаем все значения атрибута href, не начинающегося с '../'

for link in sorted(parse_links(r.get(input()).text)):
    print(link)

Результат:

['bya-2.ru', 'bya.ru', 'ftp://mail-2.ru/distib', 'ftp://mail-2.ru/distib', 'ftp://mail.ru/distib', 'ftp://mail.ru/distib', 'ftp://www.masdaya.ru', 'ftp://www.mya-2.ru', 'http://a.b.vc.ttepic-2.org/courses', 'http://a.b.vc.ttepic.org/courses', 'http://ftepic-2.org/courses', 'http://ftepic.org/courses', 'http://neerc.ifmo-2.ru:1345', 'http://neerc.ifmo-2.ru:1345', 'http://neerc.ifmo-2.ru:1345', 'http://neerc.ifmo.ru:1345', 'http://neerc.ifmo.ru:1345', 'http://neerc.ifmo.ru:1345', 'http://sas-_0123d.ifmo.ru:1345', 'http://sasd.ifmo-2.ru:1345', 'http://steeeeeeepic.org/courses', 'http://stepic-2.org/courses', 'http://stepic-2.org/courses', 'http://stepic.org/courses', 'http://www.gtu.edu-2.ge/index_e.htm', 'http://www.gtu.edu.ge/index_e.htm', 'http://www.ya-2.ru', 'http://www.ya.ru', 'http://zzz.last.test-1.stepic.org/courses', 'http://zzz.last.test-2.stepic.org/courses', 'https://stepic-2.org', 'https://stepic-2.org', 'https://stepic.org', 'https://stepic.org', 'https://stepic.org/media/attachments/lesson/24471/02', 'https://www.ya-2.ru', 'https://www.ya.ru', 'test.com', 'test.com?get=http://test2.ru/?true', 'test1.com:8080/test/path?get=http://test2.ru/?true', 'www.kya-2.ru', 'www.kya.ru', 'www.ya-2.ru', 'www.ya.ru', 'ya-2.ru', 'ya.ru']

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.