0

Хочу реализовать простой поисковый движок и на первом этапе собираю данные со страницы, по которым затем будет вестись поиск. Однако пытаясь взять со страницы ссылки на каждую новость, получаю ошибку (интерпретатор указывает на непорядок в новости про хоккей). Ошибка звучит так:

ConnectionError: HTTPConnectionPool(host='www.zrg74.ruhttp', port=80): Max retries exceeded with url: //zrg74.ru/sport/item/26982-dorogoj-v-bolshoj-hokkej-v-zlatouste-namereny-sozdat-otdelnuju-sekciju-dlja-podgotovki-vratarej.html (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x00000174B78FCBC8>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))

Привожу фрагмент кода. В нем есть функция get_page_text(), которая получает исходник страницы в том виде, в котором она есть:

...
response = requests.get(url, headers=headers, allow_redirects=True)
if response.status_code == 200:
        page_text = response.text
        return page_text
...

Код обработки URL'a следующий:

soup = BeautifulSoup(page_text)
posts_list = soup.find_all('div', {'class': 'jeg_post_excerpt'}) 
for p in posts_list:
    lnk = p.find('a').attrs['href']
    title = re.sub('[^А-ЯЁа-яё0-9\s]', ' ', p.text)
    title = re.sub('\s\s+', ' ', title)
    page_url = 'http://www.zrg74.ru' + lnk
    clean_path = '/'.join([d for d in page_url.split('/')[2:] if len(d) > 0])

    page_text = get_page_text(page_url, USER_AGENT)
    if page_text is None:
        continue
    dir_path = 'data/raw_pages/' + '/'.join(clean_path.split('/')[:-1])
    makedirs(dir_path, exist_ok=True) 
    with open(dir_path + '/' + clean_path.split('/')[-1] + '.html', 'w', encoding='utf-8') as f:
        f.write(page_text)

Результат мне на данном этапе нужен наподобие такого:

{'http://zrg74.ru/obshhestvo/item/26959-rabota-ne-dlja-galochki-zlatoustovec-povedal-o-njuansah-raboty-perepischika.html',
 'http://zrg74.ru/obshhestvo/item/26954-vzjalis-vmeste-dve-semi-iz-zlatousta-prinjali-uchastie-v-oblastnom-festivale-dlja-zameshhajushhih-semej.html'}

Еще ремарка: USER_AGENT - это строка с наименованием браузеров, с которыми работаем

2
  • Если иду построчно по коду, то в этой строке ловлю, с одной стороны, ошибку: lnk = p.find('a').attrs['href']. Ошибка: AttributeError: 'NoneType' object has no attribute 'attrs' С другой стороны, если писать print(lnk), то получаем список ссылок. Странно 13 ноя 2021 в 12:20
  • В итоге я убрал проверку кода с регулярными выражениями и избавился от переменной page_url, заменив ее далее на lnk. Вроде, получилось создать директории, но, сожалению, пока пустые. Не смог спарсить адреса 13 ноя 2021 в 13:56

1 ответ 1

2

Не разбирайте URL-и "вручную", у вас похоже местами ерунда какая-то получается. Используйте стандартную библиотеку urllib.parse, она правильно разделит URL на составляющие и правильно склеит обратно сайт и путь в правильный URL.

Также проверяйте, что .find что-то нашёл, а не вернул None и только тогда берите дальше атрибуты. Ну либо оборачивайте такие фрагменты кода в try - except.

Дополнение:

С каталогами в файловой системе нужно работать через os.path.split и os.path.join.

То есть через urllib делаете split и достаёте путь, имя файла, потом через os.path.join наоборот делаете нужный путь в файловой системе. Не складывайте и не дробите пути вручную, используйте urllib.parse и os.path и там и там есть split и join, которые разбивают и объединяют пути гораздо правильнее.

4
  • туплю, но не получается с этой библиотекой переписать данный участок: dir_path = 'data/raw_pages/' + '/'.join(lnk.split('/')[:-1]) makedirs(dir_path, exist_ok=False) # exist_ok=True - управление ошибкой with open(dir_path + '/' + lnk.split('/')[-1] + '.html', 'w', encoding='utf-8') as f: f.write(page_text) 13 ноя 2021 в 17:14
  • 1
    @АлексейКазанцев Забыл упомянуть, что с каталогами в файловой системе надо работать через os.path.split и os.path.join
    – CrazyElf
    13 ноя 2021 в 17:17
  • 1
    Ну то есть через urllib делаете split и достаёте путь, имя файла, потом через os.path.join наоборот делаете нужный путь в файловой системе. Не складывайте и не дробите пути вручную, используйте urllib.parse и os.path и там и там есть split и join, которые это делают гораздо правильнее.
    – CrazyElf
    13 ноя 2021 в 17:19
  • 1
    круто! алгоритм сработал. Немного скорректировал цикл, добавив счетчик, чтобы при второй итерации не ругался на ранее созданный путь. Иду дальше 14 ноя 2021 в 8:39

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.