0

Хочу реализовать простой поисковый движок и на первом этапе собираю данные со страницы, по которым затем будет вестись поиск. Однако пытаясь взять со страницы ссылки на каждую новость, получаю ошибку (интерпретатор указывает на непорядок в новости про хоккей). Ошибка звучит так:

ConnectionError: HTTPConnectionPool(host='www.zrg74.ruhttp', port=80): Max retries exceeded with url: //zrg74.ru/sport/item/26982-dorogoj-v-bolshoj-hokkej-v-zlatouste-namereny-sozdat-otdelnuju-sekciju-dlja-podgotovki-vratarej.html (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x00000174B78FCBC8>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))

Привожу фрагмент кода. В нем есть функция get_page_text(), которая получает исходник страницы в том виде, в котором она есть:

...
response = requests.get(url, headers=headers, allow_redirects=True)
if response.status_code == 200:
        page_text = response.text
        return page_text
...

Код обработки URL'a следующий:

soup = BeautifulSoup(page_text)
posts_list = soup.find_all('div', {'class': 'jeg_post_excerpt'}) 
for p in posts_list:
    lnk = p.find('a').attrs['href']
    title = re.sub('[^А-ЯЁа-яё0-9\s]', ' ', p.text)
    title = re.sub('\s\s+', ' ', title)
    page_url = 'http://www.zrg74.ru' + lnk
    clean_path = '/'.join([d for d in page_url.split('/')[2:] if len(d) > 0])

    page_text = get_page_text(page_url, USER_AGENT)
    if page_text is None:
        continue
    dir_path = 'data/raw_pages/' + '/'.join(clean_path.split('/')[:-1])
    makedirs(dir_path, exist_ok=True) 
    with open(dir_path + '/' + clean_path.split('/')[-1] + '.html', 'w', encoding='utf-8') as f:
        f.write(page_text)

Результат мне на данном этапе нужен наподобие такого:

{'http://zrg74.ru/obshhestvo/item/26959-rabota-ne-dlja-galochki-zlatoustovec-povedal-o-njuansah-raboty-perepischika.html',
 'http://zrg74.ru/obshhestvo/item/26954-vzjalis-vmeste-dve-semi-iz-zlatousta-prinjali-uchastie-v-oblastnom-festivale-dlja-zameshhajushhih-semej.html'}

Еще ремарка: USER_AGENT - это строка с наименованием браузеров, с которыми работаем

2
  • Если иду построчно по коду, то в этой строке ловлю, с одной стороны, ошибку: lnk = p.find('a').attrs['href']. Ошибка: AttributeError: 'NoneType' object has no attribute 'attrs' С другой стороны, если писать print(lnk), то получаем список ссылок. Странно 13 ноя 2021 в 12:20
  • В итоге я убрал проверку кода с регулярными выражениями и избавился от переменной page_url, заменив ее далее на lnk. Вроде, получилось создать директории, но, сожалению, пока пустые. Не смог спарсить адреса 13 ноя 2021 в 13:56

1 ответ 1

2

Не разбирайте URL-и "вручную", у вас похоже местами ерунда какая-то получается. Используйте стандартную библиотеку urllib.parse, она правильно разделит URL на составляющие и правильно склеит обратно сайт и путь в правильный URL.

Также проверяйте, что .find что-то нашёл, а не вернул None и только тогда берите дальше атрибуты. Ну либо оборачивайте такие фрагменты кода в try - except.

Дополнение:

С каталогами в файловой системе нужно работать через os.path.split и os.path.join.

То есть через urllib делаете split и достаёте путь, имя файла, потом через os.path.join наоборот делаете нужный путь в файловой системе. Не складывайте и не дробите пути вручную, используйте urllib.parse и os.path и там и там есть split и join, которые разбивают и объединяют пути гораздо правильнее.

4
  • туплю, но не получается с этой библиотекой переписать данный участок: dir_path = 'data/raw_pages/' + '/'.join(lnk.split('/')[:-1]) makedirs(dir_path, exist_ok=False) # exist_ok=True - управление ошибкой with open(dir_path + '/' + lnk.split('/')[-1] + '.html', 'w', encoding='utf-8') as f: f.write(page_text) 13 ноя 2021 в 17:14
  • 1
    @АлексейКазанцев Забыл упомянуть, что с каталогами в файловой системе надо работать через os.path.split и os.path.join
    – CrazyElf
    13 ноя 2021 в 17:17
  • 1
    Ну то есть через urllib делаете split и достаёте путь, имя файла, потом через os.path.join наоборот делаете нужный путь в файловой системе. Не складывайте и не дробите пути вручную, используйте urllib.parse и os.path и там и там есть split и join, которые это делают гораздо правильнее.
    – CrazyElf
    13 ноя 2021 в 17:19
  • 1
    круто! алгоритм сработал. Немного скорректировал цикл, добавив счетчик, чтобы при второй итерации не ругался на ранее созданный путь. Иду дальше 14 ноя 2021 в 8:39

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.