1

За тест взял этот форум и попытался сделать запрос на поиск и после из результата получить этот список в неком виде. Но почему-то не находит все теги h3

import requests
from urllib.parse import urlparse, urljoin
from bs4 import BeautifulSoup

url='https://stackoverflow.com/search?q='
txt='world'

txt = txt.lower()
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'}
response = requests.get(url+txt, headers = headers, timeout=15).content
domain_name = urlparse(url).scheme +'://'+ urlparse(url).netloc
soup = BeautifulSoup(response, 'html.parser')
# поиск результатов поиска
for h3_tag in soup.findAll("h3"):
    for a_tag in h3_tag.findAll("a"):
        href = a_tag.attrs.get("href")
        if href == "" or href is None or href == domain_name:
            continue
        # присоединяемся к URL, если он относительный (не абсолютная ссылка)
        try:
            href = urljoin(domain_name, href)
        except:
            continue
        # соединение с одинм из результатов и поиск текста
        respon = requests.get(href, timeout=15)
        lin = BeautifulSoup(respon.text.lower(), 'lxml')
        items = lin.stripped_strings
        for x in items:
            if txt in x:
                res = x + '\n--------------------------------\n'
                print(res + href + '\n\n')
        respon.close()

Получаю в response страницу верификации, так конекчусь через прокси. блин и как это обойти сохранив вход через прокси?, это важно. Смена юзер-агента не помогло

2
  • Так из заголовка не понятно - "не находить" или, все-таки, "находить"?
    – strawdog
    Commented 20 февр. 2023 в 14:25
  • @strawdog чуть откорректировал)). .findAll и .find_all не корректно работают, не на ходят все указанные теги на сайте
    – krolaper
    Commented 20 февр. 2023 в 14:31

1 ответ 1

1
response = requests.get(url, timeout=15) 
print(response.url)

# https://stackoverflow.com/search?q=` не хватает чего-то? 
# может быть и это
# https://stackoverflow.com/nocaptcha?s=1b1a1ad3-69e7-492d-8583-a451c775abda 

response = requests.get(url + txt, timeout=15)
print(response.url)

# https://stackoverflow.com/search?q=world
# или
# https://stackoverflow.com/nocaptcha?s=1b1a1ad3-69e7-492d-8583-a451c775abda 
 
soup = BeautifulSoup(response.content, 'html.parser')
for x in soup.find_all('div', {'class': "s-post-summary--content"}):
    print(f"https://stackoverflow.com{x.a['href']}")

# получаем что хотели
# или
# не чего, пустоту
8
  • Да там +txt сорри, подправил описание. Но мне нужно без поскика div, class, и т.д. Я поэтому использую findAll, так как сайт может быть любой, пока это пример. И я не пойму почему эта фунция не определяется все h3, да даже не важно что там будет указано, не найдет она все.
    – krolaper
    Commented 21 февр. 2023 в 7:08
  • какой-то косяк, потому что в soup у меня не та страница, что в браузере, почему-то.
    – krolaper
    Commented 21 февр. 2023 в 7:49
  • Я блин получаю в страницу верификации, так конекчусь через прокси. блин и как это обойти сохранив вход через прокси?, это важно.
    – krolaper
    Commented 21 февр. 2023 в 7:55
  • "в soup у меня не та страница" скорее всего происходить перенаправление на другой адрес (редирект) смотрите print(response.url) кудв именно происходить перенаправление. "так конекчусь через прокси." Прокси используют для обхода блокировки по IP, у вас нет блокировки по IP так сайт отвечает вам, Скорее всего сайт понимает, что вы не брвузер print(response.headers) cмотрим на юзер-агент (явно видно что вы не мозила или опера и даже не хром). Как поменять юзер-агента найдете на просторах интернета. Commented 21 февр. 2023 в 8:45
  • добавил смену юзер-агента - проблема осталась. Провераю что всетаки за юзер агент, а там почему-то не он. главную тему откорректировал
    – krolaper
    Commented 21 февр. 2023 в 8:48

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.