За тест взял этот форум и попытался сделать запрос на поиск и после из результата получить этот список в неком виде. Но почему-то не находит все теги h3
import requests
from urllib.parse import urlparse, urljoin
from bs4 import BeautifulSoup
url='https://stackoverflow.com/search?q='
txt='world'
txt = txt.lower()
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'}
response = requests.get(url+txt, headers = headers, timeout=15).content
domain_name = urlparse(url).scheme +'://'+ urlparse(url).netloc
soup = BeautifulSoup(response, 'html.parser')
# поиск результатов поиска
for h3_tag in soup.findAll("h3"):
for a_tag in h3_tag.findAll("a"):
href = a_tag.attrs.get("href")
if href == "" or href is None or href == domain_name:
continue
# присоединяемся к URL, если он относительный (не абсолютная ссылка)
try:
href = urljoin(domain_name, href)
except:
continue
# соединение с одинм из результатов и поиск текста
respon = requests.get(href, timeout=15)
lin = BeautifulSoup(respon.text.lower(), 'lxml')
items = lin.stripped_strings
for x in items:
if txt in x:
res = x + '\n--------------------------------\n'
print(res + href + '\n\n')
respon.close()
Получаю в response
страницу верификации, так конекчусь через прокси. блин и как это обойти сохранив вход через прокси?, это важно.
Смена юзер-агента не помогло
.findAll
и.find_all
не корректно работают, не на ходят все указанные теги на сайте