-1

Пробовал через BeautifulSoup, хтмл сессии, как я понимаю такой код:

soup = BeautifulSoup(html, 'lxml')
items = soup.find_all('a', {'class': 'Link Link_theme_outer Path-Item link path__item link organic__greenurl'})

уже не будет работать, подскажите направление, куда двигаться?

4
  • 1
    Возможный дубликат вопроса: Как спарсить выдачу поисковика с помощью BeautifulSoup 28 авг 2022 в 13:20
  • Так, как в этом примере уже точно не получиться. Яндекс в последнее время стал очень "психованным" и в ответ летит только капча ))
    – Johan
    28 авг 2022 в 14:54
  • Я зачем нужно парсить яндекс для изучения питона? Нормальных задач нет что ли? Может лучше какой-нибудь codewars или leetcode прорешать?
    – Alexey Ten
    28 авг 2022 в 15:28
  • Попробуй начать с более понятной формулировки своих вопросов. 28 авг 2022 в 15:42

1 ответ 1

1

Попробуйте двигаться в сторону selenium, а точнее в сторону selenium_stealth. Вот поисковая выдача из примера по ссылке, из комментариев:

import os
import time
from platform import system

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from selenium_stealth import stealth

options = Options()
# options.add_argument("--headless")
options.add_argument("start-maximized")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

executable_path = None

if system() == "Windows":
    executable_path = os.path.join(os.getcwd(), 'chromedriver', 'chromedriver.exe')
elif system() == "Linux":
    executable_path = os.path.join(os.getcwd(), 'chromedriver', 'chromedriver')

browser = webdriver.Chrome(options=options, service=Service(log_path=os.devnull, executable_path=executable_path))

stealth(driver=browser,
        user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                   'Chrome/83.0.4103.53 Safari/537.36',
        languages=["ru-RU", "ru"],
        vendor="Google Inc.",
        platform="Win32",
        webgl_vendor="Intel Inc.",
        renderer="Intel Iris OpenGL Engine",
        fix_hairline=True,
        run_on_insecure_origins=True,
        )

url = 'https://yandex.ru/search/?clid=9582&text=скачать&lr=118890&p=1'
browser.get(url)
time.sleep(1)

soup = BeautifulSoup(browser.page_source, 'lxml')
links = soup.find_all('div', class_='VanillaReact OrganicTitle OrganicTitle_multiline Typo Typo_text_l Typo_line_m '
                                'organic__title-wrapper')
for item in links:
    try:
        print(item.find('a', class_='Link Link_theme_normal OrganicTitle-Link organic__url link')['href'])
        print("*"*50)
    except TypeError:
        continue

browser.quit()

Можете попробовать так.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.