0

Авторизовался скриптом и кликнул на уведомления. Но как вывести все ссылки с этой формы? Использовал модуль htmldom, но результатов никаких. Вот код метода:

    def authorization(self):
    driver = './geckodriver'
    browser = webdriver.Firefox(executable_path=driver)
    browser.get('https://www.livejournal.com/identity/login.bml?type=google&auto_forwhat=wwws%24/')
    enterFirst = browser.find_element_by_class_name('RveJvd')
    login = browser.find_element_by_id('identifierId')
    time.sleep(2)
    login.send_keys('mylogin')
    enterFirst.click()
    time.sleep(2)
    password = browser.find_element_by_name('password')
    enterSecond = browser.find_element_by_id('passwordNext')
    password.send_keys('mypassword')
    enterSecond.click()
    browser.get('https://www.youtube.com')
    time.sleep(5)
    notifications = browser.find_element_by_class_name('ytd-notification-topbar-button-renderer')
    notifications.click()
    urls = []
    dom = htmldom.HtmlDom("https://www.youtube.com")  
    dom = dom.createDom()
    p_links = dom.find('a class="yt-simple-endpoint style-scope ytd-notification-renderer"')  
    for link in p_links:
      print ("URL: " +link.attr("href"))
    time.sleep(100)

Что неправильно?

7
  • за те 7 лет, что не обновлялся htmldom на youtube многое могло поменять. Попробуйте использовать bs4 (BeautifulSoup) 17 мая 2020 в 8:58
  • Слушай, подскажешь, как в BeautifulSoup получить текущее состояние страницы? Что передавать как аргумент текущего состояния? 17 мая 2020 в 9:44
  • File "main.py", line 42, in authorization soup = BeautifulSoup(html) NameError: name 'html' is not defined 17 мая 2020 в 9:48
  • Насколько я понимаю проблема не с авторизацией а с разбором html кода. Html код от селениума можно получить через getattribute('innerHTML') и разобрать его с помощью BeautifulSoup 17 мая 2020 в 11:58
  • Это же метод. А что должно быть в качестве элемента? 17 мая 2020 в 13:15

2 ответа 2

1

Без претензии на ответ. Просто раз уж автор заморочился с selenium поделюсь тем, чем пользуюсь сам. Мне так удобней:

from distutils.util import get_platform
from os import mkdir, path

from selenium.common.exceptions import *
from selenium.webdriver import Firefox
from selenium.webdriver import FirefoxOptions
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile
from selenium.webdriver.firefox.webelement import FirefoxWebElement
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.ui import WebDriverWait

class FirefoxBrowser(Firefox):
    def __init__(self,
                 silent_mode: bool = False,
                 driver: str = 'geckodriver',
                 close_timeout: int = 0,
                 max_window: bool = True,
                 no_images: bool = True):

        """

        :param silent_mode: логическое, по умолчанию False отвечает за отображение окна браузера. Если запуск происходит
        из под Windows можно применить значение, True (отобразить окно), при запуске в Linux окно всегда скрыто;

        :param driver: указывает расположение файла `geckodriver`. Если файл находится не в дериктории проекта,
        необходимо указать полный путь к файлу, или добавить путь к файлу в переменную PATH;

        :param close_timeout: время задержки до закрытия окна браузера после завершения работы. По умолчани 0 сек.;

        :param max_window: параметр отвечающий за развертывание окна браузера до максимального размера при запуске
        :param no_images: блокировка изобращений на сайтах.
        """

        self.__close_timeout = close_timeout

        if get_platform().partition('-')[0] == 'linux':
            silent_mode = True
            max_window = False

        opt = FirefoxOptions()
        opt.headless = silent_mode

        profile = FirefoxProfile()

        if no_images:
            profile.set_preference('permissions.default.image', 2)

        if not path.exists('./logs/'):
            mkdir('./logs/')

        super().__init__(options=opt,
                         executable_path=driver,
                         firefox_profile=profile,
                         service_log_path='./logs/geckodriver.log')
        if max_window:
            self.maximize_window()

    def scroll_to_element(self, element: FirefoxWebElement):
        self.execute_script("arguments[0].scrollIntoView();", element)

    def wait_for_element(self, by: By, ident: str, timeout: int = 5):
        try:
            WebDriverWait(self, timeout).until(
                expected_conditions.presence_of_all_elements_located(
                    (by, ident)
                )
            )
            return self.find_element(by, ident)
        except TimeoutException:
            return None

    @property
    def action(self):
        return ActionChains(self)

0

Проблема была решена отбросом всех костылей типа htmldom и bs4. Были использованы регулярные выражения (модуль re). А для просмотра исходника веб-страницы - простая функция:

    element = browser.page_source

Далее:

    urls = re.findall(r'(?:<a class="yt-simple-endpoint style-scope ytd-notification-renderer" tabindex="0" role="link" href=")(.*)">', element)
    print(urls)

Всем спасибо.

Обратите внимание на мой код: он полностью решает проблему автоматической авторизации на Гугле.

1
  • Не очень хорошая практика использовать регулярные выражения для разбора структурированных документов, Вы это со временем поймете. Но что работает - то работает. Будем надеяться, что проблем не возникнет. 17 мая 2020 в 15:28

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.