1

Есть форум http://forum.arizona-rp.com/index.php?online/&type=registered Надо сделать так, чтобы он сам проходил по странице пользователи онлайн их там в районе 80 бывает. И парсил ссылки на аккаунты.

3
  • В голову вообще не лезут мысли. Поэтому прошу помощи 7 сен 2018 в 16:52
  • Вам с помощью какой библиотеки?
    – danilshik
    7 сен 2018 в 18:10
  • @danilshik ну было бы не плохо, с помощью селениума, я знаю вы говорил, что он тугой и долгий, но мне если честно всё равно какой он. 7 сен 2018 в 18:11

2 ответа 2

2
from selenium import webdriver

import time   

url_main = 'http://forum.arizona-rp.com/index.php?online/&type=registered' # Адрес форума   


def parse_fist_list_user(driver, url):

    url_list_users = []
    driver.get(url)
    # Обход проверки браузера
    time.sleep(5)

    # Получаем блок навигации
    div_PageNav = driver.find_element_by_class_name('PageNav')

    #Получаем количество страниц
    count_page = int(div_PageNav.get_attribute('data-last'))
    #Заполняем список url страниц с пользователями
    for i in range(1,count_page):
        url_list_users.append(url_main+'&page='+str(i))
        print(url+'&page='+str(i))
    return url_list_users


def parse_list_users(driver,urls):
    users_url = []
    #Переход по очереди
    for url in urls:

        driver.get(url)
        print('Страница:', url)

        users = driver.find_elements_by_css_selector('li.memberListItem')
        for user in users:
            users_url.append(user.find_element_by_tag_name('a').get_attribute('href'))

    return users_url




if __name__ == "__main__":
    start = time.time()
    driver = init_driver()
    url_list_users = parse_fist_list_user(driver, url_main)
    users = parse_list_users(driver, url_list_users)
    for user in users:
        print(user)
    print('Количество пользователей онлайн:',str(len(users)))
    print('Время парсинга:',time.time()-start)

Теперь инициализация браузера.

Запуск браузера без настроек. 100 секунд

def init_driver():
    ff = "../../install/chromedriver"
    driver = webdriver.Chrome(executable_path=ff)
    return driver

Запуск с отключением загрузки изображений. 74 секунды

def init_driver():
    ff = "../../install/chromedriver"
    chrome_option = webdriver.ChromeOptions()
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_option.add_experimental_option("prefs", prefs)

    driver = webdriver.Chrome(executable_path=ff,chrome_options=chrome_option)
    return driver

С отключением запуска браузера (Режим Headless). 105 секунд

def init_driver():
    ff = "../../install/chromedriver"
    chrome_option = webdriver.ChromeOptions()
    chrome_option.add_argument("headless")

    driver = webdriver.Chrome(executable_path=ff,chrome_options=chrome_option)
    return driver

Последние 2 режима вместе. 98 секунд

def init_driver():
    ff = "../../install/chromedriver"
    chrome_option = webdriver.ChromeOptions()
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_option.add_experimental_option("prefs", prefs)
    chrome_option.add_argument("headless")
    driver = webdriver.Chrome(executable_path=ff,chrome_options=chrome_option)
    return driver

Выбирай сам, какой тебе лучше. Но как я уже советовал, можно написать более быстрые и легкие парсеры на других библиотеках, нежели на Selenium Webdriver

11
  • о каких более быстрых и лёгких библиотеках вы говорите?
    – jfs
    8 сен 2018 в 5:14
  • @jfs это lxml или Beautiful Soup 8 сен 2018 в 6:31
  • lxml и beautifulsoup только статическое содержимое понимают и не могут заменить веб браузер в общем случае
    – jfs
    8 сен 2018 в 6:33
  • @danilshik кстати, почему то код не запускается, в функции init_driver() внёс данные о браузере FireFox, FirefoxBinary, FirefoxProfile но что то пошло не так 8 сен 2018 в 8:07
  • Добавьте ваш код метода в вопрос
    – danilshik
    8 сен 2018 в 15:02
2

Если содержимое статическое (элементы на странице не генерируются динамически с помощью javascript), то вместо запуска веб-браузера, может быть проще использовать обычный http клиент и html парсер. К примеру, чтобы найти ссылки на все вопросы в результатах поиска по Stack Overflow сайту:

#!/usr/bin/env python
import itertools
import time

import requests  # http client
from lxml import html  # html parser

start_url = 'https://ru.stackoverflow.com/search?tab=Newest&q=infavorites%3a23044'

questions = []
for page in itertools.count(1):
    r = requests.get(start_url + '&page=' + str(page))
    parser = html.HTMLParser(encoding=r.encoding)
    doc = html.document_fromstring(r.content, parser=parser)
    new = [a.get('href') for a in doc.cssselect('a.question-hyperlink')]
    if not new:
        break
    questions += new
    time.sleep(5)  # don't hammer the site

Здесь номер страницы увеличивается до тех пор пока новые результаты обнаружены.

Если страница генерируется динамически javascript, то см. Как парсить html страничку с JavaScript в python 3?

Стоит посмотреть предоставляет ли сайт официальное API такое как Stack Exchange API, которое эффективней может позволить нужную информацию получить, пример.

3
  • Я попросил с конкретной ссылкой, вы показали на примере стака, не надо так 8 сен 2018 в 8:05
  • @МаксимХалин вопросы на Stack Overflow предназначены не только для автора, но и для других людей с похожей проблемой¶ Ответ с selenium уже приведён. Мой ответ можно в более простых случаях использовать (проще).
    – jfs
    8 сен 2018 в 8:48
  • Здравствуйте, не могли бы вы помочь? ru.stackoverflow.com/questions/920268/… 15 дек 2018 в 14:38

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.