Есть форум http://forum.arizona-rp.com/index.php?online/&type=registered Надо сделать так, чтобы он сам проходил по странице пользователи онлайн их там в районе 80 бывает. И парсил ссылки на аккаунты.
-
В голову вообще не лезут мысли. Поэтому прошу помощи– khalinmaxim7 сен 2018 в 16:52
-
Вам с помощью какой библиотеки?– danilshik7 сен 2018 в 18:10
-
@danilshik ну было бы не плохо, с помощью селениума, я знаю вы говорил, что он тугой и долгий, но мне если честно всё равно какой он.– khalinmaxim7 сен 2018 в 18:11
2 ответа
from selenium import webdriver
import time
url_main = 'http://forum.arizona-rp.com/index.php?online/&type=registered' # Адрес форума
def parse_fist_list_user(driver, url):
url_list_users = []
driver.get(url)
# Обход проверки браузера
time.sleep(5)
# Получаем блок навигации
div_PageNav = driver.find_element_by_class_name('PageNav')
#Получаем количество страниц
count_page = int(div_PageNav.get_attribute('data-last'))
#Заполняем список url страниц с пользователями
for i in range(1,count_page):
url_list_users.append(url_main+'&page='+str(i))
print(url+'&page='+str(i))
return url_list_users
def parse_list_users(driver,urls):
users_url = []
#Переход по очереди
for url in urls:
driver.get(url)
print('Страница:', url)
users = driver.find_elements_by_css_selector('li.memberListItem')
for user in users:
users_url.append(user.find_element_by_tag_name('a').get_attribute('href'))
return users_url
if __name__ == "__main__":
start = time.time()
driver = init_driver()
url_list_users = parse_fist_list_user(driver, url_main)
users = parse_list_users(driver, url_list_users)
for user in users:
print(user)
print('Количество пользователей онлайн:',str(len(users)))
print('Время парсинга:',time.time()-start)
Теперь инициализация браузера.
Запуск браузера без настроек. 100 секунд
def init_driver():
ff = "../../install/chromedriver"
driver = webdriver.Chrome(executable_path=ff)
return driver
Запуск с отключением загрузки изображений. 74 секунды
def init_driver():
ff = "../../install/chromedriver"
chrome_option = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_option.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(executable_path=ff,chrome_options=chrome_option)
return driver
С отключением запуска браузера (Режим Headless). 105 секунд
def init_driver():
ff = "../../install/chromedriver"
chrome_option = webdriver.ChromeOptions()
chrome_option.add_argument("headless")
driver = webdriver.Chrome(executable_path=ff,chrome_options=chrome_option)
return driver
Последние 2 режима вместе. 98 секунд
def init_driver():
ff = "../../install/chromedriver"
chrome_option = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_option.add_experimental_option("prefs", prefs)
chrome_option.add_argument("headless")
driver = webdriver.Chrome(executable_path=ff,chrome_options=chrome_option)
return driver
Выбирай сам, какой тебе лучше. Но как я уже советовал, можно написать более быстрые и легкие парсеры на других библиотеках, нежели на Selenium Webdriver
-
-
-
lxml и beautifulsoup только статическое содержимое понимают и не могут заменить веб браузер в общем случае– jfs8 сен 2018 в 6:33
-
@danilshik кстати, почему то код не запускается, в функции init_driver() внёс данные о браузере FireFox, FirefoxBinary, FirefoxProfile но что то пошло не так 8 сен 2018 в 8:07
-
Если содержимое статическое (элементы на странице не генерируются динамически с помощью javascript), то вместо запуска веб-браузера, может быть проще использовать обычный http клиент и html парсер. К примеру, чтобы найти ссылки на все вопросы в результатах поиска по Stack Overflow сайту:
#!/usr/bin/env python
import itertools
import time
import requests # http client
from lxml import html # html parser
start_url = 'https://ru.stackoverflow.com/search?tab=Newest&q=infavorites%3a23044'
questions = []
for page in itertools.count(1):
r = requests.get(start_url + '&page=' + str(page))
parser = html.HTMLParser(encoding=r.encoding)
doc = html.document_fromstring(r.content, parser=parser)
new = [a.get('href') for a in doc.cssselect('a.question-hyperlink')]
if not new:
break
questions += new
time.sleep(5) # don't hammer the site
Здесь номер страницы увеличивается до тех пор пока новые результаты обнаружены.
Если страница генерируется динамически javascript, то см. Как парсить html страничку с JavaScript в python 3?
Стоит посмотреть предоставляет ли сайт официальное API такое как Stack Exchange API, которое эффективней может позволить нужную информацию получить, пример.
-
Я попросил с конкретной ссылкой, вы показали на примере стака, не надо так 8 сен 2018 в 8:05
-
@МаксимХалин вопросы на Stack Overflow предназначены не только для автора, но и для других людей с похожей проблемой¶ Ответ с selenium уже приведён. Мой ответ можно в более простых случаях использовать (проще).– jfs8 сен 2018 в 8:48
-
Здравствуйте, не могли бы вы помочь? ru.stackoverflow.com/questions/920268/… 15 дек 2018 в 14:38