1
browser.get('http://forum.revent-rp.ru/') # Адресс форума

onlineusers = 79
users = []
link = browser.find_element_by_class_name('name')
link.find_element_by_css_selector('a').get_attribute('href')


for i in range(onlineusers):
    users.append(link.text)

На форуме внизу есть список пользователей онлайн. Мне нужно получить ссылки на их аккаунты и внести их в массив. Но как сделать так, чтобы получить много ссылок?

0

2 ответа 2

3

Парсер на Selenium. Но как говорил @hedgehogues, лучше с ним не парсить так как слишком медленный, а смотреть в сторону Beautiful Soup или вообще lxml.

C помощью Selenium парсят только в том случае, если страница генерируется с помощью Javascript

users = []
ff = "../../install/chromedriver" 
driver = webdriver.Chrome(executable_path=ff)
driver.get('http://forum.revent-rp.ru/') # Адрес форума


block_users = driver.find_element_by_css_selector('#board_statistics>p:not([class])')
users_a = block_users.find_elements_by_css_selector('a')
for user_a in users_a:
    users.append(user_a.get_attribute('href'))


print(users)
driver.quit()
3
3

На lxml + request:

import requests
import lxml.html
users = []
url = 'http://forum.revent-rp.ru/' # Адрес форума

def get_html(request):
    return lxml.html.fromstring(request.text)

if __name__ == "__main__":
    r = requests.get(url)
    html = get_html(r)
    block_users = html.cssselect('#board_statistics>p:not([class])')[0]
    users_a = block_users.cssselect('a')
    for user_a in users_a:
        users.append(user_a.get('href'))
    print(users)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.