1

Помогите спарсить ссылки в цикле, не пойму как это реализовать делаю так :

users_url = []

for element in driver.find_elements(By.CLASS_NAME, 'tasks')[:20]:
    users_url.append(driver.find_element(By.CLASS_NAME, 'row.taskblok').get_attribute('data-link'))
print(users_url)

Выдает только первый data-link и это логично. Если бы row taskblok были внутри других дивов, то можно было бы зацепиться и перебрать их внутри цикла, а так не пойму как мне это сделать.

1 ответ 1

1

Похоже, что проблема связана с тем, как вы пытаетесь получить доступ к атрибуту data-link элемента row.taskbook. В вашем коде вы используете метод find_element для поиска элемента row.taskbook внутри переменной element, которая представляет каждый элемент с именем класса tasks.

Вместо этого вы должны использовать метод find_element для поиска элемента row.taskbook внутри переменной element, которая представляет каждый элемент task. Вы можете сделать это, связав методы find_element в цепочку, например:

users_url = []

for element in driver.find_elements(By.CLASS_NAME, 'tasks')[:20]:
    users_url.append(element.find_element(By.CLASS_NAME, 'row.taskblok').get_attribute('data-link'))
print(users_url)

Этот код будет выполнять итерацию по первым 20 элементам task с именем класса tasks, и для каждого элемента он найдет внутри него элемент row.taskblok, а затем извлекет атрибут data-link этого элемента.

Я надеюсь, что это поможет!

UPD1: Если код выводит только одну ссылку, возможно, что метод find_element неправильно находит элемент блока row.task. Вот несколько способов, которые вы можете попробовать для устранения проблемы:

  1. Проверьте, действительно ли элементы tasks содержат элементы блока row.task. Вы можете сделать это, вручную проверив HTML-код или добавив инструкцию print внутри цикла, чтобы увидеть содержимое каждого элемента.

  2. Попробуйте использовать метод find_elements вместо find_element. Метод find_elements возвращает список всех совпадающих элементов, поэтому вы можете выполнить цикл по списку и извлечь атрибут data-link для каждого элемента row.taskblok. Вот пример фрагмента кода:

users_url = []

for element in driver.find_elements(By.CLASS_NAME, 'tasks')[:20]:
    rows = element.find_elements(By.CLASS_NAME, 'row.taskblok')
    for row in rows:
        users_url.append(row.get_attribute('data-link'))
        
print(users_url)

Этот код найдет все элементы блока row.task внутри первых 20 элементов tasks и добавит их атрибут data-link в список users_url.

  1. Убедитесь, что страница завершила загрузку, прежде чем запускать код. Вы можете добавить инструкцию wait перед циклом, чтобы убедиться, что элементы tasks загрузились. Например:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# Wait for the page to load
wait = WebDriverWait(driver, 10)
tasks = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'tasks')))

# Extract links
users_url = []
for element in tasks[:20]:
    users_url.append(element.find_element(By.CLASS_NAME, 'row.taskblok').get_attribute('data-link'))

print(users_url)

Этот код будет ждать до 10 секунд, пока элементы задач появятся на странице, прежде чем извлекать ссылки. Если элементы tasks не будут присутствовать через 10 секунд, код вызовет исключение TimeoutException.

2
  • Так же выводит одну ссылку, но все же спасибо !
    – team arden
    15 фев в 4:54
  • @teamarden обновил ответ. Можете попробовать новые предложенные мной способы после надписи UPD1 15 фев в 5:05

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.