Похоже, что проблема связана с тем, как вы пытаетесь получить доступ к атрибуту data-link
элемента row.taskbook
. В вашем коде вы используете метод find_element
для поиска элемента row.taskbook
внутри переменной element
, которая представляет каждый элемент с именем класса tasks
.
Вместо этого вы должны использовать метод find_element
для поиска элемента row.taskbook
внутри переменной element
, которая представляет каждый элемент task
. Вы можете сделать это, связав методы find_element
в цепочку, например:
users_url = []
for element in driver.find_elements(By.CLASS_NAME, 'tasks')[:20]:
users_url.append(element.find_element(By.CLASS_NAME, 'row.taskblok').get_attribute('data-link'))
print(users_url)
Этот код будет выполнять итерацию по первым 20 элементам task
с именем класса tasks
, и для каждого элемента он найдет внутри него элемент row.taskblok
, а затем извлекет атрибут data-link
этого элемента.
Я надеюсь, что это поможет!
UPD1:
Если код выводит только одну ссылку, возможно, что метод find_element
неправильно находит элемент блока row.task
. Вот несколько способов, которые вы можете попробовать для устранения проблемы:
Проверьте, действительно ли элементы tasks
содержат элементы блока row.task
. Вы можете сделать это, вручную проверив HTML-код или добавив инструкцию print
внутри цикла, чтобы увидеть содержимое каждого элемента.
Попробуйте использовать метод find_elements
вместо find_element
. Метод find_elements
возвращает список всех совпадающих элементов, поэтому вы можете выполнить цикл по списку и извлечь атрибут data-link
для каждого элемента row.taskblok
. Вот пример фрагмента кода:
users_url = []
for element in driver.find_elements(By.CLASS_NAME, 'tasks')[:20]:
rows = element.find_elements(By.CLASS_NAME, 'row.taskblok')
for row in rows:
users_url.append(row.get_attribute('data-link'))
print(users_url)
Этот код найдет все элементы блока row.task
внутри первых 20 элементов tasks
и добавит их атрибут data-link
в список users_url
.
- Убедитесь, что страница завершила загрузку, прежде чем запускать код. Вы можете добавить инструкцию
wait
перед циклом, чтобы убедиться, что элементы tasks
загрузились. Например:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
# Wait for the page to load
wait = WebDriverWait(driver, 10)
tasks = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'tasks')))
# Extract links
users_url = []
for element in tasks[:20]:
users_url.append(element.find_element(By.CLASS_NAME, 'row.taskblok').get_attribute('data-link'))
print(users_url)
Этот код будет ждать до 10 секунд, пока элементы задач появятся на странице, прежде чем извлекать ссылки. Если элементы tasks
не будут присутствовать через 10 секунд, код вызовет исключение TimeoutException
.