Нужно получить все ссылки, находящиеся в атрибуте href
тега а
элемента списка li
класса category_list_cell.col-xs-12.col-sm-6.col-md-3
. Основная проблема для меня в том, что этот класс одинаков у всех элементов списка. Как бы мне так правильно подобраться, чтобы получить все ссылки?
browser = webdriver.Chrome(executable_path="C:\\Users\\user\\PycharmProjects\\pythonProject1\\chromedriver.exe")
eq = ['Датчики DUNGS',
'Регуляторы DUNGS',
'Клапаны DUNGS',
'Мультиблоки DUNGS',
'Блоки контроля герметичности DUNGS',
'DUNGS VPS 504',
'DUNGS VDK',
'DUNGS VPM-VC',
'Принадлежности',
'Фильтры DUNGS',
'Приводы DUNGS',
'Заслонки DUNGS',
'Краны DUNGS',
'Автоматика DUNGS',
'Запчасти DUNGS',
'Системная инженерия DUNGS']
def transliterate(name):
slovar = {'а': 'a', 'б': 'b', 'в': 'v', 'г': 'g', 'д': 'd', 'е': 'e', 'ё': 'yo',
'ж': 'zh', 'з': 'z', 'и': 'i', 'й': 'i', 'к': 'k', 'л': 'l', 'м': 'm', 'н': 'n',
'о': 'o', 'п': 'p', 'р': 'r', 'с': 's', 'т': 't', 'у': 'yu', 'ф': 'f', 'х': 'h',
'ц': 'c', 'ч': 'ch', 'ш': 'sh', 'щ': 'sht', 'ъ': '', 'ы': 'y', 'ь': '', 'э': 'e',
'ю': 'u', 'я': 'ya', 'А': 'a', 'Б': 'b', 'В': 'v', 'Г': 'g', 'Д': 'd', 'Е': 'e', 'Ё': 'yo',
'Ж': 'zh', 'З': 'z', 'И': 'i', 'Й': 'yo', 'К': 'k', 'Л': 'l', 'М': 'm', 'Н': 'n',
'О': 'o', 'П': 'p', 'Р': 'r', 'С': 's', 'Т': 't', 'У': 'u', 'Ф': 'f', 'Х': 'h',
'Ц': 'c', 'Ч': 'ch', 'Ш': 'sh', 'Щ': 'sht', 'Ъ': '', 'Ы': 'y', 'Ь': '', 'Э': 'E',
'Ю': 'yu', 'Я': 'ya', 'A': 'а', 'B': 'b', 'V': 'v', 'G': 'g', 'D': 'd', 'E': 'e', 'Z': 'z', 'I': 'i',
'O': 'o', 'P': 'p', 'R': 'r', 'S': 's', 'T': 't', 'U': 'u', 'F': 'f', 'H': 'h', '" ': '-',
'C': 'c', 'K': 'k', 'L': 'l', 'M': 'm', ',': '-', '?': '', ' ': '-', 'ґ': '', 'ї': '', 'є': '',
'Ґ': 'g', 'Ї': 'i', 'Є': 'e', 'N': 'n', ' - ': '-', '/': '-', '\\': '-', 'Ø': '', '"': ''}
for key in slovar:
name = name.replace(key, slovar[key])
name = re.sub('-{2,}', '-', name)
return name
def output():
o = 0
for q in eq:
browser.get('https://dungs.rusmark.ru/' + transliterate(q))
requiredHtml = browser.page_source
listik = browser.find_elements_by_class_name("category_list_cell.col-xs-12.col-sm-6.col-md-3")
for l in listik:
print(l.text)
link = l.find_element_by_tag_name("a").get_attribute("href")
browser.get(link)
listik1 = browser.find_elements_by_class_name("button_detail")
for k in listik1:
k = k.get_attribute("href")
print(k)
browser.get('https://dungs.rusmark.ru/' + transliterate(q))
o += 1
if __name__ == '__main__':
output()
HTML:
<li class="category_list_cell col-xs-12 col-sm-6 col-md-3">
<div class="category_list_item">
<div class="category_list_item_wrap">
<div class="category_list_item_image">
<a href="/datchiki-dungs/dungs-gw-a5.html">
</a>
</div>
<a class="product_link" href="/datchiki-dungs/dungs-gw-a5.html" title="DUNGS GW A5">
DUNGS GW A5</a>
</div>
</div>
</li>
<li class="category_list_cell col-xs-12 col-sm-6 col-md-3">
<div class="category_list_item">
<div class="category_list_item_wrap">
<div class="category_list_item_image">
<a href="/datchiki-dungs/dungs-gw-a6.html">
</a>
</div>
<a class="product_link" href="/datchiki-dungs/dungs-gw-a6.html" title="DUNGS GW A6">
DUNGS GW A</a>
</div>
</div>
</li>
При запуске данного Python кода первый цикл работает нормально, а далее выползает следующая ошибка:
selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
(Session info: chrome=85.0.4183.121)