0

Нужно получить все ссылки, находящиеся в атрибуте href тега а элемента списка li класса category_list_cell.col-xs-12.col-sm-6.col-md-3. Основная проблема для меня в том, что этот класс одинаков у всех элементов списка. Как бы мне так правильно подобраться, чтобы получить все ссылки?

 browser = webdriver.Chrome(executable_path="C:\\Users\\user\\PycharmProjects\\pythonProject1\\chromedriver.exe")
eq = ['Датчики DUNGS',
      'Регуляторы DUNGS',
      'Клапаны DUNGS',
      'Мультиблоки DUNGS',
      'Блоки контроля герметичности DUNGS',
      'DUNGS VPS 504',
      'DUNGS VDK',
      'DUNGS VPM-VC',
      'Принадлежности',
      'Фильтры DUNGS',
      'Приводы DUNGS',
      'Заслонки DUNGS',
      'Краны DUNGS',
      'Автоматика DUNGS',
      'Запчасти DUNGS',
      'Системная инженерия DUNGS']


def transliterate(name):
    slovar = {'а': 'a', 'б': 'b', 'в': 'v', 'г': 'g', 'д': 'd', 'е': 'e', 'ё': 'yo',
              'ж': 'zh', 'з': 'z', 'и': 'i', 'й': 'i', 'к': 'k', 'л': 'l', 'м': 'm', 'н': 'n',
              'о': 'o', 'п': 'p', 'р': 'r', 'с': 's', 'т': 't', 'у': 'yu', 'ф': 'f', 'х': 'h',
              'ц': 'c', 'ч': 'ch', 'ш': 'sh', 'щ': 'sht', 'ъ': '', 'ы': 'y', 'ь': '', 'э': 'e',
              'ю': 'u', 'я': 'ya', 'А': 'a', 'Б': 'b', 'В': 'v', 'Г': 'g', 'Д': 'd', 'Е': 'e', 'Ё': 'yo',
              'Ж': 'zh', 'З': 'z', 'И': 'i', 'Й': 'yo', 'К': 'k', 'Л': 'l', 'М': 'm', 'Н': 'n',
              'О': 'o', 'П': 'p', 'Р': 'r', 'С': 's', 'Т': 't', 'У': 'u', 'Ф': 'f', 'Х': 'h',
              'Ц': 'c', 'Ч': 'ch', 'Ш': 'sh', 'Щ': 'sht', 'Ъ': '', 'Ы': 'y', 'Ь': '', 'Э': 'E',
              'Ю': 'yu', 'Я': 'ya', 'A': 'а', 'B': 'b', 'V': 'v', 'G': 'g', 'D': 'd', 'E': 'e', 'Z': 'z', 'I': 'i',
              'O': 'o', 'P': 'p', 'R': 'r', 'S': 's', 'T': 't', 'U': 'u', 'F': 'f', 'H': 'h', '" ': '-',
              'C': 'c', 'K': 'k', 'L': 'l', 'M': 'm', ',': '-', '?': '', ' ': '-', 'ґ': '', 'ї': '', 'є': '',
              'Ґ': 'g', 'Ї': 'i', 'Є': 'e', 'N': 'n', ' - ': '-', '/': '-', '\\': '-', 'Ø': '', '"': ''}
    for key in slovar:
        name = name.replace(key, slovar[key])
    name = re.sub('-{2,}', '-', name)
    return name


def output():
    o = 0
    for q in eq:
        browser.get('https://dungs.rusmark.ru/' + transliterate(q))
        requiredHtml = browser.page_source
        listik = browser.find_elements_by_class_name("category_list_cell.col-xs-12.col-sm-6.col-md-3")
        for l in listik:
            print(l.text)
            link = l.find_element_by_tag_name("a").get_attribute("href")
            browser.get(link)
            listik1 = browser.find_elements_by_class_name("button_detail")
            for k in listik1:
                k = k.get_attribute("href")
                print(k)
            browser.get('https://dungs.rusmark.ru/' + transliterate(q))
            o += 1
if __name__ == '__main__':
    output()

HTML:

<li class="category_list_cell col-xs-12 col-sm-6 col-md-3">
  <div class="category_list_item">
   <div class="category_list_item_wrap">
    <div class="category_list_item_image">
      <a href="/datchiki-dungs/dungs-gw-a5.html">
      </a>
    </div>
    <a class="product_link" href="/datchiki-dungs/dungs-gw-a5.html" title="DUNGS GW A5">
     DUNGS GW A5</a>
   </div>
  </div>
</li>
<li class="category_list_cell col-xs-12 col-sm-6 col-md-3">
 <div class="category_list_item">
  <div class="category_list_item_wrap">
   <div class="category_list_item_image">
    <a href="/datchiki-dungs/dungs-gw-a6.html">
    </a>
   </div>
   <a class="product_link" href="/datchiki-dungs/dungs-gw-a6.html" title="DUNGS GW A6">
   DUNGS GW A</a>
  </div>
 </div>
</li>

При запуске данного Python кода первый цикл работает нормально, а далее выползает следующая ошибка:

selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document
  (Session info: chrome=85.0.4183.121)

1 ответ 1

0

Нужно было сохранять состояние страницы, посему заменил строчки

listik = browser.find_elements_by_class_name("category_list_cell.col-xs-12.col-sm-6.col-md-3")
        for l in listik:
            link = l.find_element_by_tag_name("a").get_attribute("href")

на следующие:

listik = browser.find_elements_by_class_name("category_list_cell.col-xs-12.col-sm-6.col-md-3")
        listik = len(listik)
        for l in range(listik):
            link = browser.find_elements_by_class_name("category_list_cell.col-xs-12.col-sm-6.col-md-3")[o].find_element_by_tag_name("a").get_attribute("href")

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.