0

Необходимо на этой странице получить список данных из блока список:

Я вытащил ссылку и выполнил запрос requests

В итоге в requests.content вернулось это:

b'Battle City (J)\r<br>Battle City (J) [o1]\r<br>Battle City (J) [p1]\r<br>Battle City (J) [p1][o1]\r<br>Battle City (J) [p1][o2]\r<br>Battle City (J) [p1][o3]\r<br>Battle City (J) [p1][T+Rus1.1]\r<br>Battle City (J) [p2]\r<br>Battle City (J) [p2][o1]\r<br>Battle City (J) [p3]\r<br>Battle City (J) [p3][T+Rus1.1]\r<br>Battle City (J) [p4]\r<br>Battle City (J) [p4][o1]\r<br>Battle City (J) [p4][T+Rus1.1]\r<br>Battle City (J) [T+Chi]\r<br>Battle City (J) [T+Chi][a1]\r<br>Battle City (J) [T+Chi][a2]\r<br>Battle City (J) [T+Chi][a3]\r<br>Battle City (J) [T+Gre1.0_Vag]\r<br>Battle City (J) [T+Rus]\r<br>Battle City (J) [T+Rus][a1]\r<br>Battle City (J) [T+Rus][a1][o1]\r<br>Battle City (VS)\r<br>Battle City (VS) [p1][!]\r<br>Battle City (VS) [p1][o1]\r<br>Battle City (VS) [p2]\r<br>Battle City by Zergkerrigan (Hack)\r<br>Battle City with 6 Enemies (Hack)\r<br>Making Love (Battle City Hack)\r<br>Making Love (Battle City Hack) [o1]\r<br>Missile Tank (Ch)\r<br>Missile Tank with 6 Enemies (Ch)\r<br>PCGC Tank (Battle City Chinese Hack)\r<br>Romman Love (Battle City Hack)\r<br>Romman Love (Battle City Hack) [o1]\r<br>Tank (Battle City Hack)\r<br>Tank 1990 (Ch)\r<br>\n'

Так как я использовал lxml попытался найти блоки br и отобразить их

html = get_html(r.content)
brs = html.cssselect("br")
for br in brs:
    print(br.text)

В итоге вернуло None у всех элементов.

Решил перейти на bs4 на html.parser, так как он позволяет парсить невалидный html.

soup Вернуло:

<br/> и куча пробелов

поиск по br и выводе вернуло:

brs = soup.find_all("br")
for br in brs:
print(br)

<br/>
<br/>
<br/>
<br/>
<br/>
....

Интересно, как его спарсить? Как я понял, это из-за отсутствия основной структуры html (html, body, head). Не охота из-за одного пункта на Selenium переписывать

2 ответа 2

1

Смотря на код, сразу подумал, что можно получить полезное:

parsed_body="b'Battle City (J)\r<br>Tank 1990 (Ch)\r<br>\n'"
print('\n'.join(parsed_body.split('<br>')))

Простите, элегантнее было бы на regex, если понадобится для примера напишу

В данном случае, даже requests.content читается

parsed_body.xpath("./html/body/text()[5]")

Но вот попробуйте немного универсальный для исследования способ:

driver.get("...")
responsetext=driver.page_source

from lxml import html

parsed_body = html.fromstring(responsetext)
mdata = parsed_body.xpath("./html/body")
for uni in mdata:
        try:
            print uni.text_content().encode('utf-8')
            print uni.keys()
            pass
        except:
            pass    
        try:
            print uni.get('href').encode('utf-8')
            persons.append(uni.get('href').encode('utf-8'))
        except:
            pass
        try:
            from lxml import etree   
            print(etree.tostring(uni, encoding='utf-8'))
        except:
            pass

Этот блок кода, подчеркиваю, только для исследования возникшей проблемы (UI контент, подгрузка контента и т.п), а не для повседневного применения.

Надеюсь, что эти примеры будут подходящими ;)

По Вашей ссылке я прошел и понял, в чем затруднение. У Вас элементарный случай, когда надо выполнить Javascript и дождаться загрузки страницы Изначально список файлов пустой.

<div class="filelist" id="mfile_139" style="display: none;"></div>

Придется кликнуть на кнопку (иначе, как вариант, еще, выполнить скрипт в selenium), дождаться загрузки, а потом парсить список файлов

<span class="hand" onclick="mfile('/consoles/dendy/roms?act=getmfile&amp;id=139','mfile_139'); return false;" title="Скачать">Загрузить</span>

Этот код сработает на ЭТОЙ странице, по Вашей ссылке. Появится возможность получить список ссылок на файлы, которые возможно скачать. Но далее придется подсчитывать количество файлов в списке, как минимум.

driver.find_element_by_xpath('//span[@class="hand"]').click()
WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//*[@id='mfile_139']/a")))
responsetext=driver.page_source

Нужен что-то уточнить? Возможно, я внимание Ваше рассеял) Возьмите последний абзац кода и начните с него)

16
  • первый вариант не срабатывает r = r.content test = '\n'.join(r.split('<br>')) print("Ололо:", test)
    – danilshik
    3 мая 2019 в 21:01
  • Напомню, все в разы проще надо выполнить Javascript и дождаться загрузки страницы. если непонятна последовательность, весь код покажу. Но надо всего три строчки добавить после driver.get()
    – Blay Wille
    3 мая 2019 в 21:03
  • Насчет списка, что он пустой вы ошибаетесь, просмотрите запрос, который отправляется пр нажатии на список, вы увидите что приходит html, а не javascript, не вижу надобности в selenium
    – danilshik
    3 мая 2019 в 21:03
  • 1
    Не спорю) Ваш случай - получить список файлов emu-land.net/consoles/dendy/roms?act=filelist&id=139
    – Blay Wille
    3 мая 2019 в 21:11
  • 1
    Да, все в порядке. Ссылки .//*[@id='mfile_139']/a/@href Текст ссылок .//*[@id='mfile_139']/a/text()
    – Blay Wille
    3 мая 2019 в 21:25
0

Получилось что-то в этом роде:

r = requests.get(url_files)
r = r.content
contents = r.split(b'<br>')
for line in contents:
    new = line.decode("utf-8")
    print(new)

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.