0

Есть цель с помощью Powershell скрипта пропарсить страницу, которая грузится не сразу. Как можно понять с помощью Powershell, когда страница полностью загрузилась? Я гуглил и нашел 2 варианта:

  1. Найти элемент, который присутствует уже на окончательно сформированной странице, и с помощью start-sleep в цикле парсить страницу пока элемент не появится на странице;
    • Не подходит, потому что когда сервис проводит тех работы, элемент, который отображается после полного рендеринга страницы может так и не появится.
  2. Использовать InternetExplorer Com-объект и с помощью цикла while($IE.busy) {Start-Sleep 1} опять ждать пока страница полностью загрузится.
    • Не очень хочется использовать так как сейчас я буду тестить работу скрипта на windows, но в будущем планирую перенести его на Linux. И хоть на Linux портировали и Powershell и .NET, я не знаю как там будет обстоять работа c COM-объект InternetExplorer.
3
  • "Как получить в Powershell код страницы после её полной загрузки" - так наверно будет более правильная формулировка. 20 окт 2017 в 13:30
  • смысл? некоторые части сайта могут грузиться в ответ на действия пользователя. с этим вы что делать будете?
    – teran
    20 окт 2017 в 17:50
  • @teran , там такого не будет. Это страница статистики. Нужно пропарсить её для дальнейшего анализа. 23 окт 2017 в 11:06

1 ответ 1

0

тогда зачем реализуешь на Powershell? с ком объектами скорее всего никак..
Пиши сразу на Python.

if __name__ == "__main__":
    import requests
    import time
    while True:
        r = requests.get('http://google.com/')
        # для теста строку поиск поменять на Поиск1
        if r.text.find("Поиск")>0:
            break
        time.sleep(5)
        print('пробую еще раз')
    print('нашёл')

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.