0

Утро доброе.
Есть задание, сделать парсеры для определенных сайтов. Все желательно без API . Одни из этих сайтов - Linkedin, Instagram.
У меня довольно необычный (наверно) вопрос. В этом деле я совсем новичек, решил делать с помощью библиотек: BS4, fake_user, Scrapy, Selenium, Requests. Собственно когда добрался до инсты, столкнулся с проблемой, что подгрузка страницы осуществляется динамически, то есть:
Фото инстаграма (html именно) грузится кусками, если откроем профиль - будет 12, пролистаем вниз, будет не все кол-во, а только часть. Как я понял, с помощью AJAX, ну и то, что сама Инста на React'е, Вирт DOM (если я не прав, извините, поправьте пожалуйста). Выход я нашел в лице Selenium. Что я делаю:
Запускаю прогу, Селениум заходит в браузер, авторизуется, выбирает нужного пользователя (которого хочу скрапить) и с помощью прописанного скрипта Скролл вниз на JS, собственно скролит вниз :) Собираю фото, хеш-теги к фото, основную информацию страницы, так же, как и Фото, открываю список подписчиков, скролю определенное кол - во и собираю список их. Все заливаю в Эксель/csv, фото просто выгружаю в папку.
Скажите пожалуйста, как можно проще? Я понимаю, возможно я делаю СОВСЕМ не правильно, но опыта нет.
С Linkedin примерно такая же ситуация. (Селениум - Авторизация - Гуглю 'Python Developer' - Беру определенное кол-во - Каждого открываю, беру инфу и добавляю).
На очереди Твитер, все же наверно через API буду :) .

4
  • Наверное, для этого удобные API и придумали, чтобы не громоздить лишних библиотек. Наверное, ещё можно поискать материалы, как поисковики справляются с этой проблемой.
    – Montreal
    25 апр 2018 в 4:23
  • API ограничены, основной посыл был такой. Из-за этого задание такое и было, без АПИ. Причем тут Поисковики? Я вопрос задал совсем другой, как можно было проще. 25 апр 2018 в 4:40
  • Если предоставляемого API не хватает, то тогда да. Поисковики при том, что они индексируют такие страницы, парсят их и делают что там им нужно. Не знаю, как именно, но все эти Single Page Applications они разворачивать умеют.
    – Montreal
    25 апр 2018 в 4:47
  • 1
    Вот тут есть варианты скрола - stackoverflow.com/questions/20986631/…, там и по координатам и по элементам есть 1 дек 2018 в 12:59

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.