Доброй ночи друзья, решил написать небольшой парсер wildberries, но столкнулся с такой проблемой,у wb клиент рендеринг, подскажите пожалуйста, как можно парсить такие типы сайтов, без использования Selenium?
-
На текущий момент, использую селениум без ui, но все равно при такой скорости парсинг будет занимать очень большое количество времени, большую часть данных удается собрать через requests, но есть данные которые кроме как через селениум не получается собрать. Как можно ускорить работу селениума?– borocko12 авг 2022 в 12:33
1 ответ
Когда ты переходишь на страницу товара, например, то выполняется запрос на сервер для получения информации о товаре. Ты можешь открыть консоль в браузере, раздел network и посмотреть, куда отправляется запрос и какие данные ты получаешь о товаре. Тогда не придется использовать selenium или парсить сайт. Ты сможешь получить просто json товара.
-
Да, вы правы, некоторую часть данных , даже большую часть нужных данных я могу забирать из json, но есть блок данных, которые не подгружаются через json, выводятся они из js, я додумался только до того, что надо либо разбирать js, либо уже парсить селениумом, как вариант видимо придется запускать селен без стилей без ui, и вероятно придется поднимать несколько вебдрайверов, что получается очень громоздко– borocko12 авг 2022 в 21:43