0

Я пытаюсь спарсить фото с объявлений, но мне возвращается html страница не полная.

Парсю с этого сайта: https://www.vinted.it/vetements?catalog[]=1904&order=newest_first

Проблема еще в том,что при входе первичном он запрашивает страну и подтверждение на куки. Куки к реквестам так я и не смог прикрутить, тк не нашел нигде как ставить куки, которые списком в json формате. С ру ip он тоже не пускает, но все запросы идут с иностранного ip.

Подскажите, как спарсить всю страницу нормально со всем контентом?

Вот код.

import requests
import json
from bs4 import BeautifulSoup

url = "https://www.vinted.it/vetements?catalog[]=1904&order=newest_first"

with open("cookies.json") as file:
    cookiez = json.load(file)

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)                     
     Chrome/100.0.4896.60 Safari/537.36",
    "accept-language": "en-EN,en;q=0.9,en-US;q=0.8,en;q=0.7"
     }

response = requests.get(url=url, headers=headers)
print(response.text)
7
  • "тк не нашел нигде как ставить куки" docs.python-requests.org/en/latest/user/quickstart/#cookies 1 апр 2022 в 21:16
  • Сайт динамический рекомендую вам использовать селениум 1 апр 2022 в 21:18
  • При селениуме он парсится спокойно. Проблема в скорости. Когда у меня есть необходимость проходится по всем ссылкам из списка, он делает это долго. Хотелось бы ускорить. 1 апр 2022 в 21:29
  • долго это сколько? 1 апр 2022 в 21:55
  • Ну весь список из 24 страниц за 2-3 минуты,если переходить по каждой ссылке отдельно. Там большая часть времени уходит на то,чтобы силениум дождался полной загрузки страницы. 2 апр 2022 в 6:17

1 ответ 1

1

Как сказали, есть API, которая возвращает за один запрос 894 продукта.
Можно менять страничку page=.
Вам только нужно достать cookie _vinted_fr_session. Это можно сделать, подняв браузер.
Результат получаете все фотографии.

import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import java.nio.charset.StandardCharsets;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;
import org.apache.commons.lang3.StringUtils;

class RuStack {
    
    public static void main(String[] args) throws IOException {
        URL url = new URL("https://www.vinted.it/api/v2/catalog/items?catalog_ids=1904&color_ids=&brand_ids=&size_ids=&material_ids=&status_ids=&is_for_swap=0&order=newest_first" +
                "&page=1" +
                "&per_page=984" +
                "&time=1655325050");
        HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();
        httpConn.setRequestMethod("GET");
        httpConn.setRequestProperty("cookie", "_vinted_fr_session=eTh3MVJNYkY5L2xITStvQkx3dytoTHdZcGRUQ2pGaEMyV1dqc09BZWI2S2kxc0hFSVBVdUNieElCWjh6Q1ZGTFo2QUY5Y3RIbzR0ZnZxcWpiM1VGdnpxeHRyYk5NcnYzN2FCZmJLbkNNVUN4eTN1SGo1SEFmMDBMeTRkMUs4NlRoQ1A1UC8zbTAva1FkbUhoMzlndVU5TFNSbys2OTV2OG9VdHVONHZpbGd0d1g2Z3g1Q3d5VUZHMkM5Qk9ubUdzYVJwckFJN2FYWHlQSGRaakxtL04xbTZqM25TMTZxcjNqdy9nT2hodVplbDM1eDlENXdWYWdpb3BldXFMK1R0eXJibFdVNm52aEtzemtvVGxlN24zRDZuRWx4RzhaQUJEZTk0bGp4eTdabVhBQTJnSzBNOEYzS0hSS1RvamFHOC9MVFZLMTJqeGY0SWRlaG5Tbk5ucHdPaElacU9nUUdRS0VzK01aZzY1Z0Z3WDNTeFBqYkJTWVowQXhBM2x5TSs0NGtMQjU1YWJHZ2g5UWJ3c2JSTXljN3EzOUlPenNXYzYvSUdWdm5qbkd4UlJ4K2pUY3hadUI4RHFtZm5vOXFwSTM2VmcveWJWaFkwaGNHdUJyWFk2U1Z3ZitBelRPYlcvQVhaUUxJejlXZ2N2UUNmMzlhWTBxWDVnRlB2UTlIbm1wSHg4aHQwSXp4RWloTVA2NEMyVG1mdU45bVdwTVZWNVpxRjU4azBZWUpjZVRlOWcrUkFwWGs2T0t0S3JUK2k3bWF1SW5tTENJOTFINkQ0cXFEMWRyMy95MkZDODBadDd0clRLallQd1NmY0JoTDc4Y3ZzMDlBWWs3d3ZkOXMxTm1BLzYvNExVc3gxdW9hM2krdEx0bFZwNGt1TmVNS3ZOSWpOTVYvYXMzcWJRWndiQks2M1ZHQ2hxZ3ZtOWNXS0pxc2dqNnZ6dmFOVDErTjIrclJvazlnakg3YitYajBFZitDbmMxZUtidWpQd1J2ZisxNU5RNkdlMkk5N2cxR2NYOUM0TkFJTko0MzY2NHZHK2lIWlUyMDdCL3gwbWo1ZGV2S0c1cFNQSkg3T2dEOFpLNGZrVTRudEJKd3FocWtQandEWlI2RkNQNE1SekhmRUtURVJpVW9yUWZtRk8yclk1a09Sc2FvTTIrdTFPeld1RldWQUJHS3U0T1NNVDdDcThMVDZFVTNaU2pIWGp4YlQzVHdCUnU3V1I3aXdrWXdVdUxjWFB0dGJMZU9VbkpiYUU2dDh3d1hpQld2dGZCYXdXVEJHdGdOK25TS0R3RXU1QmxQei9pekVKNG5iNlJSYVFPaDAxSi9DYUVMa29laFlMT3FkZHEydmNKQjlaWUJlWDlBR2JaUjJteEpkR3ZvMTRtVWhVdmo1L0M1cVJJVkgyRzFBNG9XZStxSnpPM2NSMW1VbVhBTk80ejEyWGVwYkI5T1RzOHJ4RXJDWjlWaW0yWW9MMjZBPT0tLWFYdkRYbXEwRHl0b3JOblZ6dC9BeFE9PQ%3D%3D--fc9e5401b91aaceda2acfb59512c7208aeccc967");
        InputStream responseStream = httpConn.getResponseCode() == 200
                ? httpConn.getInputStream()
                : httpConn.getErrorStream();
        String response = new String(responseStream.readAllBytes(), StandardCharsets.UTF_8);
        List allImages = Arrays.stream(StringUtils.substringsBetween(response, "url\":\"", "\","))
                .filter(link -> link.contains("images1"))
                .collect(Collectors.toList());
       allImages.forEach(System.out::println);
    }
}

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.