1

Я пытаюсь сделать парсер на основе "AngleSharp".
Я использую следующий код для скачивания:

var itemsAttr = document.QuerySelectorAll("img[id='print_user_photo']"); 
string foto_url = itemsAttr[0].GetAttribute("src");
string path = pathFolderIMG + id_source + ".jpg";

WebClient webClient = new WebClient(); 
webClient.DownloadFile(foto_url, path);

Для страниц "type_1" - ссылка - код работает.
Для страниц "type_2" - ссылка - код не работает.

Для "type_2" картинка находится по ссылке - ссылка

Как скачать фотографии для страниц "type_2"?

1
  • Вероятно, в вопросе следовало как-то акцентировать внимание на том, что "не работает" - это не значит "не находит на странице / не парсится", а что "не работает" - получаю 404 ошибку. В итоге я например сначала отвечал по сути не на тот вопрос, что вы хотели задать.
    – A K
    7 янв 2019 в 6:38

1 ответ 1

3

Насколько я вижу, эти картинки имеют два адреса: первоначально грузится картинка в плохом качестве, а потом лениво грузится крупная картинка.

введите сюда описание изображения

Ну тогда так:

var img = document.QuerySelectorAll("img#print_user_photo").First();
//img.Attributes.Dump();
string foto_url = img.GetAttribute("data-pagespeed-lazy-src");

Но сайт отдаёт 404 в случае если реферрер пустой - видимо минимальная защита от скачивания. Делайте так:

WebClient webClient = new WebClient();
webClient.Headers.Add("Referer",@"https://rabota.by/resume/view/342239/");
webClient.DownloadFile(foto_url, path);
13
  • 1
    Любопытно, что хотя ссылка нашлась именно та, что вы просили - но она не качается (404 Not Found) при помощи webClient - только из браузера. Видимо, стоит какая-то защита от скачивания, причём только для изображений с этого сервера? (Фото с ссылки type_1 скачалась без проблем) Но это видимо повод для другого вопроса.
    – A K
    6 янв 2019 в 22:05
  • 1
    Можно защиту обойти через взятие скриншота страницы и вырезание по позиции и размеру картинки на странице. 6 янв 2019 в 22:52
  • 1
    А еще можно открыть, например, CEF инстанс и сохранить страницу с разрешением ".png" 6 янв 2019 в 23:26
  • 1
    @EvgeniyZ Кажется. Но иногда самое правильное решение - самое простое, даже если оно излишне дофига ресурсов жрет. Мы не знаем что за проэкт у парня. Может это какая-то однодневка и нужно не "правильное" решение, а быстрое решение. А то что я предложил - сработает как нужно и достаточно просто и быстро реализуется. 7 янв 2019 в 0:06
  • 2
    @eusataf 'ScreenshotAsync();' метод у CefOffscreen инстанса. если оно захватит больше чем даную картинку, то нужно еще при помощи js скрипта определить позицию и размер картинки ( stackoverflow.com/questions/5633264/… ). Но имей ввиду, мегабайт 50-100 оперативы оно пожрет только так. Ведь, это инстанс полноценного браузера. 7 янв 2019 в 13:06

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.