В вопросе не указано какого-либо конкретного сайта, поэтому отвечу и предложу технику, которая подойдёт для любого сайта.
В задаче используется решение только для картинок атрибуте src
тэга img
, но решение на данной основе также возможно и для картинок в background-image
. Оно сложнее, но также возможно. Для Javascript обращений для простоты используется jQuery, предполагая, что на целевом сайте он тоже есть. Но это может быть также чистый JavaScript либо другая библиотека при условии, что эта библиотека используется на сайте.
Используйте библиотеку CefSharp для решения подобных задач.
Что это такое?
Это управляемая оболочка над CEF (Chromium Embedded Framework). То есть Вы получаете мощь Chromium, которой управляете программно.
Почему именно CEF/CefSharp?
- Не стоит заморачиваться парсингом страниц (а это сложная и неблагодарная задача, которую крайне не рекомендую делать).
- Можно работать с уже загруженной страницей (после выполнения скриптов).
- Есть возможность выполнять произвольный JavaScript с последними возможностями.
- Даёт возможность вызывать AJAX с помощью JavaScript, а затем при успехе (success), дёргать события в C#-коде с результатом AJAX.
Разновидности CeSharp
- CefSharp.WinForms
- CefSharp.Wpf
- CefSharp.OffScreen
Первые две используются если вам надо дать пользователям элемент управления "Браузер". Концептуально похоже на WebBrowser в Windows Forms, который является оболочкой для управления IE, а не Chromium, как в нашем случае.
Поэтому мы будем использовать CefSharp.OffScreen (закадровую) разновидность.
Написание кода
Допустим у нас консольное приложение, но это уже зависит от Вас.
Устанавливаем Nuget-пакет CefSharp.OffScreen 51-ой версии:
Install-Package CefSharp.OffScreen -Version 51.0.0
Дело в том, что C# всё массивы маппает к List<object>
, результат JavaScript обёрнут в object
, в котором уже содержатся List<object>
, string
, bool
, int
в зависимости от результата. Для того чтобы сделать результаты строго типизированными, создаём небольшой ConvertHelper:
public static class ConvertHelper
{
public static T[] GetArrayFromObjectList<T>(object obj)
{
return ((IEnumerable<object>)obj)
.Cast<T>()
.ToArray();
}
public static List<T> GetListFromObjectList<T>(object obj)
{
return ((IEnumerable<object>)obj)
.Cast<T>()
.ToList();
}
public static T ToTypedVariable<T>(object obj)
{
if (obj == null)
{
dynamic dynamicResult = null;
return dynamicResult;
}
Type type = typeof(T);
if (type.IsArray)
{
dynamic dynamicResult = typeof(ConvertHelper).GetMethod(nameof(GetArrayFromObjectList))
.MakeGenericMethod(type.GetElementType())
.Invoke(null, new[] { obj });
return dynamicResult;
}
if (type.IsGenericType && type.GetGenericTypeDefinition() == typeof(List<>))
{
dynamic dynamicResult = typeof(ConvertHelper).GetMethod(nameof(GetListFromObjectList))
.MakeGenericMethod(type.GetGenericArguments().Single())
.Invoke(null, new[] { obj });
return dynamicResult;
}
return (T)obj;
}
}
Создаём класс CefSharpWrapper:
public sealed class CefSharpWrapper
{
private ChromiumWebBrowser _browser;
public void InitializeBrowser()
{
CefSettings settings = new CefSettings();
// Disable GPU in WPF and Offscreen until GPU issues has been resolved
settings.CefCommandLineArgs.Add("disable-gpu", "1");
//Perform dependency check to make sure all relevant resources are in our output directory.
Cef.Initialize(settings, shutdownOnProcessExit: true, performDependencyCheck: true);
_browser = new ChromiumWebBrowser();
// wait till browser initialised
AutoResetEvent waitHandle = new AutoResetEvent(false);
EventHandler onBrowserInitialized = null;
onBrowserInitialized = (sender, e) =>
{
_browser.BrowserInitialized -= onBrowserInitialized;
waitHandle.Set();
};
_browser.BrowserInitialized += onBrowserInitialized;
waitHandle.WaitOne();
}
public void ShutdownBrowser()
{
// Clean up Chromium objects. You need to call this in your application otherwise
// you will get a crash when closing.
Cef.Shutdown();
}
public Task<T> GetResultAfterPageLoad<T>(string pageUrl, Func<Task<T>> onLoadCallback)
{
TaskCompletionSource<T> tcs = new TaskCompletionSource<T>();
EventHandler<LoadingStateChangedEventArgs> onPageLoaded = null;
T t = default(T);
// An event that is fired when the first page is finished loading.
// This returns to us from another thread.
onPageLoaded = async (sender, e) =>
{
// Check to see if loading is complete - this event is called twice, one when loading starts
// second time when it's finished
// (rather than an iframe within the main frame).
if (!e.IsLoading)
{
// Remove the load event handler, because we only want one snapshot of the initial page.
_browser.LoadingStateChanged -= onPageLoaded;
t = await onLoadCallback();
tcs.SetResult(t);
}
};
_browser.LoadingStateChanged += onPageLoaded;
_browser.Load(pageUrl);
return tcs.Task;
}
public async Task<T> EvaluateJavascript<T>(string script)
{
JavascriptResponse javascriptResponse = await _browser.EvaluateScriptAsync(script);
if (javascriptResponse.Success)
{
object scriptResult = javascriptResponse.Result;
return ConvertHelper.ToTypedVariable<T>(scriptResult);
}
throw new ScriptException(javascriptResponse.Message);
}
}
Далее вызываем наш класс CefSharpWrapper
из метода Main.
public class Program
{
private static void Main()
{
MainAsync().Wait();
}
private static async Task MainAsync()
{
CefSharpWrapper wrapper = new CefSharpWrapper();
wrapper.InitializeBrowser();
string[] imageUrls = await wrapper.GetResultAfterPageLoad("https://yandex.ru", async () =>
await wrapper.EvaluateJavascript<string[]>("$('img').map((index, element) => $(element).prop('src')).toArray()"));
string imageFolder = "C://Test";
if (!Directory.Exists(imageFolder))
{
Directory.CreateDirectory(imageFolder);
}
WebClient client = new WebClient();
for (int i = 0; i < imageUrls.Length; i++)
{
string imageUrl = imageUrls[i];
byte[] fileBytes = await client.DownloadDataTaskAsync(imageUrl);
// Можете написать алгоритм позволяющий подбирать расширения
string imagePath = Path.Combine(imageFolder, i + ".jpg");
File.WriteAllBytes(imagePath, fileBytes);
}
wrapper.ShutdownBrowser();
}
}
client.DownloadFileAsync(uri, "picture.jpg" );
без ожидания не очень правильно.background-image
?