Здравствуйте, у меня такая проблема: Моё консольное приложение парсит онлайн магазин с большим количеством товаров. Структура парсинга такова:
- Используя
Parallel.For
я пробегаю по всем каталогам. - В каждом каталоге используя
Parallel.For
я пробегаю по всем подкаталогам и так рекурсией, пока не дойду до каталога нижнего уровня с товарами. - Узнаю количество страниц с товарами в данном каталоге и используя
Parallel.For
пробегаю по всем страницам, заходя на информацию о каждом продукте.
В каждом каталоге около 30000 товаров. Проблема в следующем: информация о каталогах сохраняется быстро, но как дело доходит до продуктов, начинаются проблемы. В логе только и вижу Exception of type 'System.OutOfMemoryException' was thrown.
Все запросы у меня делаются из одной функции
public static string GetDataFromUrl(string url, ConcurrentDictionary<string, int> proxy)
{
string data = "";
WebRequest request = null;
try
{
request = WebRequest.Create(url);
request.Proxy = new WebProxy(proxy.Keys.ElementAt(0), proxy.Values.ElementAt(0));
request.PreAuthenticate = true;
request.Credentials = new NetworkCredential("kobyb", "nbzbnbzb");
request.Proxy.Credentials = new NetworkCredential("kobyb", "nbzbnbzb");
request.Timeout = 120000;
((HttpWebRequest) request).KeepAlive = false;
((HttpWebRequest) request).ReadWriteTimeout = 120000*2;
ServicePointManager.DefaultConnectionLimit = 200;
if (request != null)
{
using (var response = request.GetResponse())
{
using (var stream = response.GetResponseStream())
using (var reader = new StreamReader(stream))
{
data = reader.ReadToEnd();
if (string.IsNullOrEmpty(data))
return GetDataFromUrl(url, ProxyWorker.NextProxy);
}
response.Close();
}
}
}
catch (Exception exception)
{
return GetDataFromUrl(url, ProxyWorker.NextProxy);
}
return data;
}
Так же в App.config поставил
<system.net>
<connectionManagement>
<add address="www.contoso.com" maxconnection="200" />
<add address="*" maxconnection="200" />
</connectionManagement>
</system.net>
<runtime>
<gcServer enabled="true"/>
</runtime>
В catch ловятся постоянно ошибки вида Time Out. В результате база поначалу заполняется быстро, потом скорость заполнения резко снижается , вываливается ошибка Exception of type 'System.OutOfMemoryException' was thrown. {Function evaluation disabled because a previous function evaluation timed out. You must continue execution to reenable function evaluation.}
Помогите пожалуйста, что мне сделать ?Без паралельности программа работает, но будет выполняться несколько месяцев.Что я делаю не правильно? Если всё дело в 2 гигабайтах и памяти просто реально не хватает, то как можно по другому оптимизировать весь этот процесс? Если я буду пробегать по каталогам обычным циклом и создавать для каждого каталога свой новый процесс, это может мне помочь, или дело вообше не в этом?
Показываю кусок одной из функций, которая вызывает request: В этой функции происходит сохранение продукта(вся информация собирается и сразу сохраняется)
private void ParseProductInfoFromMotoAllegro(string link, IEnumerable<HtmlNode> columns, int parentId)
{
try
{
var name = columns.FirstOrDefault(x => x.Attributes["class"].Value == "cellName");
var nameDock = new HtmlDocument();
nameDock.LoadHtml(name.InnerHtml);
var nameNode = nameDock.DocumentNode.SelectNodes("//a[@href]");
var avatar = GetImage(columns.FirstOrDefault(x => x.Attributes["class"].Value == "cellPhoto"));
var prices = columns.FirstOrDefault(x => x.Attributes["class"].Value == "cellPrice");
var timeSales = columns.FirstOrDefault(x => x.Attributes["class"].Value.Contains("cellTime"));
var timeSalesDock = new HtmlDocument();
timeSalesDock.LoadHtml(timeSales.InnerHtml);
var timeSalesNode = timeSalesDock.DocumentNode.SelectNodes("//span");
var parseData = ParseDetailProductInfo(link);
double priceExpression = 0;
foreach (var price in prices.ChildNodes.Where(x => x.Name == "span"))
{
var value = price.InnerText.RemooveSimbols().ConvertToRuble();
if (value > priceExpression)
priceExpression = value;
}
var resultPrice =
Formula(priceExpression
+ double.Parse(parseData.First(x => x.Key == "PriceTransport").Value[0]));
Products product = _productRepository.CreatProduct(nameNode[0].InnerText.RemooveSimbols(),
Translater.Translater.Translate(nameNode[0].InnerText.RemooveSimbols()), resultPrice,
timeSalesNode[0].InnerText.RemooveSimbols(),
parseData.FirstOrDefault(x => x.Key == "DescriptionOriginal").Value,
parseData.FirstOrDefault(x => x.Key == "DescriptionTranslate").Value, link, parentId);
var prod = _productRepository.Save(product);
if (avatar != null)
{
avatar.ProductID = prod.ProductId;
Save(avatar);
}
}
и вот в ней начинают сыпаться exception о том что не хватает памяти
private ConcurrentDictionary<string, List<string>> ParseDetailProductInfo(string link) {
bool flag = false;
HtmlDocument htmlDock = null;
HtmlDocument htmlNode = null;
while (!flag)
{
try
{
flag = true;
htmlDock = CheckFirstData(link);
htmlNode = new HtmlDocument();
htmlNode.LoadHtml(htmlDock.GetElementbyId("paymentShipment").InnerHtml);
}
catch (Exception exception)
{
flag = false;
ProxyWorker.IncCurrentIndex();
}
}
ConcurrentDictionary<string, List<string>> result = new ConcurrentDictionary<string, List<string>>();
try
{
var dd = htmlNode.DocumentNode.SelectNodes("//dd");
double priceTransport = 0;
if (dd != null)
foreach (var d in dd)
{
var dChild = d.ChildNodes.FirstOrDefault(x => x.Name == "strong");
//если не равно null и не бесплатная доставка
if (dChild != null && !dChild.InnerText.Contains("wysyłka GRATIS"))
{
var ruble = dChild.InnerText.RemooveSimbols().ConvertToRuble();
if (priceTransport < ruble)
priceTransport = ruble;
}
}
lock (mResultDictLocker)
{
result.TryAdd("PriceTransport", new List<string>() { priceTransport.ToString() });
}
result.TryAdd("DescriptionOriginal", new List<string>());
result.TryAdd("DescriptionTranslate", new List<string>());
}
А вот конкретно кусок кода, куда идёт ответ:
private HtmlDocument CheckFirstData(string currentLink)
{
var data = UrlWorker.GetDataFromUrl(Constants.cDefaultParsingUrl + currentLink, ProxyWorker.CurrentProxy);
var htmlDock = new HtmlDocument();
htmlDock.LoadHtml(data);
return htmlDock;
}