1

Здравствуйте, у меня такая проблема: Моё консольное приложение парсит онлайн магазин с большим количеством товаров. Структура парсинга такова:

  1. Используя Parallel.For я пробегаю по всем каталогам.
  2. В каждом каталоге используя Parallel.For я пробегаю по всем подкаталогам и так рекурсией, пока не дойду до каталога нижнего уровня с товарами.
  3. Узнаю количество страниц с товарами в данном каталоге и используя Parallel.For пробегаю по всем страницам, заходя на информацию о каждом продукте.

В каждом каталоге около 30000 товаров. Проблема в следующем: информация о каталогах сохраняется быстро, но как дело доходит до продуктов, начинаются проблемы. В логе только и вижу Exception of type 'System.OutOfMemoryException' was thrown. Все запросы у меня делаются из одной функции

   public static string GetDataFromUrl(string url, ConcurrentDictionary<string, int> proxy)
{
    string data = "";
    WebRequest request = null;
    try
    {
        request = WebRequest.Create(url);
        request.Proxy = new WebProxy(proxy.Keys.ElementAt(0), proxy.Values.ElementAt(0));
        request.PreAuthenticate = true;
        request.Credentials = new NetworkCredential("kobyb", "nbzbnbzb");
        request.Proxy.Credentials = new NetworkCredential("kobyb", "nbzbnbzb");
        request.Timeout = 120000;
        ((HttpWebRequest) request).KeepAlive = false;
        ((HttpWebRequest) request).ReadWriteTimeout = 120000*2;
        ServicePointManager.DefaultConnectionLimit = 200;
        if (request != null)
        {
            using (var response = request.GetResponse())
            {
                using (var stream = response.GetResponseStream())
                using (var reader = new StreamReader(stream))
                {
                    data = reader.ReadToEnd();
                    if (string.IsNullOrEmpty(data))
                        return GetDataFromUrl(url, ProxyWorker.NextProxy);
                }
                response.Close();
            }
        }
    }
    catch (Exception exception)
    {
        return GetDataFromUrl(url, ProxyWorker.NextProxy);
    }
    return data;
}

Так же в App.config поставил

   <system.net>
    <connectionManagement>
      <add address="www.contoso.com" maxconnection="200" />
      <add address="*" maxconnection="200" />
    </connectionManagement>
  </system.net>
  <runtime>
    <gcServer enabled="true"/>
  </runtime>

В catch ловятся постоянно ошибки вида Time Out. В результате база поначалу заполняется быстро, потом скорость заполнения резко снижается , вываливается ошибка Exception of type 'System.OutOfMemoryException' was thrown. {Function evaluation disabled because a previous function evaluation timed out. You must continue execution to reenable function evaluation.} Помогите пожалуйста, что мне сделать ?Без паралельности программа работает, но будет выполняться несколько месяцев.Что я делаю не правильно? Если всё дело в 2 гигабайтах и памяти просто реально не хватает, то как можно по другому оптимизировать весь этот процесс? Если я буду пробегать по каталогам обычным циклом и создавать для каждого каталога свой новый процесс, это может мне помочь, или дело вообше не в этом?

Показываю кусок одной из функций, которая вызывает request: В этой функции происходит сохранение продукта(вся информация собирается и сразу сохраняется)

private void ParseProductInfoFromMotoAllegro(string link, IEnumerable<HtmlNode> columns, int parentId)
    {
        try
        {
            var name = columns.FirstOrDefault(x => x.Attributes["class"].Value == "cellName");
            var nameDock = new HtmlDocument();
            nameDock.LoadHtml(name.InnerHtml);
            var nameNode = nameDock.DocumentNode.SelectNodes("//a[@href]");
            var avatar = GetImage(columns.FirstOrDefault(x => x.Attributes["class"].Value == "cellPhoto"));
            var prices = columns.FirstOrDefault(x => x.Attributes["class"].Value == "cellPrice");
            var timeSales = columns.FirstOrDefault(x => x.Attributes["class"].Value.Contains("cellTime"));

            var timeSalesDock = new HtmlDocument();
            timeSalesDock.LoadHtml(timeSales.InnerHtml);
            var timeSalesNode = timeSalesDock.DocumentNode.SelectNodes("//span");

            var parseData = ParseDetailProductInfo(link);
            double priceExpression = 0;
            foreach (var price in prices.ChildNodes.Where(x => x.Name == "span"))
            {
                var value = price.InnerText.RemooveSimbols().ConvertToRuble();
                if (value > priceExpression)
                    priceExpression = value;
            }

            var resultPrice =
                Formula(priceExpression
                        + double.Parse(parseData.First(x => x.Key == "PriceTransport").Value[0]));

            Products product = _productRepository.CreatProduct(nameNode[0].InnerText.RemooveSimbols(),
                Translater.Translater.Translate(nameNode[0].InnerText.RemooveSimbols()), resultPrice,
                timeSalesNode[0].InnerText.RemooveSimbols(),
                parseData.FirstOrDefault(x => x.Key == "DescriptionOriginal").Value,
                parseData.FirstOrDefault(x => x.Key == "DescriptionTranslate").Value, link, parentId);

            var prod = _productRepository.Save(product);
            if (avatar != null)
            {
                avatar.ProductID = prod.ProductId;
                Save(avatar);
            }

        }

и вот в ней начинают сыпаться exception о том что не хватает памяти

private ConcurrentDictionary<string, List<string>> ParseDetailProductInfo(string link) {

bool flag = false;
HtmlDocument htmlDock = null;
HtmlDocument htmlNode = null;
while (!flag)
{
    try
    {

        flag = true;
        htmlDock = CheckFirstData(link);
        htmlNode = new HtmlDocument();
        htmlNode.LoadHtml(htmlDock.GetElementbyId("paymentShipment").InnerHtml);
    }
    catch (Exception exception)
    {
        flag = false;
        ProxyWorker.IncCurrentIndex();
    }
}

ConcurrentDictionary<string, List<string>> result = new ConcurrentDictionary<string, List<string>>();
try
{

    var dd = htmlNode.DocumentNode.SelectNodes("//dd");
    double priceTransport = 0;
    if (dd != null)
        foreach (var d in dd)
        {
            var dChild = d.ChildNodes.FirstOrDefault(x => x.Name == "strong");
            //если не равно null и не бесплатная доставка
            if (dChild != null && !dChild.InnerText.Contains("wysyłka GRATIS"))
            {
                var ruble = dChild.InnerText.RemooveSimbols().ConvertToRuble();
                if (priceTransport < ruble)
                    priceTransport = ruble;
            }
        }
    lock (mResultDictLocker)
    {
        result.TryAdd("PriceTransport", new List<string>() { priceTransport.ToString() });
    }

    result.TryAdd("DescriptionOriginal", new List<string>());
    result.TryAdd("DescriptionTranslate", new List<string>());

}

А вот конкретно кусок кода, куда идёт ответ:

 private HtmlDocument CheckFirstData(string currentLink)
    {
        var data = UrlWorker.GetDataFromUrl(Constants.cDefaultParsingUrl + currentLink, ProxyWorker.CurrentProxy);
        var htmlDock = new HtmlDocument();
        htmlDock.LoadHtml(data);
        return htmlDock;
    }

1 ответ 1

3

Тип ошибки "System.OutOfMemoryException" как бы намекает, что заканчивается память. Не нужно СРАЗУ парсить все. Вам необходимо очищать ресурсы, нужно парсить по чуть-чуть, сохранять, чуть-чуть парсить, сохранять.

6
  • Как отчищать ресурсы? GC.Collect? Т.е. Как я понял мне лучше отказаться от первых Parallel.For и делать паралельно только парсинг самих товаров? Разделение на разные процессы не поможет? Типо под каждую дерикторию свой процесс.
    – kobyb
    20 мар 2013 в 10:54
  • GC работает автоматически. Пусть будет несоклько процессов, но должно быть ограничение на количество товаров для "распарсивания" за один раз, распарсил 1000 товаров, записал в вашу базу, дальше парсит, и тд. 20 мар 2013 в 10:59
  • Я товары в памяти не храню, как только я собираю всю информацию о товаре, я его сразу сохраняю
    – kobyb
    20 мар 2013 в 11:04
  • вот то что метод возвращает "наверх": return data; куда это идет? и как обрабатывается? покажите код. 20 мар 2013 в 11:13
  • Добавил код. Три функции, которые парсят продукт в цикле Parallel.For. Буду очень благодарен за помощь.
    – kobyb
    20 мар 2013 в 11:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.