1

Здравствуйте.

Моё консольное приложение парсит онлайн магазин с большим количеством товаров. Структура парсинга такова:

  1. Используя Parallel.For, я пробегаю по всем каталогам.
  2. В каждом каталоге используя Parallel.For я пробегаю по всем подкаталогам и так рекурсией, пока не дойду до каталога нижнего уровня с товарами.
  3. Узнаю количество страниц с товарами в данном каталоге и используя Parallel.For пробегаю по всем страницам , заходя на информацию о каждом продукте.

В каждом каталоге около 30000 товаров. Проблема в следующем,информация о каталогах сохраняется быстро, но как дело доходит до продуктов, начинаются проблемы. В логе только и вижу Exception of type 'System.OutOfMemoryException' was thrown. Все запросы у меня делаются из одной функции

  public static string GetDataFromUrl(string url, ConcurrentDictionary<string, int> proxy)
{
    string data = "";
    WebRequest request = null;
    try
    {
        request = WebRequest.Create(url);
        request.Proxy = new WebProxy(proxy.Keys.ElementAt(0), proxy.Values.ElementAt(0));
        request.PreAuthenticate = true;
        request.Credentials = new NetworkCredential("kobyb", "nbzbnbzb");
        request.Proxy.Credentials = new NetworkCredential("kobyb", "nbzbnbzb");
        request.Timeout = 120000;
        ((HttpWebRequest) request).KeepAlive = false;
        ((HttpWebRequest) request).ReadWriteTimeout = 120000*2;
        ServicePointManager.DefaultConnectionLimit = 200;
        if (request != null)
        {
            using (var response = request.GetResponse())
            {
                using (var stream = response.GetResponseStream())
                using (var reader = new StreamReader(stream))
                {
                    data = reader.ReadToEnd();
                    if (string.IsNullOrEmpty(data))
                        return GetDataFromUrl(url, ProxyWorker.NextProxy);
                }
                response.Close();
            }
        }
    }
    catch (Exception exception)
    {
        return GetDataFromUrl(url, ProxyWorker.NextProxy);
    }
    return data;
}

Так же в App.config поставил

<system.net>
    <connectionManagement>
      <add address="www.contoso.com" maxconnection="200" />
      <add address="*" maxconnection="200" />
    </connectionManagement>
  </system.net>
  <runtime>
    <gcServer enabled="true"/>
  </runtime>

В catch ловятся постоянно ошибки вида Time Out. В результате база поначалу заполняется быстро, потом скорость заполнения резко снижается, вываливается ошибка

Exception of type 'System.OutOfMemoryException' was thrown. {Function evaluation disabled because a previous function evaluation timed out. You must continue execution to reenable function evaluation.}

Помогите, пожалуйста, что мне сделать? Без параллельности программа работает, но будет выполняться несколько месяцев. Что я делаю неправильно? Если всё дело в 2 гигабайтах и памяти просто реально не хватает, то как можно по другому оптимизировать весь этот процесс? Если я буду пробегать по каталогам обычным циклом и создавать для каждого каталога свой новый процесс, это может мне помочь, или дело вообше не в этом?

1 ответ 1

1

Думаю, вы сами ответили на свой вопрос

всё дело в 2 гигабайтах и памяти просто реально не хватает

А оптимизацией думаю в вашем случае будет ограничение количества одновременно выполняемых Parallel.For . С учетом того что вам известно количество товаров в каждом каталоге и так же размер данных для каждого товара вы можете прикинуть размер занимаемый массивом памяти. А далее можно так же распаралелить саму оптимизацию. То есть просчитав количество Parallel.For которые вы можете запустить одновременно используя тот объем памяти который у вас есть посчитать время работы программы, а дальше просто подбором оптимального объема памяти (из расчета цена/а надо ли вам такую скорость), проапгрейдить оперативку до нужного вам объема.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.