1

Проблема в следующем, есть программа, которая должна многопоточно перебирать списки сайтов, запросы реализованы следующим образом:

static string Get(string adr)
{
    string content = "";
    HttpWebResponse response=null;
    Stream stream=null;
    StreamReader reader=null;

    try
    {
        HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://"+adr);
        //WebProxy prx = new WebProxy("127.0.0.1", 8888);
        req.UserAgent = "Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.0";
        req.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
        req.Proxy = null;
        req.KeepAlive = false;
        req.Headers.Add("Accept-Language", "ru-RU,ru;q=0.9,en;q=0.8");
        req.AllowAutoRedirect = true;
        req.Timeout = 10000;
        req.ReadWriteTimeout = 10000;
        req.MaximumAutomaticRedirections = 1;
        req.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;
        req.Method = WebRequestMethods.Http.Get;

        using (response = (HttpWebResponse)req.GetResponse())
        using (stream = response.GetResponseStream())
        using (reader = new StreamReader(stream, Encoding.Default))
        {
            content = System.Net.WebUtility.HtmlDecode(reader.ReadToEnd());

            response.Close();
            stream.Close();
            reader.Close();
        }
    }
    catch 
    {
        response.Close();
        stream.Close();
        reader.Close();
    }
    return content;
}

В потоках просто происходит вызов этой функции и обработка полученного содержимого. Вот несколько скриншотов с утилиты dotMemory: введите сюда описание изображения введите сюда описание изображения

Как видно, переполняется область Heap Generation 2, а, в частности, типами данных Char[] и StringBuilder. Проблема в том, что у меня нет типа данных StringBuilder или Char[] в коде, я использую String и List() . Подозреваю на код внутри класса HttpWebRequest, не знаю просто на что уже другое думать. Просто происходит рост занятой оперативной памяти до зависания приложения. Буду благодарен за помощь!

4
  • 1
    А причём тут Heap Generation 2 к переполнению стека?
    – VladD
    29 авг 2015 в 18:49
  • reader.ReadToEnd(). Хм. А какого размера поток? Может, он реально очень большой?
    – VladD
    29 авг 2015 в 18:50
  • Я не знаю насчёт dotMemory, а Ants Memory Profiler вполне умеет показать retention graph: кто держит строки, кто держит того, кто держит строки и т. д. Если dotMemory так не может, попробуйте Ants: у него есть бесплатный месяц trial period.
    – VladD
    29 авг 2015 в 18:52
  • Изучите множества объектов Char[] и String подробнее. Для этого кликните на ссылке и в открывшейся view выберите Group by Dominators(Sunburst chart) или Group by Similar retention. Сразу станет понятно, кто их наплодил
    – Ed Pavlov
    30 авг 2015 в 13:20

1 ответ 1

5

В коде из вопроса нет ничего подозрительного (кроме трех лишних вызовов Close в catch - они уже продублированы using-ами, а при ошибке в response.GetResponseStream() вы получите NullReferenceException на stream.Close()).

С большой вероятностью проблема, если она есть - не в коде из вопроса, а в коде парсинга.

Судя по скринам, почти вся память у вас занята всего 15-ю StringBuilder-ами. В dotTrace есть поиск GC Roots для объектов - цепочек ссылок, которые предотвращают уход конкретных объектов в мусор. Скорее всего он запускается при клике на ссылк StringBuiler на скриншоте.

Вам стоит просмотреть корни для этих 15-ти StringBuilder-ов и выяснить, действительно ли это мусор (т.е. вы где-то случайно сохранили ссылку на длинную строку и забыли ее занулить) или это реальные данные, с которыми ваше приложение работает. 15 объектов вполне реально просмотреть вручную.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.