0

Добрый вечер.

В потоке используется WebClient, на каждый поток выдается своя группа ссылок, но почему то не всегда получает html код страницы, подскажите пожалуйста в чем может быть ошибка.

Сорри за длинный код, сократил бы, да не знаю в чем трабла.

Спасибо.

private void DoWork1(object sender, DoWorkEventArgs e)
    {

        var worker1 = sender as BackgroundWorker;

        var tuple = (Tuple<List<string>, int, ConcurrentDictionary<int, string>>)e.Argument;

        string tmpStrToList = "";

        foreach (string val in tuple.Item1)
        {
            if (val != "")
            {
                List<string> arrRes = new List<string>();

                string html = "";

                try
                {
                    var webClient = new System.Net.WebClient();
                    webClient.Encoding = Encoding.UTF8;
                    html = webClient.DownloadString(val.ToString().Trim());

                    Thread.Sleep(0);

                    //Составляем регулярку для html кода
                    string pattern = @"<td>(.*)</td>";
                    Regex reg = new Regex(pattern);
                    Match match = reg.Match(html);

                    lock (sync1)
                    {
                        while (match.Success)
                        {
                            arrRes.Add(match.Groups[1].Value.Trim());
                            match = match.NextMatch();
                        }
                    }
                }
                catch
                {
                    while (html == "")
                    {
                        try
                        {
                            var webClient = new System.Net.WebClient();
                            webClient.Encoding = Encoding.UTF8;
                            html = webClient.DownloadString(val.ToString().Trim());
                        }    
                        catch     
                        {

                        } 
                    }

                    //Составляем регулярку для html кода
                    string pattern = @"<td>(.*)</td>";
                    Regex reg = new Regex(pattern);
                    Match match = reg.Match(html);

                    Thread.Sleep(0);

                    while (match.Success)  
                    {   
                        arrRes.Add(match.Groups[1].Value.Trim()); 
                        match = match.NextMatch();
                    }
                }
            }

        tuple.Item3.TryAdd(tuple.Item2, tmpStrToList.Trim());

        count_for++;

        tmpStrToList = "";
    }
11
  • 1
    А почему вдруг catch { }? Вы подавляете все ошибки, а потом гадаете, где же ошибка. Не ленитесь, обработайте ошибки правильно. Хотя бы залогируйте, что происходит.
    – VladD
    23 апр 2013 в 23:14
  • 1
    >не всегда получает html @z668, вообще результат веб-запроса надо смотреть по HTTP-заголовкам, а не по "получили/не получили html".
    – user6550
    24 апр 2013 в 10:32
  • 1
    @z688: ну, сервер и так дохлый, а вы его ещё насилуете в цикле :-) Будьте добрее к серверу: выясните ошибку, и если она лежит на стороне сервера, выдержите таймаут (проинформировав пользователя), и попытайтесь снова. Если вы заDOSите сервер, пользы ни вам, ни серверу не будет.
    – VladD
    24 апр 2013 в 12:46
  • 1
    BTW, в MSDN написано: A WebClient instance does not send optional HTTP headers by default. If your request requires an optional header, you must add the header to the Headers collection. For example, to retain queries in the response, you must add a user-agent header. Also, servers may return 500 (Internal Server Error) if the user agent header is missing. И чтобы не насиловать сервер хорошо бы обрабатывать Last-Modified (If-Modified-Since, соответственно, на стороне клиента). Хотя, это уже больше от сервера зависит.
    – user6550
    24 апр 2013 в 12:53
  • 2
    pastebin.com/jHV868Vi Раскопал свой код чёрт знает какой давности, тоже в _beginthread() работал. Безо всяких C# :) Может поможет.
    – user6550
    24 апр 2013 в 16:44

1 ответ 1

1

В общем пришлось колхозить:

string[] res;

try
 {

 HttpWebRequest reqGET = (HttpWebRequest)WebRequest.Create(val.ToString().Trim());
 reqGET.ContinueTimeout = 100;
 reqGET.CookieContainer = new CookieContainer();
 reqGET.Method = @"GET";
 reqGET.ContentType = @"text/html; charset=utf-8";
 reqGET.Referer = @"http://yandex.ru";
 reqGET.Accept = @"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
 reqGET.UserAgent = @"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:20.0) Gecko/20100101 Firefox/20.0";
 reqGET.KeepAlive = true;
 System.Net.WebResponse resp = reqGET.GetResponse();
 System.IO.Stream stream = resp.GetResponseStream();
 System.IO.StreamReader sr = new System.IO.StreamReader(stream);
 html = sr.ReadToEnd();
 resp.Close();
 stream.Close();

 res = html.Split(new string[] { "/" }, StringSplitOptions.RemoveEmptyEntries);

    if (res[res.Length - 1].ToString().Trim() != "html>")
    {
        throw new Exception();
    }

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.