7

Как увеличить скорость сбора в разы ?

Если делаю дополнительные потоки с Algoritm2 Algoritm3 и т.д.

То такое ощущение, что скорость распределяется, а не увеличивается.

При этом мощности компьютера и интернет канала полно...

UPD: Не асинхронно, а отдельными потоками в которых всё будет синхронно

using System;
using System.IO;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace ParsingImena
{
    public partial class Form1 : Form
    {

        public Form1()
        {
            InitializeComponent();
        }



        private void Form1_Load(object sender, EventArgs e)
        {

            var algoritm1 = new Task(Algoritm1);
            algoritm1.Start();

        }// Загрузка формы



        private string PoluchitImya(string nomerStranici)
        {
            System.Net.WebClient wc = new System.Net.WebClient();

                String Response = wc.DownloadString("https://site.com/" + nomerStranici);
                String Rate = System.Text.RegularExpressions.Regex.Match(Response, @"itemprop=""name"">([^<]+)</").Groups[1].Value;
                return Rate;

        }// Получение имени



        private void Algoritm1()
        {

            for (int i = 1; i < 100000; i++)
            {

                string nomerStranici = i.ToString();
                string r = PoluchitImya(nomerStranici);
                BeginInvoke(new InvokeDelegate(pisanina), r);
                BeginInvoke(new InvokeDelegateLable1(pisaninaLable1), i);

            }

        }// Алгоритм работы 1


        #region Делегаты

        public delegate void InvokeDelegate(string r);
        public void pisanina(string r)
        {
            if (r != "")
            {
                File.AppendAllText("log.txt", r + Environment.NewLine);
            }

        }


        public delegate void InvokeDelegateLable1(int i);
        public void pisaninaLable1(int i)
        {
            label1.Text = i.ToString();
        }

        #endregion

    }
}
5
  • 1
    1) найти узкое место 2) ускорить узкое место. Ну и грузить странички асинхронно, а не последовательно
    – tym32167
    2 дек 2017 в 0:13
  • @tym32167 можете показать пример с 2-мя потоками ? Как найти это узкое место ?
    – Xzizz
    2 дек 2017 в 0:15
  • не многопоточно, асинхронно. Смотрите как асинхронно качать сайты. Про узкое место - это можно сделать с профайлером. Код пка нет возможности писать, примеры не могу прислать
    – tym32167
    2 дек 2017 в 0:19
  • 1
    Если не ошибаюсь, дело в ограничении количества одновременных соединений. Гуглите по словам "c# webclient connection limit" для подробностей. В частности: 1, 2, 3, 4. 2 дек 2017 в 10:20
  • 1
    @AlexanderPetrov спасибо что не прошли мимо. Решила мою проблему ваша ссылка с цифрой 1 и оттуда строка System.Net.ServicePointManager.DefaultConnectionLimit = 20;
    – Xzizz
    2 дек 2017 в 10:54

2 ответа 2

15

Расскажу, как это делать более правильно (не идеально, но чуть лучше, чем у вас).

Итак, что мы хотим? Мы хотим ускорить загрузку и обработку страничек. За счет чего это можно сделать? За счет асинхронной загрузки и параллельной обработки. Ниже будет пример парсинга нашего сайта SO - я распарсю только несколько страничек, для примера (и чтобы не забанили :))

Как грузить страничку асинхронно?

async Task<string> Load(string uri)
{
    using (var client = new HttpClient())
    {
        var res = await client.GetStringAsync(uri); // асинхронная загрузка
        return res;
    }
}

Для удобрства, я напишу метод, который принимает номер страницы

Task<string> LoadPage(int page)
{
    return Load($"https://ru.stackoverflow.com/questions/tagged/c%23?page={page}");
}

Так, я хочу вытащить из страницы вопросы - заголовок вопроса и его Url. То есть мне нужен класс вопроса

public class Question
{
    public string Url {get;set;}
    public string Title {get;set;}
}

И способ, как вопросы вытащить со страницы. Я поспользуюсь библиотекой HtmlAgilityPack

Question[] GetQuestions(string content)
{
    var doc = new HtmlDocument();
    doc.LoadHtml(content);

    var nodes = doc.DocumentNode.SelectNodes("//*[@class='question-summary']//*/h3/a")
        .Select(x => new Question() 
                { 
                    Title = x.InnerText, 
                    Url = x.Attributes["href"].Value 
                })
        .ToArray();

    return nodes;
}

Ну и осталось написать метод, который загрузит страничку, распарсит её и вернет список вопросов

async Task<Question[]> GetQuestions(int page)
{
    var str = await LoadPage(page);
    return GetQuestions(str);
}

Как это запустить?

async Task Main()
{
    // грузим 10 страниц
    var tasks = Enumerable.Range(1, 10)
        .Select(x=>GetQuestions(x))
        .ToArray();

    await Task.WhenAll(tasks); // ждем, когда все загрузится

    // вывод в консоль
    foreach(var question in tasks.SelectMany(x=>x.Result))
    {
        Console.WriteLine(question.Title);
    }   
}

Результат - примерно 150 вопросов с 10 страниц было скачано и распарсено за 0,8 секунды

Увеличить скорость парсера
Как сделать поиск по слову по listbox?
Освобождение ресурсов
Cannot open database requested by the login
C# функции, подпрограммы [требует правки]
Изменения стиля внутренних контролов у UserControl&#39;а

........../* тут ещё куча текста*/..........

Событие на нажатие кнопки мыши вне элемента управления. C#. Windows Forms
c#, Graphics.DrawString(), InvalidOperationException
Привязка анимации WPF
Как пропустить unauthorized access exception [дубликат]
Добавить текст к имеющемуся

И не забудьте все это запускать в отдельном большом таске (по типу как у вас var algoritm1 = new Task(Algoritm1);), чтобы не грузить UI обработками страниц

4
  • Здорово, спасибо. - Я думал можно примерно тоже самое, но только в отдельных "больших потоках" - что бы у каждого был свой Вебклиент и т.д.
    – Xzizz
    2 дек 2017 в 9:22
  • что бы у каждого был свой Вебклиент, свои страницы и без какой либо очереди и асинхронна.
    – Xzizz
    2 дек 2017 в 9:28
  • 1
    @Vipz дело в том, что асинхронная операция по скачке страницы не использует процессор во время ожидания сервера, потому пачка таких операций выполнится быстрее и съест меньше ресурсов, чем если плодить потоки. Кстати, плодить очень много потоков вообще неэффективно и может быть даже медленней, чем просто по одной странице качать последовательно
    – tym32167
    2 дек 2017 в 13:02
  • Я просто ещё не дорос до Вашего кода. А решить надо было здесь и сейчас. Большое спасибо за Ваш вариант, чуть выросту и вернусь к нему. С потоками пока всё шустро.
    – Xzizz
    2 дек 2017 в 13:05
-1

Можно использовать указатели, с ними быстрее:

private unsafe void Algoritm1()
        {
            for (int* i = (int*)1; i < (int*)100000; i++)
            {

                string nomerStranici = (int)i.ToString();
                string r = PoluchitImya(nomerStranici);
                BeginInvoke(new InvokeDelegate(pisanina), r);
                BeginInvoke(new InvokeDelegateLable1(pisaninaLable1), (int)i);

            }
        }

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.