7

Как увеличить скорость сбора в разы ?

Если делаю дополнительные потоки с Algoritm2 Algoritm3 и т.д.

То такое ощущение, что скорость распределяется, а не увеличивается.

При этом мощности компьютера и интернет канала полно...

UPD: Не асинхронно, а отдельными потоками в которых всё будет синхронно

using System;
using System.IO;
using System.Threading.Tasks;
using System.Windows.Forms;

namespace ParsingImena
{
    public partial class Form1 : Form
    {

        public Form1()
        {
            InitializeComponent();
        }



        private void Form1_Load(object sender, EventArgs e)
        {

            var algoritm1 = new Task(Algoritm1);
            algoritm1.Start();

        }// Загрузка формы



        private string PoluchitImya(string nomerStranici)
        {
            System.Net.WebClient wc = new System.Net.WebClient();

                String Response = wc.DownloadString("https://site.com/" + nomerStranici);
                String Rate = System.Text.RegularExpressions.Regex.Match(Response, @"itemprop=""name"">([^<]+)</").Groups[1].Value;
                return Rate;

        }// Получение имени



        private void Algoritm1()
        {

            for (int i = 1; i < 100000; i++)
            {

                string nomerStranici = i.ToString();
                string r = PoluchitImya(nomerStranici);
                BeginInvoke(new InvokeDelegate(pisanina), r);
                BeginInvoke(new InvokeDelegateLable1(pisaninaLable1), i);

            }

        }// Алгоритм работы 1


        #region Делегаты

        public delegate void InvokeDelegate(string r);
        public void pisanina(string r)
        {
            if (r != "")
            {
                File.AppendAllText("log.txt", r + Environment.NewLine);
            }

        }


        public delegate void InvokeDelegateLable1(int i);
        public void pisaninaLable1(int i)
        {
            label1.Text = i.ToString();
        }

        #endregion

    }
}
5
  • 1
    1) найти узкое место 2) ускорить узкое место. Ну и грузить странички асинхронно, а не последовательно
    – tym32167
    2 дек 2017 в 0:13
  • @tym32167 можете показать пример с 2-мя потоками ? Как найти это узкое место ?
    – Xzizz
    2 дек 2017 в 0:15
  • не многопоточно, асинхронно. Смотрите как асинхронно качать сайты. Про узкое место - это можно сделать с профайлером. Код пка нет возможности писать, примеры не могу прислать
    – tym32167
    2 дек 2017 в 0:19
  • 1
    Если не ошибаюсь, дело в ограничении количества одновременных соединений. Гуглите по словам "c# webclient connection limit" для подробностей. В частности: 1, 2, 3, 4. 2 дек 2017 в 10:20
  • 1
    @AlexanderPetrov спасибо что не прошли мимо. Решила мою проблему ваша ссылка с цифрой 1 и оттуда строка System.Net.ServicePointManager.DefaultConnectionLimit = 20;
    – Xzizz
    2 дек 2017 в 10:54

2 ответа 2

15

Расскажу, как это делать более правильно (не идеально, но чуть лучше, чем у вас).

Итак, что мы хотим? Мы хотим ускорить загрузку и обработку страничек. За счет чего это можно сделать? За счет асинхронной загрузки и параллельной обработки. Ниже будет пример парсинга нашего сайта SO - я распарсю только несколько страничек, для примера (и чтобы не забанили :))

Как грузить страничку асинхронно?

async Task<string> Load(string uri)
{
    using (var client = new HttpClient())
    {
        var res = await client.GetStringAsync(uri); // асинхронная загрузка
        return res;
    }
}

Для удобрства, я напишу метод, который принимает номер страницы

Task<string> LoadPage(int page)
{
    return Load($"https://ru.stackoverflow.com/questions/tagged/c%23?page={page}");
}

Так, я хочу вытащить из страницы вопросы - заголовок вопроса и его Url. То есть мне нужен класс вопроса

public class Question
{
    public string Url {get;set;}
    public string Title {get;set;}
}

И способ, как вопросы вытащить со страницы. Я поспользуюсь библиотекой HtmlAgilityPack

Question[] GetQuestions(string content)
{
    var doc = new HtmlDocument();
    doc.LoadHtml(content);

    var nodes = doc.DocumentNode.SelectNodes("//*[@class='question-summary']//*/h3/a")
        .Select(x => new Question() 
                { 
                    Title = x.InnerText, 
                    Url = x.Attributes["href"].Value 
                })
        .ToArray();

    return nodes;
}

Ну и осталось написать метод, который загрузит страничку, распарсит её и вернет список вопросов

async Task<Question[]> GetQuestions(int page)
{
    var str = await LoadPage(page);
    return GetQuestions(str);
}

Как это запустить?

async Task Main()
{
    // грузим 10 страниц
    var tasks = Enumerable.Range(1, 10)
        .Select(x=>GetQuestions(x))
        .ToArray();

    await Task.WhenAll(tasks); // ждем, когда все загрузится

    // вывод в консоль
    foreach(var question in tasks.SelectMany(x=>x.Result))
    {
        Console.WriteLine(question.Title);
    }   
}

Результат - примерно 150 вопросов с 10 страниц было скачано и распарсено за 0,8 секунды

Увеличить скорость парсера
Как сделать поиск по слову по listbox?
Освобождение ресурсов
Cannot open database requested by the login
C# функции, подпрограммы [требует правки]
Изменения стиля внутренних контролов у UserControl&#39;а

........../* тут ещё куча текста*/..........

Событие на нажатие кнопки мыши вне элемента управления. C#. Windows Forms
c#, Graphics.DrawString(), InvalidOperationException
Привязка анимации WPF
Как пропустить unauthorized access exception [дубликат]
Добавить текст к имеющемуся

И не забудьте все это запускать в отдельном большом таске (по типу как у вас var algoritm1 = new Task(Algoritm1);), чтобы не грузить UI обработками страниц

4
  • Здорово, спасибо. - Я думал можно примерно тоже самое, но только в отдельных "больших потоках" - что бы у каждого был свой Вебклиент и т.д.
    – Xzizz
    2 дек 2017 в 9:22
  • что бы у каждого был свой Вебклиент, свои страницы и без какой либо очереди и асинхронна.
    – Xzizz
    2 дек 2017 в 9:28
  • 1
    @Vipz дело в том, что асинхронная операция по скачке страницы не использует процессор во время ожидания сервера, потому пачка таких операций выполнится быстрее и съест меньше ресурсов, чем если плодить потоки. Кстати, плодить очень много потоков вообще неэффективно и может быть даже медленней, чем просто по одной странице качать последовательно
    – tym32167
    2 дек 2017 в 13:02
  • Я просто ещё не дорос до Вашего кода. А решить надо было здесь и сейчас. Большое спасибо за Ваш вариант, чуть выросту и вернусь к нему. С потоками пока всё шустро.
    – Xzizz
    2 дек 2017 в 13:05
-1

Можно использовать указатели, с ними быстрее:

private unsafe void Algoritm1()
        {
            for (int* i = (int*)1; i < (int*)100000; i++)
            {

                string nomerStranici = (int)i.ToString();
                string r = PoluchitImya(nomerStranici);
                BeginInvoke(new InvokeDelegate(pisanina), r);
                BeginInvoke(new InvokeDelegateLable1(pisaninaLable1), (int)i);

            }
        }

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.