0

Есть список lst. В нем список урл. Через Parallel.For я делаю гет-запросы и манипулирую с данными. Как мы понимаем данные из списка берутся в случайном порядке и при сбое не представляется возможным нормально продолжить работу. Есть ли какой то метод чтобы Parallel.For брал данные по очереди, ну или какой то другой вариант сохранения позиции цикла для всех потоков.

2
  • Берутся-то они по порядку, выполниться могут не по очереди. Что значит нормально продолжить работу? Насколько важна очередность? Или достаточно просто запомнить удачно отработанные элементы списка?
    – slippyk
    23 июн 2016 в 6:48
  • просто запоминать удачно отработанные
    – Radzhab
    23 июн 2016 в 6:52

3 ответа 3

2

Можно и через одну коллекцию:

    private void button2_Click(object sender, EventArgs e)
    {
        ConcurrentDictionary<Uri, Enum> cd = new ConcurrentDictionary<Uri, Enum>();

        cd.TryAdd(new Uri("http://1.com"), EProgress.Waiting);
        cd.TryAdd(new Uri("http://2.com"), EProgress.Waiting);
        cd.TryAdd(new Uri("http://3.com"), EProgress.Waiting);


        Parallel.ForEach(cd, item =>
        {
            try
            {
                cd[item.Key] = EProgress.Processing;
                // to do something
                cd[item.Key] = EProgress.Complete;
            }
            catch (Exception)
            {
                cd[item.Key] = EProgress.Error;
                throw;
            }
        });
    }

    public enum EProgress
    {
        Waiting, // Ожидают обработки
        Processing, // В процессе обработки
        Complete // Удачно завершенные
    }

После выполнения можно посмотреть на каком элементе ошибка, и в каком состоянии остальные.

2

Мне кажется, имеет смысл перейти к task-based-параллеллизму, раз уж у вас всё равно нагрузка на сеть, и не возиться с низкоуроневой многопоточностью.

Если ProcessUrl — асинхронная функция обработки одного адреса, получаем следующий тривиальный код:

var resultTasks = lst.Select(ProcessUrl);
var allResults = await Task.WhenAll(resultTasks);
var successfulResults =
        allResults.Where(r => r != null) // отфильтруем неуспешные
                  .Select(r => r.Value)  // вернёмся к типу byte
                  .ToList();             // и материализуем, наконец.

Согласно документации, Task.WhenAll возвращает результаты с сохранением порядка:

Result property of the returned task will be set to an array containing all of the results of the supplied tasks in the same order as they were provided


Вот пример того, как может выглядеть «обработка одного адреса»:

// обработка одного URL, может вернуть null при ошибке
async Task<int?> ProcessUrl(Uri uri)
{
    try
    {
        using (var client = new HttpClient())
        using (var stream = await client.GetStreamAsync(uri))
        {
            // окей, теперь у нас есть поток
            // интенсивный подсчёт, ограниченный сетью, делаем прямо
            byte sumOfBytes = await SumBytesInStream(stream);
            // вычисление, интенсивное по процессору, выполняем на пуле потоков
            return await Task.Run(() => EncodeByte(sumOfBytes));
        }
    }
    catch (HttpRequestException e)
    {
        return null; // неудача, вернём null
    }
}

Вспомогательные функции:

async Task<byte> SumBytesInStream(Stream s)
{
    byte[] buf = new byte[65536];
    byte sum = 0;
    while (true)
    {
        var actuallyRead = await s.ReadAsync(buf, 0, buf.Length);
        if (actuallyRead == 0)
            return sum;
        sum += buf.Take(actuallyRead).Sum();
    }
}

byte EncodeByte(byte b)
{
    // тут много сложной криптографии
    return b + 1;
}
0

Лучше конечно тасками оперировать и проще получиться и быстрее. Хранить, на мой сугубо условный взгляд, стоит 2 коллекции. Как только отработает запрос корректно, адрес добавляется в коллекцию проверенных. Соответственно для работы используем конкурентные коллекции, к примеру, ConcurrentQueue

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.