В дополнение к уже существующим ответам, возможно, в данной задаче вам стоит подумать насчёт Parallel LINQ:
var uris = new[] { "www.ya.ru", "www.google.ru", "www.yahoo.ru" };
var data = uris.AsParallel().Select(parse).ToList();
По поводу Task
'ов, мне больше нравится такой синтаксис:
var uris = new[] { "www.ya.ru", "www.google.ru", "www.yahoo.ru" };
var tasks = uris.Select(uri => Task.Run(() => parse(uri));
var results = await Task.WhenAll(tasks);
Для того, чтобы не занимать свободные потоки без дела, я бы порекомендовал метод parse
сделать асинхронным, тогда код становится эффективнее:
async Task<Data> parse(string uri)
{
string content;
using (var cl = new WebClient())
content = await cl.DownloadStringTaskAsync(uri);
// собственно разбор есть CPU-bound -- выгружаем в пул потоков
return await Task.Run(() => ParseContent(content));
}
var uris = new[] { "www.ya.ru", "www.google.ru", "www.yahoo.ru" };
var tasks = uris.Select(parse);
var results = await Task.WhenAll(tasks);
Возможно, правильнее использовать более легковесный и современный HttpClient
:
using (var cl = new HttpClient())
content = await cl.GetStringAsync(uri);