5

Есть обычный тхт. В нем строки эн-тое количество. Как я могу считать их многопоточно, то есть там допустим, первый поток считывает первые 50 строк, второй следующие 50 итд. ?

2 ответа 2

6

Нет.

Дело в том, что для текстового файла вы не знаете, с какого именно места начинается та или иная строка: каждая строка может иметь свою длину в байтах. Поэтому для того, чтобы прочитать 100-ую строку, всё равно придётся читать первых 99. Поэтому никакого выигрыша от многопоточного чтения не будет.


Обновление. Дискуссия в комментариях (идея @avp) и ответ @gbg переубедили меня в том, что технически таки можно разбить чтение текстового файла на несколько потоков примерно равными порциями. Однако существует другая проблема: дисковый ввод-вывод — по существу последовательная операция. Поэтому в любом случае узким местом будет именно он, и несколько потоков будут всё равно бороться за общий ресурс. С этой точки зрения я не вижу большого выигрыша от распараллеливания.

Единственный сценарий, при котором многпоточное чтение может дать выгоду по скорости — это ситуация RAID-массива, в котором каждый поток читает со своего диска. Однако это определение того, какие данные лежат на каком из дисков, вряд ли будет лёгким заданием.

С другой стороны, если узкое место — не чтение, а обработка данных, то лучше распараллелить именно её. Для этого удобно использовать, например, PLINQ:

File.ReadLines(path).AsParallel().Select(line => Process(line)).ToList();
4
  • 2
    Хотелось бы еще добавить - что можно читать файл в одном потоке, и сразу передавать из него данные на обработку в несколько потоков. Быстрее вариант врятли найдется.
    – Alexis
    3 июл 2016 в 22:49
  • 1
    @Alexis: Именно так.
    – VladD
    3 июл 2016 в 22:52
  • 1
    На практике, безусловно, но вообще можно придумать и альтернативный вариант. Например, первый поток считывает первую половину файла, подсчитывает количество строк в ней и отмечает, завершается ли последняя строка в его половине \n. Соответственно, второй поток запоминает смещение первого \n в своей половине (и может тоже подсчитывать количество строк). Затем они обмениваются данными о наличии \n в конце первой половины и смещении первого \n во второй. После этого первый поток может прочитать хвост последней строки, а второй скорректировать свои данные. И т.д. и т.п. ...
    – avp
    3 июл 2016 в 22:54
  • Комментарии не предназначены для расширенной дискуссии; разговор перемещен в чат.
    – user177221
    11 июл 2016 в 14:08
4

Общение между потоками не нужно.

Достаточно

  • отобразить файл в режиме READ_ONLY на память
  • запустить потоки, отдав каждому блок интересного размера.

Каждый поток работает со своей частью по таким правилам:

  • Если он дошел до конца своего блока и не встретил конец строки, он продолжает (и залезает в блок соседа), до тех пор, пока конец строки не найдется
  • Если поток начал работу не с начала файла, он пропускает все байты от начала своего блока до конца строки.

Никакой синхронизации, никаких блокировок. Понятно, что выигрыш в скорости будет, если файл расположен на дисковом массиве.

О размере блока

Предполагаю, что идеальным размером будет - (размер кэша ЖД) * (количество дисков в зеркале массива) / (количество потоков).

8
  • +1, но есть несколько тонких моментов. (1) Нужно заглянуть на символ назад, и если там конец строки, не пропускать начало. (2) Если файл записан в неоднобайтной кодировке, нужно откатиться до границы символа. С кодировками переменного размера дополнительные сложности.
    – VladD
    4 июл 2016 в 7:04
  • @VladD это если концы строки - не однобайтные, то есть \r\n. Тогда да, все становится несколько сложнее, принцип остается прежним - синхронизация не нужна.
    – gbg
    4 июл 2016 в 7:27
  • Я предполагаю так: первый поток считывает первые 50 строк, если строка равна=="чему-то", то поток останавливается, или не так ?
    – komra23
    4 июл 2016 в 12:07
  • @May_be остальные потоки не смогут узнать, с какого байта им начинать обрабатывать файл, вам же уже объяснили.
    – gbg
    4 июл 2016 в 12:35
  • @gbg а почему нельзя начать потокам обрабатывать не с байта а именно со строки конкретной и до конкретной?
    – komra23
    4 июл 2016 в 13:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.