Это довольно серьезный вопрос, так как ответ зависит от ОС, оборудования и тд. Однако, есть несколько общих рекомендаций, которые могут помочь:
Input-Output операции лучше делать:
- Асинхронно. Это уменьшает число переключений контекста (а к нему приводит операция Wait, когда ждут ответа ОС)
- С определенным числом потоков (при параллельном чтении большого объема данных может не справится сам диск, то есть мы опять потратим лишнее время на переключение контекстов, синхронизации и тд, однако теперь уже на стороне контроллера диска)
- Потоково (используя Stream'ы), то есть избегая File.lines и т.д. Основная причина - 10 файлов по 1 Гигабайту могут съесть порядка 10 Гб. Если же файлы разбирать на ходу, то уменьшится необходимый объем памяти. Более того - большой массив (или строка, не важно) записываются сразу в последнее поколение (чтобы избежать перемещений в памяти), что негативно сказывается как на потреблении памяти, так и на производительности.
Если кратко: используйте ответ выше, однако немного модифицированный (нет смысла обрабатывать сами строки в отдельном параллельном блоке). Более того - параллелизм необходимо ограничить, здесь уже нужны тесты на железе.
File("/tmp")
.walkTopDown()
.asSequence()
.asStream()
.parallel(N)
.map { Files.lines(it.toPath()).split(" ").stream() }
.flatMap { it }
Если подробно: Вам необходимо применить все пункты выше. По сути, получится исследование по работе с IO на Java, аналогичное вот этому для .Net