0

Есть код:

    folderEntries.forEach { entry -> entry.listFiles().filter { it.isFile }.forEach { files.add(it) } }
    files.subList((files.size * threads / threadCount), (files.size * (threads + 1) / threadCount)).forEach { 
        input.addAll(input.lastIndex + 1, Files.readAllLines(it.toPath())) }

    for (str in input) {
        buf = str.split(" ")
        outBuf.add("y = ${(Math.atan((buf[2].toDouble() / 4)) - buf[3].toInt() * 62) / (buf[0].toInt() * buf[0].toInt() - buf[1].toInt())}")
    }

Который работает медленнее, чем хотелось бы. Буду признателен за помощь в оптимизации.

2 ответа 2

1

Это довольно серьезный вопрос, так как ответ зависит от ОС, оборудования и тд. Однако, есть несколько общих рекомендаций, которые могут помочь:

Input-Output операции лучше делать:

  • Асинхронно. Это уменьшает число переключений контекста (а к нему приводит операция Wait, когда ждут ответа ОС)
  • С определенным числом потоков (при параллельном чтении большого объема данных может не справится сам диск, то есть мы опять потратим лишнее время на переключение контекстов, синхронизации и тд, однако теперь уже на стороне контроллера диска)
  • Потоково (используя Stream'ы), то есть избегая File.lines и т.д. Основная причина - 10 файлов по 1 Гигабайту могут съесть порядка 10 Гб. Если же файлы разбирать на ходу, то уменьшится необходимый объем памяти. Более того - большой массив (или строка, не важно) записываются сразу в последнее поколение (чтобы избежать перемещений в памяти), что негативно сказывается как на потреблении памяти, так и на производительности.

Если кратко: используйте ответ выше, однако немного модифицированный (нет смысла обрабатывать сами строки в отдельном параллельном блоке). Более того - параллелизм необходимо ограничить, здесь уже нужны тесты на железе.

 File("/tmp")
        .walkTopDown()
        .asSequence()
        .asStream()
        .parallel(N)
        .map { Files.lines(it.toPath()).split(" ").stream() }
        .flatMap { it }

Если подробно: Вам необходимо применить все пункты выше. По сути, получится исследование по работе с IO на Java, аналогичное вот этому для .Net

1
  • Огромное спасибо за полезную информацию
    – Andrii
    Commented 6 мар. 2018 в 10:32
0

Напрашивается решение с параллельными стримами типа такого

File("/tmp")
            .walkTopDown()
            .asSequence()
            .asStream()
            .parallel()
            .map { Files.lines(it.toPath()) }
            .flatMap { it }
            .parallel()
            .map { it.split(" ").stream() }
            .flatMap { it }

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.