2

Подскажите, пожалуйста, какая из программ будет работать быстрее:

  1. Программа, читающая один и тот же файл несколько раз и работает с данными, не занося их в массив;
  2. Программа, которая читает файл один раз, заносит полученные данные в массив и в дальнейшем уже работает с ним?

Файл может содержать 50-100 тысяч чисел, каждое из которых предстоит обработать.

1
  • количество данных небольшое разницы особо не увидите, мне кажется 2 вариант будет быстрее так как чтение файлов довольно долгая операция, а так замеряйте критические участки кода и используйте эту информацию для дальнейшей оптимизации
    – Ildar
    10 апр 2021 в 3:59

3 ответа 3

6
  • Работа с данными в памяти понятно быстрее, чем работа с файлами. Но возможны нюансы.
  • Если оперативной памяти для хранения данных недостаточно, то держать данные в памяти может оказаться медленнее - система будет активно писать и читать своп-файл чтобы освободить память и вся экономия съестся.
  • Или наоборот может быть так, что памяти много, файл небольшой и операционная система его целиком кеширует в памяти и читает оттуда. Тогда чтение файла будет практически таким же быстрым, как чтение из памяти.
  • Ещё нужно учитывать формат, в котором вы храните в файле данные. Если это текстовые данные которые потом ещё нужно преобразовать из строк в числа, то это довольно затратная операция и вот экономия на ней в случае хранения данных в памяти может оказаться существенной в любом случае.
3

Небольшое дополнение к отличному ответу @CrazyElf.

Кроме того, что вы можете значительно ускорить работу с данными, работая с данными в памяти, вы также можете:

  • значительно ускорить изначальную загрузку данных из файла если сохранить данные в бинарном виде. Например чтение данных из файла в Parquet или Pickle формате может быть в 10 раз быстрее по сравнению с чтением CSV файла. Причиной тому необходимость угадывать правильные типы данных и преобразование строк в правильные типы данных.

  • если в дальнейшем хранить (в памяти) и обрабатывать прочитанные данные используя векторизированные модули Pandas / Numpy вместо циклов, можно еще на несколько порядков ускорить работу с данными в памяти.

1

Тут логика простая: при считывании файла ваша программа обращается к диску, если на компе стоит SSD (твердотельный накопитель) то это еще относительно быстро, то в случае с HDD (винчестер) процесс в разы медленнее. При загрузке данных в массив - у вас они хранятся в оперативке (DDR), а скорость работы с ней в разы выше чем даже с SSD.

Ответ очевиден: быстрее будет работать программа, которая читает файл один раз и заносит полученные данные в массив.

1
  • А если это ещё и сетевой диск, то вообще...
    – GrAnd
    10 апр 2021 в 12:00

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.