0

Cнять хеш каждого файла очень дорого обходится по времени, можно ли как-то ускорить работу функции или пойти другим путем?
Волнует как скажется на боевом сервере при сканировании большого числа файлов.

Альтернатива:
— выполнять по Cron'у сканирование с записью в БД в ночное время, писать и читать с БД;
— разбивать на части с остановкой работы скрипта на некоторое время: sleep().

Формат такой: читаем директорию, выбираем файлы, вычисляем хеш выбранных файлов

function filelist($dir)
{
    $filesArray = [];

    $opendir = opendir($dir);

    while ($list = readdir($opendir))
    {
        $isDir = @is_dir($dir . "/" . $list);
        if ($isDir == false)
        {
            $fileHash = sha1_file(strtolower($dir . "/" . $list));
            $files = [$list => $fileHash];
            array_push($filesArray, $files);
        }
    }

    array_multisort($filesArray, SORT_ASC, SORT_STRING);
    reset($filesArray);

    return $filesArray;
}

1 ответ 1

1
  1. Делать MD5. Он быстрее
  2. Не париться.

Я не понимаю стремление пользователей пхпе выдумывать себе проблемы на ровном месте. Какие конкретно проблемы ожидаются на сервере? Почему бы просто не запустить скрипт и пусть он себе работает, пока не обделает все файлы? Если страшно, что сожрет весь процессор, то поставить приоритет поменьше, nice 20.

Я каждую ночь считаю хэши для 30 тысяч файлов. Нагрузку не замечаю от слова вообще. Всё время уходит только на скачивание, а хэш вычисляется мгновенно.

Может, не стоит заранее бояться и придумывать обходные маневры для воображаемых проблем?

1
  • Мне нужен был совет человека с подобным опытом. Не надо пилить. Да, 30k файлов достаточно для аргументации. К сожалению, не помню почему выбрал sha1, мне кажется именно потому, что в sha1 больше раундов. Хотя важным фактором было и то, что много где используется именно sha1 (для файлов). Были ли какие-либо проблемы с md5, например, коллизии или для файлов это маловероятно?
    – Plush
    3 сен 2015 в 21:32

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.