Меня интересуют алгоритмы поиска дубликатов файлов: среди множества каталогов нужно найти и запомнить все файлы с одинаковым содержимым. В связи с большими объемами данных для обработки требуется хороший алгоритм, советы и рекомендации насчет возможной оптимизации его работы и т.п.
Я не прошу предоставить мне кусок готового кода или каким-либо иным способом полностью реализованное задание, буду благодарен за любую полученную ценную информацию относительно данного вопроса.