Проверка в программе 50000 crc32 элементарна. (Это на основе Вашего комментария)
Читаете запись из базы, пишите ее в файл, заносите crc вместе с смещением строки в файле в хэш-таблицу в памяти (элемент займет байт двадцать). Если уже есть - значит сверяете со строками в файле и определяете дубликат.
UPD
@ilya_tt, Этот "ответ" о 50000 crc скорее попытка привлечь внимание к обсуждению серьезного вопроса о поиске в массиве из 100 млн. строк.
Кстати, я так и не понял, Вы планируете далее иметь массив уникальных строк или с дубликатами ? Дальнейшие рассуждения основаны на предположении что Вам нужен массив с дубликатами, но есть запросы об уникальности строки.
Вам ведь нужно искать уникальные строки, а у двух разных строк crc может совпадать. При длине строки 100 байт массив данных, который надо просматривать составит 10 GB. Видимо методы его обработки в памяти надо отбросить.
Собственно из всех crc можно построить битовую строку (500 MByte) и держать ее в памяти (если памяти много (paging не начнется)). Нулевой бит в ней будет означать, что такого crc нет. Она строится за один проход по данным и может ускорить алгоритм добавления новых строк (например, если добавляются только уникальные строки). Для проверки уникальна ли строка с таким crc в базе, данный метод бесполезен.
Поэтому мне кажется, что без индекса по всем строкам в этой задаче все равно не обойтись. Если применять СУБД, возможно стоит подумать о выносе индекса на выделенный SSD.