Итак - проверил разные подходы на тексте "Война и Мир" :)
упростил код, чтобы не делать ничего лишнего
Код с хэшами от автора
import hashlib
import time
inp = 'd:\\text.txt'
unique = list()
remove_index = list()
hash_dict = {}
i = 1
with open(inp, 'r', encoding="utf-8") as fp:
data = fp.read()
start_time = time.time()
for ln_index, ln in enumerate(data.split('\n', )):
hash_object = hashlib.md5(ln.encode('utf-8'))
if hash_object.hexdigest() not in hash_dict.values():
hash_dict[i] = hash_object.hexdigest()
i += 1
unique.append(ln)
else:
remove_index.append(ln_index)
print("---Выполнено за %s секунд ---" % (time.time() - start_time))
---Выполнено за 0.3352799415588379 секунд ---
тут не нравится несколько моментов:
hexdigest()
вычисляется до двух раз на строку, вместо одного
- запись в словарь хэшей идет по индексу, а не просто добавлением через
append
скорректированный код, хэш-функция - md5
import hashlib
import time
inp = 'd:\\text.txt'
unique = list()
remove_index = list()
hashes = set()
with open(inp, 'r', encoding="utf-8") as fp:
data = fp.read()
start_time = time.time()
for ln_index, ln in enumerate(data.split('\n', )):
hash_object = hashlib.md5(ln.encode('utf-8'))
hash_value = hash_object.hexdigest()
if hash_value not in hashes:
hashes.add(hash_value)
unique.append(ln)
else:
remove_index.append(ln_index)
print("---Выполнено за %s секунд ---" % (time.time() - start_time))
---Выполнено за 0.024428367614746094 секунд ---
скорректированный код, хэш-функция - crc32
import zlib
import time
inp = 'd:\\text.txt'
unique = list()
remove_index = list()
hashes = set()
with open(inp, 'r', encoding="utf-8") as fp:
data = fp.read()
start_time = time.time()
for ln_index, ln in enumerate(data.split('\n', )):
hash_value = zlib.crc32(ln.encode('utf-8'))
if hash_value not in hashes:
hashes.add(hash_value)
unique.append(ln)
else:
remove_index.append(ln_index)
print("---Выполнено за %s секунд ---" % (time.time() - start_time))
---Выполнено за 0.016609907150268555 секунд ---
скорректированный код, без хэш-функций (т.е. в качестве хэша сама строка)
import time
inp = 'd:\\text.txt'
unique = list()
remove_index = list()
hashes = set()
with open(inp, 'r', encoding="utf-8") as fp:
data = fp.read()
start_time = time.time()
for ln_index, ln in enumerate(data.split('\n', )):
if ln not in hashes:
hashes.add(ln)
unique.append(ln)
else:
remove_index.append(ln_index)
print("---Выполнено за %s секунд ---" % (time.time() - start_time))
---Выполнено за 0.007816791534423828 секунд ---
Тут надо читать уже как работает set
:), очень возможно (скорее всего) он сам хэширует и не надо выполнять за него эту лишнюю работу
Приведенный выше код не нарушает порядок строк, так что наверное для указанной автором задачи является максимально быстрым