Есть текстовой файл, в нём 1000 Email-ов, каждый Email с новой строки. Часть из них повторяются. Необходимо, чтобы на выходе после обработки был файл только с уникальными Email-ами. Как это реализовать с помощью Python 3?
2 ответа
Самый быстрый и простой способ убрать дубликаты из списка - преобразовать его к множеству. Конструктор множества set() принимает любой итерируемый объект, в том числе дескриптор файла. После чего остаётся только преобразовать множество обратно в строку и записать в другой файл:
with open('emails.txt') as in_fh, open('deduplicated.txt', 'w') as out_fh:
out_fh.write(''.join(set(in_fh)))
-
@Ivan Ivshykov надо учитывать, что Email из set будут записаны в случайном порядке – vadim vaduxa 8 янв '17 в 9:20
-
стоит упомянуть, что код в ответе может сломаться, если последняя строчка не содержит перевод строки (или вообще для строк, которые только пробелом отличаются). – jfs 8 янв '17 в 16:14
Чтобы напечатать уникальные e-mail, заданные в файлах, указанных в командной строке, или из стандартного ввода:
#!/usr/bin/env python
import fileinput
print("\n".join(set(map(str.strip, fileinput.input()))))
Пример:
$ dedup emails.txt >uniq-emails.txt
или:
$ dedup < emails.txt >uniq-emails.txt
Код работает даже, если невидимый пробел присутствует/отсутствует в строках. К примеру, последняя строчка в файле может иметь/не иметь новой строки—результат всё равно будет правильным.
Наличие set()
ведёт к тому, что результат печатается в произвольном порядке, который может меняться от запуска к запуску. Чтобы эмулировать sort -u emails.txt
, можно использовать groupby(sorted())
:
#!/usr/bin/env python
import fileinput
from itertools import groupby
for line, _ in groupby(sorted(map(str.strip, fileinput.input()))):
print(line)
Использование такое же: ввод читается из файлов или stdin, вывод печатается в stdout.
Для случая с e-mail это не нужно, но в общем случае, чтобы напечатать только уникальные строки из больших файлов, которые в памяти не умещаются—аналогLC_ALL=C sort -u < input
в Питоне:
#!/usr/bin/env python3
import contextlib
import heapq
import sys
from itertools import groupby
from tempfile import TemporaryFile
from operator import itemgetter
def uniq(sorted_items):
return map(itemgetter(0), groupby(sorted_items))
sorted_files = []
with contextlib.ExitStack() as stack:
# sort lines in batches, write intermediate result to temporary files
nbytes = 1 << 15 # read ~nbytes at a time
for lines in iter(lambda f=sys.stdin.detach(): f.readlines(nbytes), []):
lines.sort()
file = stack.enter_context(TemporaryFile('w+b')) #NOTE: file is deleted on exit
file.writelines(uniq(lines)) # write sorted unique lines
file.seek(0) # rewind, to read later while merging partial results
sorted_files.append(file) #NOTE: do not close the temporary file, yet
# merge and write results
sys.stdout = sys.stdout.detach() # suppress ValueError: underlying buffer has been detached
sys.stdout.writelines(uniq(heapq.merge(*sorted_files)))
Пример:
$ sort-u < emails.txt >uniq-emails.txt
В этом случае ввод принимается только со стандартного ввода и строки сравниваются как последовательности байт (предполагается что все строки заканчиваются на символ новой строки).
Связанный вопрос: Sorting text file by using Python.