Есть текстовый файл:
автозапчасти лексус новосибирск
автозапчасти лексус в туле
запчасти для lexus ls 460
разборка lexus rx
запчасти на лексус rx 330 бу
разборка lexus rx
Можно ли при помощи Python 3 удалить дубликаты строк?
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Присоединиться к сообществуЕсть текстовый файл:
автозапчасти лексус новосибирск
автозапчасти лексус в туле
запчасти для lexus ls 460
разборка lexus rx
запчасти на лексус rx 330 бу
разборка lexus rx
Можно ли при помощи Python 3 удалить дубликаты строк?
Нашел рабочее решение:
file ='C:\\words.txt'
uniqlines = set(open(file,'r', encoding='utf-8').readlines())
gotovo = open(file,'w', encoding='utf-8').writelines(set(uniqlines))
Оно удаляет дубликаты. Но к сожаление еще и меняет расположение строк. Так что вопрос остается актуальным.
set()
вызывать. Можно OrderedDict
использовать, чтобы порядок сохранить
Можно fileinput
воспользоваться, чтобы файл по месту изменить:
#!/usr/bin/env python3
import sys
import fileinput
with fileinput.FileInput(inplace=True, backup='.bak', mode='rb') as file:
seen = set()
for line in file:
if line not in seen: # first time
seen.add(line)
sys.stdout.buffer.write(line) # redirected to the file
Пример:
T:\> python remove-duplicates-inplace.py C:\words.txt
Строки сравниваются буквально, то есть даже если отличие только в пробелах, строки рассматриваются различными. Можно нормализовать пробелы, если необходимо:
for line in file:
words = tuple(line.split())
if words not in seen:
seen.add(words)
sys.stdout.buffer.write(line)
Можно руками файлы открывать:
#!/usr/bin/env python3
from collections import OrderedDict
filename = r'C:\words.txt'
with open(filename, encoding='utf-8') as file:
uniq = OrderedDict.fromkeys(file)
with open(filename, 'w', encoding='utf-8') as file:
file.writelines(uniq)
Оба решения требуют, чтобы уникальные строки можно было бы в память загрузить. Если это не так, то можно воспользоваться внешней сортировкой, чтобы повторяющиеся строки шли бы подряд в файле, а затем удалить их, используя алгоритм, который не загружает уникальные строки в память..
Возможно. К примеру так:
def delete_string():
File = open('test.txt', 'r')
str_list = []
for i in File.readlines():
if i not in str_list:
str_list.append(i)
File.close()
File = open(a, 'w')
for j in str_list:
File.write(j)
Код не качественный. Но сойдёт :)
from tempfile import mkstemp
from os import close
from shutil import move
def write_lines(file='words.txt'):
ft, temp = mkstemp() # создать temp-файл
lines = [] # "уникальные" строки из file
with open(temp, 'w') as t, open(file) as f:
for line in f: # читать file построчно
if line not in lines: # для line, отсутствующих в lines
lines.append(line) # сохранить line в lines
t.write(line) # записать line в temp-файл
close(ft) # закрыть temp-файл
move(temp, file) # переместить/переименовать temp-файл в file
Версия в 2021, для Python 3.7+ со стандартными (встроенными) функциями
text = """\
автозапчасти лексус новосибирск
автозапчасти лексус в туле
запчасти для lexus ls 460
разборка lexus rx
запчасти на лексус rx 330 бу
разборка lexus rx\
"""
rows = text.splitlines()
unique_rows = dict.fromkeys(rows) # Получаем словарь
new_text = "\n".join(unique_rows) # Соединяем ключи словаря в строку
Для следующих гугл юзеров :)
OrderedDict
. А вызов list() сделан для очевидности, что мы получаем список на выходе. Но вы правы, .join() прекрасно проглатывает и словарь и сам вызывает list() под капотом. Но, вдруг, кто-то этот список будет не в join() передавать =)