1

Есть текстовый файл:

автозапчасти лексус новосибирск
автозапчасти лексус в туле
запчасти для lexus ls 460
разборка lexus rx
запчасти на лексус rx 330 бу
разборка lexus rx

Можно ли при помощи Python 3 удалить дубликаты строк?

3

5 ответов 5

2

Нашел рабочее решение:

file ='C:\\words.txt'

uniqlines = set(open(file,'r', encoding='utf-8').readlines())
gotovo = open(file,'w', encoding='utf-8').writelines(set(uniqlines))

Оно удаляет дубликаты. Но к сожаление еще и меняет расположение строк. Так что вопрос остается актуальным.

2
2

Можно fileinput воспользоваться, чтобы файл по месту изменить:

#!/usr/bin/env python3
import sys
import fileinput

with fileinput.FileInput(inplace=True, backup='.bak', mode='rb') as file:
    seen = set()
    for line in file:
        if line not in seen: # first time
            seen.add(line)
            sys.stdout.buffer.write(line) # redirected to the file

Пример:

T:\> python remove-duplicates-inplace.py C:\words.txt

Строки сравниваются буквально, то есть даже если отличие только в пробелах, строки рассматриваются различными. Можно нормализовать пробелы, если необходимо:

for line in file:
    words = tuple(line.split())
    if words not in seen:
       seen.add(words)
       sys.stdout.buffer.write(line)

Можно руками файлы открывать:

#!/usr/bin/env python3
from collections import OrderedDict

filename = r'C:\words.txt'
with open(filename, encoding='utf-8') as file:
    uniq = OrderedDict.fromkeys(file)
with open(filename, 'w', encoding='utf-8') as file:
    file.writelines(uniq)

Оба решения требуют, чтобы уникальные строки можно было бы в память загрузить. Если это не так, то можно воспользоваться внешней сортировкой, чтобы повторяющиеся строки шли бы подряд в файле, а затем удалить их, используя алгоритм, который не загружает уникальные строки в память..

1

Возможно. К примеру так:

def delete_string():
    File = open('test.txt', 'r')
    str_list = []
    for i in File.readlines():
        if i not in str_list:
            str_list.append(i)
    File.close()
    File = open(a, 'w')
    for j in str_list:
        File.write(j)

Код не качественный. Но сойдёт :)

2
  • Не работает. ..Ошибка Syntax Error: def delete_string(): <string>, line 2, pos 20
    – leonidtime
    23 фев 2017 в 0:52
  • Разве не видно ошибку? После названия функции я забыл ":" Исправил 23 фев 2017 в 5:28
1

mkdtemp | os | shutil

from tempfile import mkstemp
from os import close
from shutil import move

def write_lines(file='words.txt'):
    ft, temp = mkstemp()  # создать temp-файл
    lines = []  # "уникальные" строки из file
    with open(temp, 'w') as t, open(file) as f:
        for line in f:  # читать file построчно
            if line not in lines:  # для line, отсутствующих в lines
                lines.append(line)  # сохранить line в lines
                t.write(line)  # записать line в temp-файл
    close(ft)  # закрыть temp-файл
    move(temp, file)  # переместить/переименовать temp-файл в file
3
  • Постарайтесь писать более развернутые ответы. Поясните, как работает ваш код.
    – mymedia
    23 фев 2017 в 13:57
  • Есть же комментарии. Всё очевидно) 23 фев 2017 в 14:32
  • Это квадратичный алгоритм (вдвойне не имеет смысла использовать подобное решение: если ввод маленький (и временная сложность не важна), то не имеет смысла временный файл использовать: можно просто строки в память прочитать. Если ввод даже умерено большой, то квадратичный алгоритм слишком медленный может быть
    – jfs
    23 фев 2017 в 14:34
1

Версия в 2021, для Python 3.7+ со стандартными (встроенными) функциями

text = """\
автозапчасти лексус новосибирск
автозапчасти лексус в туле
запчасти для lexus ls 460
разборка lexus rx
запчасти на лексус rx 330 бу
разборка lexus rx\
"""
    
rows = text.splitlines()
    
unique_rows = dict.fromkeys(rows)  # Получаем словарь
    
new_text = "\n".join(unique_rows)  # Соединяем ключи словаря в строку

Для следующих гугл юзеров :)

3
  • я так понимаю это просто OrderedDict решение отсюда, без кода для чтения/записи в файл и не нужным list вызовом. Оно работает так как в Python 3.7+ гарантированно что dict упорядочен.
    – jfs
    11 ноя 2021 в 15:55
  • @jfs Да. Всё верно. В моём ответе на это и упор: что не нужно ничего импортировать, включая OrderedDict. А вызов list() сделан для очевидности, что мы получаем список на выходе. Но вы правы, .join() прекрасно проглатывает и словарь и сам вызывает list() под капотом. Но, вдруг, кто-то этот список будет не в join() передавать =)
    – hotenov
    11 ноя 2021 в 17:47
  • 1
    "обход словаря в Питоне возвращает ключи" -- это следует считать обязательным знанием для программистов Питона (можно комментарий для образования оставить поясняющий (если ответ для совсем начинающих), но не стоит код уродовать лишними вызовами).
    – jfs
    11 ноя 2021 в 18:32

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.