1

Есть текстовый файл:

автозапчасти лексус новосибирск
автозапчасти лексус в туле
запчасти для lexus ls 460
разборка lexus rx
запчасти на лексус rx 330 бу
разборка lexus rx

Можно ли при помощи Python 3 удалить дубликаты строк?

3

5 ответов 5

2

Нашел рабочее решение:

file ='C:\\words.txt'

uniqlines = set(open(file,'r', encoding='utf-8').readlines())
gotovo = open(file,'w', encoding='utf-8').writelines(set(uniqlines))

Оно удаляет дубликаты. Но к сожаление еще и меняет расположение строк. Так что вопрос остается актуальным.

2
2

Можно fileinput воспользоваться, чтобы файл по месту изменить:

#!/usr/bin/env python3
import sys
import fileinput

with fileinput.FileInput(inplace=True, backup='.bak', mode='rb') as file:
    seen = set()
    for line in file:
        if line not in seen: # first time
            seen.add(line)
            sys.stdout.buffer.write(line) # redirected to the file

Пример:

T:\> python remove-duplicates-inplace.py C:\words.txt

Строки сравниваются буквально, то есть даже если отличие только в пробелах, строки рассматриваются различными. Можно нормализовать пробелы, если необходимо:

for line in file:
    words = tuple(line.split())
    if words not in seen:
       seen.add(words)
       sys.stdout.buffer.write(line)

Можно руками файлы открывать:

#!/usr/bin/env python3
from collections import OrderedDict

filename = r'C:\words.txt'
with open(filename, encoding='utf-8') as file:
    uniq = OrderedDict.fromkeys(file)
with open(filename, 'w', encoding='utf-8') as file:
    file.writelines(uniq)

Оба решения требуют, чтобы уникальные строки можно было бы в память загрузить. Если это не так, то можно воспользоваться внешней сортировкой, чтобы повторяющиеся строки шли бы подряд в файле, а затем удалить их, используя алгоритм, который не загружает уникальные строки в память..

1

Возможно. К примеру так:

def delete_string():
    File = open('test.txt', 'r')
    str_list = []
    for i in File.readlines():
        if i not in str_list:
            str_list.append(i)
    File.close()
    File = open(a, 'w')
    for j in str_list:
        File.write(j)

Код не качественный. Но сойдёт :)

2
  • Не работает. ..Ошибка Syntax Error: def delete_string(): <string>, line 2, pos 20
    – leonidtime
    23 фев 2017 в 0:52
  • Разве не видно ошибку? После названия функции я забыл ":" Исправил 23 фев 2017 в 5:28
1

mkdtemp | os | shutil

from tempfile import mkstemp
from os import close
from shutil import move

def write_lines(file='words.txt'):
    ft, temp = mkstemp()  # создать temp-файл
    lines = []  # "уникальные" строки из file
    with open(temp, 'w') as t, open(file) as f:
        for line in f:  # читать file построчно
            if line not in lines:  # для line, отсутствующих в lines
                lines.append(line)  # сохранить line в lines
                t.write(line)  # записать line в temp-файл
    close(ft)  # закрыть temp-файл
    move(temp, file)  # переместить/переименовать temp-файл в file
3
  • Постарайтесь писать более развернутые ответы. Поясните, как работает ваш код.
    – mymedia
    23 фев 2017 в 13:57
  • Есть же комментарии. Всё очевидно) 23 фев 2017 в 14:32
  • Это квадратичный алгоритм (вдвойне не имеет смысла использовать подобное решение: если ввод маленький (и временная сложность не важна), то не имеет смысла временный файл использовать: можно просто строки в память прочитать. Если ввод даже умерено большой, то квадратичный алгоритм слишком медленный может быть
    – jfs
    23 фев 2017 в 14:34
1

Версия в 2021, для Python 3.7+ со стандартными (встроенными) функциями

text = """\
автозапчасти лексус новосибирск
автозапчасти лексус в туле
запчасти для lexus ls 460
разборка lexus rx
запчасти на лексус rx 330 бу
разборка lexus rx\
"""
    
rows = text.splitlines()
    
unique_rows = dict.fromkeys(rows)  # Получаем словарь
    
new_text = "\n".join(unique_rows)  # Соединяем ключи словаря в строку

Для следующих гугл юзеров :)

3
  • я так понимаю это просто OrderedDict решение отсюда, без кода для чтения/записи в файл и не нужным list вызовом. Оно работает так как в Python 3.7+ гарантированно что dict упорядочен.
    – jfs
    11 ноя 2021 в 15:55
  • @jfs Да. Всё верно. В моём ответе на это и упор: что не нужно ничего импортировать, включая OrderedDict. А вызов list() сделан для очевидности, что мы получаем список на выходе. Но вы правы, .join() прекрасно проглатывает и словарь и сам вызывает list() под капотом. Но, вдруг, кто-то этот список будет не в join() передавать =)
    – hotenov
    11 ноя 2021 в 17:47
  • 1
    "обход словаря в Питоне возвращает ключи" -- это следует считать обязательным знанием для программистов Питона (можно комментарий для образования оставить поясняющий (если ответ для совсем начинающих), но не стоит код уродовать лишними вызовами).
    – jfs
    11 ноя 2021 в 18:32

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.