1

задача такая:
у меня есть .txt файл со ссылками. Каждый раз при запуске кода он парсит сайт и добавляет новые ссылки, но иногда попадаются уже использованные. Мне необходимо удалять все дублирующиеся ссылки + удалять их уникальные копии.

К примеру: мне нужно изменить .txt со ссылками

abc.ru
bac.ru
abc.ru

на выходе .txt файл должен содержать

bac.ru
1

3 ответа 3

2

Такое решение

with open(".txt") as file:
    t_file = file.readlines()
    t_set = set(t_file)
    result = [i for i in t_set if t_file.count(i) == 1]

with open(".txt", "w") as file:
    file.write("\n".join(result))

Файл полностью перезаписывается новым содержимым, который исключает все дублирующие ссылки

4
  • Но есть нюанс: тут предполагается, что файл помещается в память)
    – Qwertiy
    16 мая 2022 в 12:48
  • @Qwertiy можно подробней? Не догоню
    – Dmitry
    16 мая 2022 в 12:49
  • Ну надо прочитать весь файл и загрузить в оперативку. Ещё и в виде сета. Если файл не слишком большой, то отличный вариант. А если там миллионы строк, то не факт.
    – Qwertiy
    16 мая 2022 в 12:51
  • @Qwertiy то да, я думал, что-то не учёл. Так и задумывалось)
    – Dmitry
    16 мая 2022 в 12:54
2

Можно сделать через конвертацию в список, который потом фильтруем по количеству упоминаний. Если имеем число отличное от единицы, то не включаем в новый список. Дальше join() в одну строку.

with open('www.txt') as file:
    rows = [row.strip() for row in file]
    filtered = [r for r in set(rows) if r and rows.count(r) == 1]
    filtered_string = '\n'.join(filtered)

Еще такой вариант в голову пришел после варианта eri с Counter:

with open('w.txt') as file:
    rows = [row.strip() for row in file]
    d = dict().fromkeys(rows, -1)
    for r in rows:
        d[r] += 1
    filtered = [k for k, v in d.items() if not v]

На выходе:

bac.ru
www.ru
4
  • есть классный docs.python.org/3/library/collections.html#collections.Counter
    – eri
    25 июл 2021 в 11:48
  • Тоже вариант. Как у всего этого со сложность? 25 июл 2021 в 12:05
  • а черт его знает) помоему такая же
    – eri
    25 июл 2021 в 12:10
  • Что-то тут странное и неэффективное происходит...
    – Qwertiy
    16 мая 2022 в 12:50
0
[e[0] for e in filter(
   lambda x: x[1]==1,
   collections.Counter(
       open('www.txt').readlines()
   ).most_common())
]

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.