2

Пишу код по удалению дубликатов файлов по имени файла и его размеру. При запуске в консоле вылезает ошибка в строке:

duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[0]] + '"\n') (в последнем условии if, после else)

Ошибка:

Traceback (most recent call last): File "C:\Users\9967-00-014\Desktop\удаление_дубликатов.py", line 149, in duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[0]] + '"\n') IndexError: list index out of range

Не могу понять что не так, помогите найти ошибку. Суть кода в сравнение имени файла, если одинаковые, то проверяем размеры файлов, если одинаковые, то смотрим дату последнего редактирования и удаляем файл созданный раньше другого. При удалении файла, в списке имен файлов, удаленный файл заменяем на индекс. Дубликаты с путями записываем в файл.

`

# Для подсчёта времени выполнения программы
import time
start_time = time.localtime()


from collections import defaultdict
import hashlib
import os
import sys


# При запуске код спрашивает путь к папке в которой делать проверку 
route = input('Укажите полный путь к папке, в которой будет проходить проверка, затем нажмите Enter: ')

# На случай лишних пробелом удаляем все пробельные символы в начале и в конце строки
route = route.strip() # в начале строки
route = route.rstrip() # в конце строки
# Теперь полный путь записан в переменной route

# переходим в заданную директорию
os.chdir(route)

# Вытаскиваем пути ко всем директориям
from pathlib import Path 

path = Path(route) 
folder = [] # абсолютные пути вложенных папок первого уровня

for x in path.iterdir(): 
    if x.is_dir(): 
        folder.append(x) 

#print('\nКол-во папок: ', len(folder))
#print(folder[0]) # <class 'pathlib.WindowsPath'>


# Вытащим пути файлов из вложенных директорий первого уровня
file_paths = [] # абсолютные пути ко всем файлам из вложенных папок первого уровня

for t in range(0, len(folder)):
    ested_folder = Path(str(folder[t]))
    for d in ested_folder.iterdir(): 
        file_paths.append(d)

#print('\nФайлы:\n\n', file_paths)


# Сделаем список только из названий файлов с расширением
file_names = [] # названия всех файлов из всех вложенных папок первого уровня с расширениями

for t in range(0, len(file_paths)):
    file_names.append(Path(str(file_paths[t])).name)

#print(file_names)


# Сделаем список размеров файлов
file_sizes = [] # размеры всех файлов из всех вложенных папок первого уровня в байтах

for t in range(0, len(file_paths)):
    file_sizes.append(os.path.getsize(str(file_paths[t])))

#print(file_sizes)

# Сделаем список последних редактирований файлов в секундах
file_modification_time = [] # время в секундах последних редактирований всех файлов

for t in range(0, len(file_paths)):
    file_modification_time.append(os.path.getmtime(str(file_paths[t])))

#print(file_modification_time)



# comparison_value - значение для сравнения 
# index_del - индекс старшего дубликата, для удаления
# index_dubl - индекс дубликата, который оставляем
# duplicates_names; _sizes; _m_time - списки для работы с дубликатами
 

duplicates_names = []

duplicates_file_txt = open('duplicates.txt', 'w+') # создаём файл, куда запишем пути дубликатов

for q in range(0, len(file_names)):  # берём по-этапно каждое название файлов
    comparison_value = file_names[q]

    for w in range(q + 1, len(file_names)):

        if file_names[w] == comparison_value: # ищем такое же название
            duplicates_names.append(w) # если есть дублированное название, то записываем индексы дубликатов в список
            duplicates_names.append(q)

            if file_sizes[duplicates_names[0]] == file_sizes[duplicates_names[1]]: # сравниваем размеры файлов

                if file_modification_time[duplicates_names[0]] > file_modification_time[duplicates_names[1]]: # если размеры одинаковые, то записываем индексы в переменные
                    # удаляем - duplicates_names[1]
                    # оставляем - duplicates_names[0]
                    duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[1]] + '"\n')
                    duplicates_file_txt.write('Оставленный файл: "' + folder[duplicates_names[0]] + '"\n\n')
                    file_names[duplicates_names[1]] = duplicates_names[1] + 1
                    #os.remove(folder[duplicates_names[1]])
                    duplicates_names.pop[0]
                    duplicates_names.pop[1]
                else:
                    # удаляем - duplicates_names[0]
                    # оставляем - duplicates_names[1]
                    duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[0]] + '"\n')
                    duplicates_file_txt.write('Оставленный файл: "' + folder[duplicates_names[1]] + '"\n\n')
                    file_names[duplicates_names[0]] = duplicates_names[0] + 1
                    #os.remove(folder[duplicates_names[0]])
                    duplicates_names.pop[0]
                    duplicates_names.pop[1]

            #else:
             #   continue

        #else:
         #   continue                    






duplicates_file_txt.close()

# Подсчитываем итоговое время выполнения
#import time
#start_time = time.localtime() - записали переменную в начале программы
end_time = time.localtime()
time = end_time.tm_sec - start_time.tm_sec
time_hour = time // (60 * 60)
time_min = (time // 60 ) - (time_hour * 60)
time_sec = time - (time_min * 60)
print('Время выполнения: ', time_hour, ':', time_min, ':', time_sec, '  (ч:мин:сек)' )
`
7
  • Одинаковые имя и размер файлов совсем не гарантируют их одинаковость. Имена вообще не дают никакой информации об одинаковости файлов. Могуть быть и одинаковый файлы с разными именами, могут быть и разные с одинаковыми именами. Одинаковость размера - всего лишь признак одинаковых файлов. Т.е. у двух одинаковых файлов одинаковый размер, но не все файлы одинакового размера - одинаковы. 10 авг 2021 в 8:25
  • А для чего тут вообще список duplicates_names? 10 авг 2021 в 8:30
  • У меня выгружается много файлов из базы в разные папки и там есть дубликаты. Как мы выяснили в определённых папках дубликатами можно считать файлы с одинаковыми названиями и размерами, и остальное для быстроты не проверять. Поэтому код учитывает только эти два параметра. 10 авг 2021 в 8:32
  • duplicates_names - сюда записываю индексы дубликатов и по ним сравниваю в других списках размеры файлов и даты последнего редактирования. Вот как раз в последнем if-else я его чищу для следующего цикла 10 авг 2021 в 8:35
  • вы из duplicates_names используете только первые два элемента, независимо от того, сколько их там есть. Зачем этот список вообще? Он только вас запутывает. Нашли два одинаковых имени, тут же сравнили размеры и удалили, если надо. Без всяких дополнительных списков. 10 авг 2021 в 8:42

2 ответа 2

1

Меня лично смущают эти строки:

duplicates_names.pop[0]
duplicates_names.pop[1]

Во-первых с квадратными скобками этот код вообще не будет работать, выдаст ошибку.
Во-вторых после удаления элемента с индексом 0 элемент с индексом 1 уже тоже будет иметь индекс 0, а не 1.
Этот код может сработать только в обратном порядке и с круглыми скобками:

duplicates_names.pop(1)
duplicates_names.pop(0)

Хотя мне лично в целом не нравится такое индексирование. Если вы не знаете, нужны ли вам будут элементы в списке - так не помещайте их вообще в список до того момента, как точно будете знать, что они там останутся, держите их до этого момента в каких-то переменных и работайте с этими переменными. Такой код будет гораздо проще и понятнее. Любые обращения к спискам по индексам потенциально ведут к ошибкам.

2
  • Спасибо, с круглыми скобками разобралась. Я хотела что бы список очищался для нового цикла, что бы туда записались новые индексы дубликатов имён. До else же код не выполнится, если file_modification_time[duplicates_names[0]] не больше file_modification_time[duplicates_names[1]] (время последнего редактирования первого файла не больше второго). А судя по ошибке будто в этом списке вообще нет элементов 10 авг 2021 в 8:29
  • @Medvedeva_a Да, впечатление такое, что ошибка у вас не в том варианте кода, который вы привели. Либо не в той строке.
    – CrazyElf
    10 авг 2021 в 8:34
1

У вас довольно сложный и неоптимальный код.

Сделайте словарь. Ключ - имя файла, значение - размер (или наоборот, без разницы). У каждого нового файла смотрите наличие ключа в словаре. Если такой ключ есть и значение у него такое же, как у нового файлы, то удаляйте один из файлов. Все. Не нужно никаких промежуточных списков и вложенных циклов.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.