2

Пишу код по удалению дубликатов файлов по имени файла и его размеру. При запуске в консоле вылезает ошибка в строке:

duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[0]] + '"\n') (в последнем условии if, после else)

Ошибка:

Traceback (most recent call last): File "C:\Users\9967-00-014\Desktop\удаление_дубликатов.py", line 149, in duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[0]] + '"\n') IndexError: list index out of range

Не могу понять что не так, помогите найти ошибку. Суть кода в сравнение имени файла, если одинаковые, то проверяем размеры файлов, если одинаковые, то смотрим дату последнего редактирования и удаляем файл созданный раньше другого. При удалении файла, в списке имен файлов, удаленный файл заменяем на индекс. Дубликаты с путями записываем в файл.

`

# Для подсчёта времени выполнения программы
import time
start_time = time.localtime()


from collections import defaultdict
import hashlib
import os
import sys


# При запуске код спрашивает путь к папке в которой делать проверку 
route = input('Укажите полный путь к папке, в которой будет проходить проверка, затем нажмите Enter: ')

# На случай лишних пробелом удаляем все пробельные символы в начале и в конце строки
route = route.strip() # в начале строки
route = route.rstrip() # в конце строки
# Теперь полный путь записан в переменной route

# переходим в заданную директорию
os.chdir(route)

# Вытаскиваем пути ко всем директориям
from pathlib import Path 

path = Path(route) 
folder = [] # абсолютные пути вложенных папок первого уровня

for x in path.iterdir(): 
    if x.is_dir(): 
        folder.append(x) 

#print('\nКол-во папок: ', len(folder))
#print(folder[0]) # <class 'pathlib.WindowsPath'>


# Вытащим пути файлов из вложенных директорий первого уровня
file_paths = [] # абсолютные пути ко всем файлам из вложенных папок первого уровня

for t in range(0, len(folder)):
    ested_folder = Path(str(folder[t]))
    for d in ested_folder.iterdir(): 
        file_paths.append(d)

#print('\nФайлы:\n\n', file_paths)


# Сделаем список только из названий файлов с расширением
file_names = [] # названия всех файлов из всех вложенных папок первого уровня с расширениями

for t in range(0, len(file_paths)):
    file_names.append(Path(str(file_paths[t])).name)

#print(file_names)


# Сделаем список размеров файлов
file_sizes = [] # размеры всех файлов из всех вложенных папок первого уровня в байтах

for t in range(0, len(file_paths)):
    file_sizes.append(os.path.getsize(str(file_paths[t])))

#print(file_sizes)

# Сделаем список последних редактирований файлов в секундах
file_modification_time = [] # время в секундах последних редактирований всех файлов

for t in range(0, len(file_paths)):
    file_modification_time.append(os.path.getmtime(str(file_paths[t])))

#print(file_modification_time)



# comparison_value - значение для сравнения 
# index_del - индекс старшего дубликата, для удаления
# index_dubl - индекс дубликата, который оставляем
# duplicates_names; _sizes; _m_time - списки для работы с дубликатами
 

duplicates_names = []

duplicates_file_txt = open('duplicates.txt', 'w+') # создаём файл, куда запишем пути дубликатов

for q in range(0, len(file_names)):  # берём по-этапно каждое название файлов
    comparison_value = file_names[q]

    for w in range(q + 1, len(file_names)):

        if file_names[w] == comparison_value: # ищем такое же название
            duplicates_names.append(w) # если есть дублированное название, то записываем индексы дубликатов в список
            duplicates_names.append(q)

            if file_sizes[duplicates_names[0]] == file_sizes[duplicates_names[1]]: # сравниваем размеры файлов

                if file_modification_time[duplicates_names[0]] > file_modification_time[duplicates_names[1]]: # если размеры одинаковые, то записываем индексы в переменные
                    # удаляем - duplicates_names[1]
                    # оставляем - duplicates_names[0]
                    duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[1]] + '"\n')
                    duplicates_file_txt.write('Оставленный файл: "' + folder[duplicates_names[0]] + '"\n\n')
                    file_names[duplicates_names[1]] = duplicates_names[1] + 1
                    #os.remove(folder[duplicates_names[1]])
                    duplicates_names.pop[0]
                    duplicates_names.pop[1]
                else:
                    # удаляем - duplicates_names[0]
                    # оставляем - duplicates_names[1]
                    duplicates_file_txt.write('Удаляемый файл: "' + folder[duplicates_names[0]] + '"\n')
                    duplicates_file_txt.write('Оставленный файл: "' + folder[duplicates_names[1]] + '"\n\n')
                    file_names[duplicates_names[0]] = duplicates_names[0] + 1
                    #os.remove(folder[duplicates_names[0]])
                    duplicates_names.pop[0]
                    duplicates_names.pop[1]

            #else:
             #   continue

        #else:
         #   continue                    






duplicates_file_txt.close()

# Подсчитываем итоговое время выполнения
#import time
#start_time = time.localtime() - записали переменную в начале программы
end_time = time.localtime()
time = end_time.tm_sec - start_time.tm_sec
time_hour = time // (60 * 60)
time_min = (time // 60 ) - (time_hour * 60)
time_sec = time - (time_min * 60)
print('Время выполнения: ', time_hour, ':', time_min, ':', time_sec, '  (ч:мин:сек)' )
`
7
  • Одинаковые имя и размер файлов совсем не гарантируют их одинаковость. Имена вообще не дают никакой информации об одинаковости файлов. Могуть быть и одинаковый файлы с разными именами, могут быть и разные с одинаковыми именами. Одинаковость размера - всего лишь признак одинаковых файлов. Т.е. у двух одинаковых файлов одинаковый размер, но не все файлы одинакового размера - одинаковы. 10 авг 2021 в 8:25
  • А для чего тут вообще список duplicates_names? 10 авг 2021 в 8:30
  • У меня выгружается много файлов из базы в разные папки и там есть дубликаты. Как мы выяснили в определённых папках дубликатами можно считать файлы с одинаковыми названиями и размерами, и остальное для быстроты не проверять. Поэтому код учитывает только эти два параметра. 10 авг 2021 в 8:32
  • duplicates_names - сюда записываю индексы дубликатов и по ним сравниваю в других списках размеры файлов и даты последнего редактирования. Вот как раз в последнем if-else я его чищу для следующего цикла 10 авг 2021 в 8:35
  • вы из duplicates_names используете только первые два элемента, независимо от того, сколько их там есть. Зачем этот список вообще? Он только вас запутывает. Нашли два одинаковых имени, тут же сравнили размеры и удалили, если надо. Без всяких дополнительных списков. 10 авг 2021 в 8:42

2 ответа 2

1

Меня лично смущают эти строки:

duplicates_names.pop[0]
duplicates_names.pop[1]

Во-первых с квадратными скобками этот код вообще не будет работать, выдаст ошибку.
Во-вторых после удаления элемента с индексом 0 элемент с индексом 1 уже тоже будет иметь индекс 0, а не 1.
Этот код может сработать только в обратном порядке и с круглыми скобками:

duplicates_names.pop(1)
duplicates_names.pop(0)

Хотя мне лично в целом не нравится такое индексирование. Если вы не знаете, нужны ли вам будут элементы в списке - так не помещайте их вообще в список до того момента, как точно будете знать, что они там останутся, держите их до этого момента в каких-то переменных и работайте с этими переменными. Такой код будет гораздо проще и понятнее. Любые обращения к спискам по индексам потенциально ведут к ошибкам.

2
  • Спасибо, с круглыми скобками разобралась. Я хотела что бы список очищался для нового цикла, что бы туда записались новые индексы дубликатов имён. До else же код не выполнится, если file_modification_time[duplicates_names[0]] не больше file_modification_time[duplicates_names[1]] (время последнего редактирования первого файла не больше второго). А судя по ошибке будто в этом списке вообще нет элементов 10 авг 2021 в 8:29
  • @Medvedeva_a Да, впечатление такое, что ошибка у вас не в том варианте кода, который вы привели. Либо не в той строке.
    – CrazyElf
    10 авг 2021 в 8:34
1

У вас довольно сложный и неоптимальный код.

Сделайте словарь. Ключ - имя файла, значение - размер (или наоборот, без разницы). У каждого нового файла смотрите наличие ключа в словаре. Если такой ключ есть и значение у него такое же, как у нового файлы, то удаляйте один из файлов. Все. Не нужно никаких промежуточных списков и вложенных циклов.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.