0

Уважаемые форумчане! Требуется ваша помощь!

Хочу разобраться с файловым хранилищем, удалить дубликаты файлов. Написал программу обходящую дерево директорий. Застрял на этапе вычисления хэшей, дело в том, что имена файлов содержат не только алфавитные символы и цифры, а также пробелы и спецсимволы. Сначала Python останавливался на первом же проблемном файле, позже я дописал try / except, и теперь он доходит до конца, пропуская проблемные файлы, но меня это не устраивает!

Язык: Python 3

#! /usr/bin/env python3

import subprocess

try:
    hash = subprocess.check_output('md5sum -- "{}"'.format(file), universal_newlines=True, shell=True)[:32]

except Exception:
    print('Проблемный файл {}'.format(file))

С hashlib пока не получается, проблем много создаёт, поэтому пока пришлось воспользоваться стандартной утилитой md5sum. Может подскажете заодно как решить проблему с применением hashlib.

3
  • 1
    Зачем вы считаете хэши внешней программой, когда у питона есть модуль для их вычисления? Почему бы вам не задать вопросы, описывающие ваши «проблем много создаёт» с hashlib?
    – andreymal
    25 июл 2017 в 5:27
  • @andreymal, не получается пока с hashlib, могу ошибаться, но мне показалось что суммы не те получаются, может я неправильно что-то делаю, да и проблема с символами там острее стоит как мне показалось. Python строже к ошибкам
    – tonchikp
    25 июл 2017 в 5:33
  • Вы бы показали как вы делаете-то, у меня он ни разу не считал неправильно и ни к каким символам не придирался. Вон в ответе например вполне рабочий вариант
    – andreymal
    25 июл 2017 в 5:39

1 ответ 1

4

Вы пользуетесь сторонними программами через консоль там, где следует пользоваться полноценными библиотеками (стандартной библиотекой в данном случае), которые работают через API операционной системы, а поэтому не имеют проблем со спецсимволами, с которыми в консоли работать невыносимо сложно (это известная Ахиллесова пята консоли).

Для подсчёта MD5 есть hashlib.md5(). Подсчитать хэш файла можно следующим образом (из ответа):

def md5(fname):
    hash_md5 = hashlib.md5()
    with open(fname, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()
11
  • b"" - это опечатка? Не совсем понимаю зачем частями читать файл
    – tonchikp
    25 июл 2017 в 5:42
  • @tonchikp затем, что теоретически файл может оказаться и размером в сотни гигабайт, например. Вы сможете его прочитать в оперативную память не частями, целиком? :) b"" — нет, не опечатка.
    – andreymal
    25 июл 2017 в 5:44
  • @andreymal, вообще-то да, что-то я не подумал об этом, согласен с Вами! А что тогда делает b"" ? и для чего лямбда? Честно говоря я долго программировал на других языках и после них мне пока кажется такое диким, сначала подключаешь библиотеку, что увеличивает название функции (метода), потом файл с подстраховкой несуществования (with), потом читать кусочками (что правильно, не спорю), плюс обновлять сумму, и после всего этого ещё и отступы. Слишком многословно как-то, не привык я ещё
    – tonchikp
    25 июл 2017 в 5:53
  • @tonchikp распихивание функций по модулям — хорошо и правильно, позволяет не превращать пространство имён в груду хлама и не загружать лишнее. with используется для того, чтобы автоматически закрыть файл после того, как этот самый with закончится: если бы вы заменили это на что-то вроде f = open(fname, "rb"), вы могли бы забыть вызвать f.close() или он сам бы не вызвался, если бы возникла ошибка где-то выше по коду, и файл остался бы незакрытым. При чтении ничего страшного, но при записи файл, который забыли закрыть, может создать большие проблемы, поэтому with это хорошо и правильно.
    – andreymal
    25 июл 2017 в 6:24
  • @tonchikp В этом коде сокращения кода в питоновском духе. Вместо with, for, iter, lambda можно использовать старый-добрый while и вручную вызывать close. Суть в том, что читаются последовательности байтов (бинарные строки в версии 3.0), пока не будет возвращена пустая последовательность; тогда чтение прекращается и файл закрывается.
    – Kyubey
    25 июл 2017 в 6:27

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.