0

Привет. У меня есть алгоритм, результат работы которого нужно сохранить и передать другому человеку. Я хочу это делать с помощью pickle на python 3.5. Проблема заключается в том, что при загрузке данных, они пропадают.

Приведу схему моих действий:

# Задаю параметры

clope = CLOPE.CData()
clope.Init(dataGroups, iter, repulsion, isSaveHistory)
with open('data/CLOPE_users.pickle', 'wb') as f:
    pickle.dump(clope, f)

После выполнения этого кода, оказывается, что data/CLOPE_users.pickle весит 75 байт. Хорошо, тогда я напишу скрипт, который будет загружать этот файл (вдруг, он, действительно, весит настолько мало, хотя оценочный вес должен быть определённо больше). Разумеется, после загрузки в новом скрипте, я увидел пустую структуру clope. Выглядит эта структура примерно так:

# Класс, описывающий работу с данными
class CData:
    # Список кластеров
    Clasters = [] # CClaster
    # Количество добавленных транзакций
    CountTransactions = 0
    # Словарь. Ключи -- номер транзакции. Значение -- номер кластера
    Transaction = {}
    # Номер итерации
    Iteration = 0

Пустая, правда, она не совсем. Например, данные в Transactions не сохраняются (они мне нужны больше всего). А вот переменные вида CountTransactions остаются и после загрузки.

Для порядку, я также приведу пример загрузчика:

with open('data/CLOPE_users.pickle', 'rb') as f:
    clope = pickle.load(f)

Для того, чтобы как-то разобраться с ситуацией, я попытался поотлаживать прогу. О, чудо, все данные сохраняются и загружаются. Но!!! При одном условии. Все сохранения и загрузки должны выполняться в рамках работы одного и того же скрипта. Т.е. если скрипт завершить, то загрузить сохранённые данные не удастся и будет наблюдаться картина, описанная мной выше. Привожу пример, как я это делаю:

clope = CLOPE.CData()
clope.Init(dataGroups, iter, repulsion, isSaveHistory)
with open('data/CLOPE_users.pickle', 'wb') as f:
    pickle.dump(clope, f)
with open('data/CLOPE_users.pickle', 'rb') as f:
    clopeLoad = pickle.load(f)

После загрузки в clopeLoad будут лежать все данные целыми.

Идём дальше.

В силу того, что в python всё передаётся ссылками, то я решил скопировать объект clope, прежде чем отправлять на запись. Но это тоже не помогло:

clope = CLOPE.CData()
clope.Init(dataGroups, iter, repulsion, isSaveHistory)
with open('data/CLOPE_users.pickle', 'wb') as f:
    pickle.dump(copy.deepcopy(clope), f)

При загрузке в новом скрипте, все данные опять же исчезают.

Были мысли, связанные с тем, что нужно явно закрыть файл. Но это тоже ничего не поменяло. Т.е. :

clope = CLOPE.CData()
clope.Init(dataGroups, iter, repulsion, isSaveHistory)
with open('data/CLOPE_users.pickle', 'wb') as f:
    pickle.dump(clope, f)
f.close()

Сохранение данных руками тоже не работает:

clope = CLOPE.CData()
clope.Transaction[0] = 1
with open('data/CLOPE_users.pickle', 'wb') as f:
    pickle.dump(clope, f)

with open('data/CLOPE_users.pickle', 'rb') as f:
    clopeLoad = pickle.load(f)

При загрузке структура также остаётся пустой.

Далее начинается абсолютная магия. Допустим, я сохранил структуру, как это указывал выше. После этого запущу код:

with open('data/CLOPE_users.pickle', 'rb') as f:
    clopeLoad = pickle.load(f)

clope = CLOPE.CData()
clope.Init(dataGroups, iter, repulsion, isSaveHistory)
print("Finish")

В таком случае, сразу после загрузки данных, оказывается, что структура пустая. Но после выполнения clope.Init(dataGroups, iter, repulsion, isSaveHistory) и clope, и clopeLoad обратают все данные.

В связи с этим, я полагаю, что pickle каким-либо образом неявно сохраняет ссылки на объекты и при загрузке, они остаются. Но, что с этим делать я совершенно не понимаю. Подскажите, как мне сохранить данные при помощи pickle?

P.s. Такие проблемы, судя по всему возникают только в python3. Подобного рода казусов в python2.7 никогда не было. К сожалению, писать на python2.7 нет возможности, поскольку исходные данные хранятся в pickle и записаны именно в python3. Если нужна конкретика, то все исходные коды можно посмотреть тут: CLOPE

5
  • в конструкции with файл сам будет закрыт. Лучше приведите минимальный пример с проблемой, чтобы желающие могли запустить его и проверить у себя.
    – gil9red
    27 апр 2017 в 7:19
  • @gil9red Так чем не нравится репозиторий и пример c clope.Transaction[0] = 1? Насчёт вашего комментария про with, я прекрасно понимаю. Но ситуация, в которой не понимаешь, как и что происходит, заставляет делать очень очень странные вещи. 27 апр 2017 в 7:22
  • тем что мне (и многим другим) лениво идти на другие сайты, искать там ваш полный код с заполненными данными, потом скорее всего качать его или через git clone или через вебморду в виде архива. Так же лениво и читать ваши размышления :) Лучше сразу -- пример с проблемой и жалоба на него :) Перед тем как я вам ответил, я набросал код с pickle, который сохраняет в файл и считывает, причем в двух разных запусках: gist.github.com/gil9red/83e18ffe600bc81447d7d118ce3c1b93
    – gil9red
    27 апр 2017 в 7:29
  • Что такое dataGroups, iter, repulsion, isSaveHistory? Как, по-вашему, мы должны воспроизвести ваш код без этих переменных?
    – Xander
    27 апр 2017 в 7:51
  • Python 3 здесь не при чём. Это поведение pickle с подобного рода классами и оно ровно такое же в Python 2. 27 апр 2017 в 8:53

1 ответ 1

5

Я нашёл вашу ошибку.

Вы абсолютно непитонично реализовали класс СData. В питоне все переменные, которые должны принадлежать самому экземпляру объекта, следует объявлять в специальной функции инициализации, которая всегда называется __init__. Обязательно с двойными подчёркиваниями в начале и в конце, и обязательно с маленькой буквы. После этого экземпляр объекта будет инициализироваться сразу при создании, вот так:

class A:
    def __init__(self, var1, var2):
        self.param1 = var1
        self.param2 = var2

obj = A('раз', 'два')

В этом коде аттрибуты param1 и param2 принадлежат самому объекту. Когда вы выполняете pickle они будут сохранены.

Вы же определяете ваши переменные не в инициализаторе, а просто в классе:

class CData:
    # Список кластеров
    Clasters = [] # CClaster
    # Количество добавленных транзакций
    CountTransactions = 0
    # Словарь. Ключи -- номер транзакции. Значение -- номер кластера
    Transaction = {}
    # Номер итерации
    Iteration = 0

К созданным таким образом переменным объект сможет обращаться как к своим, через self.имя_переменной, в том числе и менять их, но они хранятся не в __dict__ самого объекта, а в __dict__ класса.

Поэтому в пределах того же скрипта объект, восстановленный из pickle-дампа видел их наполненное состояние - ведь состояние класса после того как было заполнено данными, таким и осталось.

Однако в другом скрипте класс заново создавался с исходным пустым состоянием, и объект (который у вас сам этих данных не хранит) обращался к девственно чистому классу.

Выход: перепишите класс так, чтобы параметры объекта хранились в самом объекте.

2
  • Что такое __dict__? 27 апр 2017 в 19:31
  • @hedgehogues, это специальный атрибут, в котором хранятся переменные и методы объекта или класса (хотя на самом деле, класс - это тоже объект).
    – Xander
    27 апр 2017 в 20:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.