0

Подскажите, как правильно защитить файл от "полузаписи" в следующей ситуации:

Есть система, которая состоит из удаленного объекта, который собирает параметры измерений, и есть сервер, к которому клиент подключается по TCP/IP и передает данные.

Данные отправляются и принимаются в виде условного пакета. Пакет - структура. Каждый пакет может иметь разный размер. Суть в том, что пакеты пишутся в файл один за другим. То есть, чтобы достать какие-то данные из файла, нужно последовательно считать и проанализировать все предыдущие данные.

В связи с этим возникает проблема.

Если во время записи произойдет внезапный останов приложения (процесса), то в файл с высокой долей вероятности запишется не вся информация структуры. И, если после этого продолжить писать дальше, то произойдет рассогласование файла.

Сперва я хотел решить эту проблему при помощи запрещения закрытия процесса в тот момент, пока продолжается запись, то это лишь частичное решение проблемы. Это защитит только в некоторых случаях, а вот при закрытии процесса из диспетчера или "терминатором" - проблема полузаписи остается.

Я решил, что проблему нужно решать с другого ракурса: нужно расставить внутри файла метки, чтобы при обнаружении поврежденной записи просто искать следующую метку и пытаться читать данные дальше.

Но проблема заключается в том, что файл двоичный, и данные имеют переменный размер.

Чтобы стало ясно, что я имею в виду под пакетом переменной длины, можно считать, что пакет выглядит так:

struct s_pack
{
    char *name;// Строка с именем, от 1 до 100500 байт.
               // Оканчивается нультерминатором.

    uint32_t count;// Количество сигналов, значение от 0 до 100500.
    float *data;// Сигналы.
};

Каким образом в файле можно расставить метки, чтобы при имеющейся в файле полузаписи была возможность определить следующие корректные пакеты?

Запись в бинарный файл пакета фиксированного размера могла бы решить проблему, ведь тогда легко будет определить, какая запись является битой, но этот вариант не подходит. Потому что пакетов приходит много, и все они разного размера. Могут быть пакеты на 20 байт, а могут быть и на 100 КБ. Если задать размер записи в 10 КБ, тогда большая часть ЖД будет забиваться пустотой...

3
  • Комментарии не предназначены для расширенной дискуссии; разговор перемещён в чат.
    – ЮрийСПб
    4 июл 2018 в 13:25
  • Если в лоб, то можно писать каждую запись в отдельный файл. Файловые системы сейчас хорошие, так что миллиард файлов вполне потянут. А при анализе данных уже в нереальном времени можно все записи собрать вместе и анализировать.
    – pepsicoca1
    4 июл 2018 в 18:08
  • 1
    Миллиард файлов? Windows тормозит при открытии папки со 100 000 файлов, а тут миллиард... К тому же, большая часть дискового пространства будет забита пустотой. Я уже молчу о том, чтобы все эти файлы потом открывать для просмотра или сшивания, тк открытие и закрытие файла всего тысячу раз даже c SSD занимает 0.167 сек.
    – user294535
    5 июл 2018 в 4:15

3 ответа 3

2

Нужно "метки" вынести в отдельный файл, назовем его, индексом. Таким образом нужно:

  1. Записать в файл индексов очередное смещение, флаг записи данных (false)
  2. В файл данных записать данные
  3. В файле индексов проставить флаг записи данных (true), может еще контрольную сумму туда запилить

ИМХО, при такой организации данных легче искать последний "неповрежденный" блок информации.

1
0

Пишите в файл данные в таком формате

  1. Длина пакета
  2. Данные

При возобновлении записи мы начинаем считывать файл с начала. Если длина последнего пакета не соответствует записанной длине, то пакет считается незаписанным и отбрасывается.

2
  • Тк файл двоичный, есть вероятность, что при полузаписи значения обоих меток совпадут, хотя по факту данные метками являться не будут)
    – user294535
    4 июл 2018 в 9:53
  • Отредактировал ответ 4 июл 2018 в 12:07
0

В общем, после детального моделирования ситуации я пришел к выводам:

Если файл бинарный и в него пишутся данные переменного размера, то доступ к данным такого файла только последовательный и никакой более. Не существует способа, который позволил бы считать третий пакет из файла, не считав перед этим второй, а перед вторым первый. Так же не существует способа проверить корректность произвольной записи, не проверив корректность всех предыдущих. Это логично.

Для того, чтобы гарантировать валидность файла описанного формата есть лишь два способа:

  1. Если существующий файл открывается для дозаписи, то необходимо последовательно считать пакет за пакетом, выясняя корректность каждого пакета, а заодно и определяя, где же начинается следующий пакет.

  2. Создание нового файла при каждом перезапуске процесса. Такой способ позволяет не беспокоиться о возможном рассогласовании файла из-за прерывания записи на полпути из-за прерывания процесса, потому что за недозаписанным в конце файла пакетом ничего нет, этот пакет можно просто игнорировать. Единственный минус, при перезапуске процесса будет создаваться новый файл.

Оба способа дают гарантию, что не возникнет ситуации, когда мы начинаем писать после поврежденного пакета.

С файлами, которые имеют записи фиксированного размера, все гораздо проще, к записям фиксированного размера можно применять различные алгоритмы хеширования, однако следует помнить, что суммы проверки обладают двумя коварными свойствами:

  • Если сумма проверки НЕ СОВПАЛА, данные гарантированно повреждены;
  • Если сумма проверки СОВПАЛА, данные могут быть повреждены.

Даже если использовать суммы проверки, битность которых стремится к бесконечности, совпадение сумм проверки не будет гарантировать корректность данных.

Иначе говоря, суммы проверки - это вероятностные объекты.

Всем спасибо за участие в обсуждении!

1
  • 2
    "Если сумма проверки СОВПАЛА, данные могут быть повреждены" - просто оцените вероятность такого события... Например, при простейшем CRC32 уже получается, что только один пакет из 4 миллиардов БИТЫХ пакетов (а какова еще вероятность того, что пакет битый?) будет в среднем ложно опознан как правильный. Если бьется один пакет из 1000 (что вообще-то очень много) - то уже получаем неприятности в одном пакете из 4 триллионов...
    – Harry
    5 июл 2018 в 5:57

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.