6

Есть кучка данных. Нужно их обработать, переработать и сохранить. Время на переработку - не особо лимитируется.

Потом в какой-то момент их нужно максимально быстро считать и отдать.

В каком формате их хранить? Т.е. скорость создания файла не важна, а скорость считывания нужна на максимально быстром уровне

Размер тоже не важен

UPD1 Пока склоняюсь к MessagePack и csv.

Итого: CSV

6
  • А разве бинарный распарсить быстро? Его же перед употреблением разбинарить надо? А это лишние время. Или я бред говорю?
    – kandi
    31 авг 2013 в 13:32
  • 2
    Бред говорите, верно. Бинарный вообще не парзят. Его просто берут и просто читают. Это просто и быстро. На С, к примеру, просто создаем переменную (одиночную или массив, структуру) и прямо в нее читаем из файла, как там в java - с ходу не скажу. Для того же DBF для java наверняка есть библиотеки готовые. Проблема может быть только в том случае, чтобы обе программы - и та что пишет и та что читает - писали идентично. С текстовыми форматами - XML, JSON этот проще, ибо как-никак стандартизировано.
    – Softa
    31 авг 2013 в 13:34
  • @danpetruk Все зависит от того, в каком виде вам нужно отдавать считанные данные. Вероятнее всего, вам все равно нужно будет их парсить.
    – a_gura
    31 авг 2013 в 13:36
  • Нужно отдать в человеческом виде. Но именно после 'максимально быстро считать и отдать'. И отдать разделённо
    – kandi
    31 авг 2013 в 13:38
  • Бинарные не парзят. Их, возможно, преобразуют в человеко-удобный вид. Но это много проще и быстрее, чем парзить.
    – Softa
    31 авг 2013 в 13:42

4 ответа 4

7

О боже, век XML и JSON. Все забыли о бинарных форматах?

Быстрее всего - бинарный с полями фиксированной длинны. Вариация на тему DBF, к примеру.

Из тех нужно парcить - простой это CSV, к примеру.

3

UML - это не формат, а я зык модеоирвоания.

JSON компактнее, чем XML. Так что его чтение в общем случае будет выполняться быстрее (как и передача по сети).

Есть более компактная форма JSON - MessagePack.

Также рекомендую посмотреть в сторону бинарных форматов хранения и передачи данных, например Google Protobuf или Apache Thrift.

5
  • В Protobuf или Thrift предусмотрено хранение?
    – Softa
    31 авг 2013 в 13:33
  • @Softa Что значит предусмотрено? Это же просто формат. Ничто не мешает использовать его для хранения данных.
    – a_gura
    31 авг 2013 в 13:35
  • Гм. Насколько я понял - это протоколы обмена данным. А не формат файлов. Это разные вещи: например, в протоколе может быть предусмотрено подтверждение и пр. и пр. - как это "просто использовать для хранения данных". Вот я и спрашиваю - там предусмотрено хранение файлов?
    – Softa
    31 авг 2013 в 13:44
  • 1
    @Softa В первую очередь это форматы хранения данных. Да, они предоставляют абстракции для RPC вызовов, но реализации как правило идут отдельно. В Protobuf это точно так. Если мы описываем формат сообщения и можем преобразовать его в массив байтов, то ничто не мешает нам сохранить его в файл.
    – a_gura
    31 авг 2013 в 13:50
  • Что вы имеете вииду под "я зык модеоирвоания" ?
    – Kromster
    17 ноя 2016 в 12:55
0

xml из-за тегов сам по себе очень большой, json меньше. Но если и клиент и сервер оба на java то может родное использовать? Опишите подробнее проблему.

0

Можно посмотреть в сторону Action Message Format. Формат бинарный, компактный, есть масса библиотек для работы с ним.

Подробнее:

  1. AMF 3 Specification

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.