1

Подскажите, пожалуйста, какой формат выбрать для хранения текстовых данных большого объема. Он должен соответствовать следующим критериям (хотя бы 3 из 5). Критерии идут в порядке приоритета:

  • Удобное представление структуры данных (вложенность данных может быть произвольной глубины)
  • Поддержка библиотеками python (конвертирование, парсинг)
  • Быстрый и маленький (парсинг, загрузка в БД)
  • Удобное распространение (скачивание, отправка по сети)
  • Человекочитаемый вид (возможность чтение и редактирования напрямую человеком)

Рассматриваю форматы - CSV, XML, JSON. Буду благодарен советам по выбору из указанных форматов или вашим предложениям.


UPD. Немного уточнений к вопросу. Почему озаботился выбором формата?

Собрал большой объем данных для своего проекта (инженерные и научные данные).

Встала задача по их структурированию и хранению, вдруг кому-то пригодится информация, а я смогу ему передать. Следовательно, человекоподобный вид будет весьма кстати.

Возможно, какое-то значение изменится, и чтобы не запускать парсинг по новой требуется править напрямую файл редактором

Кроме того, полученных данные нужно импортировать в базу данных, в моем случае PostgresQL, и любой человек, который принял мои текстовые данные, может сделать то же самое в любую удобную ему БД

11
  • 2
    В порядке убывания предпочтения: json, xml, csv. У json меньше накладные расходы (компактнее), xml уже несколько лет подряд теряет популярность среди программистов. Оба формата можно валидировать. Поддержка уже проникает и в СУБД, от майкрософт по крайней мере.
    – A K
    1 авг 2016 в 18:18
  • 3
    Проще, чем CSV с экранированием разделителей вы не найдёте. И редактировать его можно любым табличным редактором. А вопрос подлежит закрытию, т. к. из серии "посоветуйте мне <...>".
    – user181100
    1 авг 2016 в 18:35
  • 1
    добавил уточнения к вопросу, чтобы прояснить, почему я озаботился поиском формата
    – while1pass
    1 авг 2016 в 19:22
  • 3
    Возможно стоит сразу структурировать в базе данных (реляционная, колоночная, графовая, документоориентированная ..., под задачу), с нужными связями, быстрой выборкой. Сомнительно что кто-то быстро сможет разобраться если связи не явно описаны даже в человекочитаемом формате. sql дамп тоже легко редактировать редактором. Из базы экспорт в csv, json легче чем наоборот.
    – Igor
    1 авг 2016 в 21:15
  • 1
    github.com/caesar0301/awesome-public-datasets давай проще. Посмотри в каком формате они выдают данные для всех. Используй этот формат 2 авг 2016 в 0:30

1 ответ 1

10

итак, включаем голову:

одни и те же данные в csv, json:

csv: (вместо \t будет |)

country|city
US|New York
Russia|Moscow

json:

{[{"country":"US", "city":"New York"},{"country":"Russia", "city":"Moscow"}]}

сравните длину строчек. У кого больше? у JSON.

JSON/XML удобны тем, что структурированы, могут описать схему данных. CSV удобен тем, что очень компактен, минимальные расходы на парсинг.

  • любой не бинарный формат человек может редактировать очень легко. некоторые бинарные форматы достаточно просты, чтобы их можно было редактировать в hex-редакторе, особенно, если вы привыкли.

  • официально JSON поддерживает ТОЛЬКО UTF-8. CSV может быть в любой кодировке.

  • если у вас очень сложные данные, сильно связанные, данные, которые трудно представить в виде одной-двух таблиц, возможно, вам следует присмотреться к json/xml.

Если вы просто заливаете тексты в бд, экспортируете их, csv вполне справится.

В целом-то это вопрос выбора временного формата - формата для экспорта или трансляции по сети, во внешние системы (никто не хранит данные в csv/json/xml в качестве основного онлайн-хранилища)

Если у вас очень большие прямо тексты, храните их в текстовых файлах и в базе данных, а в csv/json/xml давайте ссылки на файлы. Структура усложняется, но и редактировать человеку проще.

Зато разница между форматами нивелируется. Короче, как всегда, все зависит от архитектуры и задач.

6
  • спасибо за развернутый ответ. как понимаю, большая вложенность вредит csv, ухудшает его понимание человеком
    – while1pass
    1 авг 2016 в 18:47
  • 2
    у csv не "большая вложенность", у него просто все поля подряд идут, двумерные данные табличного вида. Каждую строку можно как угодно интерпретировать, с другой стороны в JSON/XML всегда прописано, что и где лежит, но и парсить их дороже и тяжелее 1 авг 2016 в 19:02
  • добавил уточнения к вопросу, чтобы прояснить, почему я озаботился поиском формата. да, основной критерий, как вы заметили, это распространение по сети, чтобы любой человек мог воспользоваться данными в своих целях. структура обладает большой вложенностью (3-5 кратной), и, возможно, будет усложнятся, поэтому для наглядности, наверно JSON/XML будет лучше
    – while1pass
    1 авг 2016 в 19:24
  • тогда csv, все sql-бд могут импортировать csv. 1 авг 2016 в 19:25
  • 1
    нееет. инженерные и научные данные (физхим свойства, данные структур, координаты, атомные параметры), там винегрет, который пытаюсь упорядочить
    – while1pass
    1 авг 2016 в 19:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.