0

Все данные (прайсы) клиент закачивает через csv, я сохраняю этот файл, и каждый раз, когда нужно – выдаю его. Почему так? Т.к. в каждом прайсе своя структура. Файлы очень большие, по 200К, а иногда и по 1-2М строк.

Нормальна ли практика хранить данные в csv-файлах, или лучше использовать для таких целей БД?

Что с БД, что с csv, php необходим memory_limit в 1024 – иначе белый экран.

2 ответа 2

2

Для начала следует разделить понятия хранения и обмена данными.

Для хранения разумнее всего использовать БД, хотя бы потому, что у нас есть язык SQL и мы можем создавать при помощи него гибкие запросы.

А вот для обмена данными (выгрузок, отчётов, сигнальных сообщений и пр.), формат CSV подходит просто замечательно. Помимо CSV есть еще и tab-delimited text и еще несколько, менее распространённых форматов.

Надо сказать, что все они появились в эпоху "до XML" (и тем более "до JSON"), но великолепно себя зарекомендовали во всяких интеграционных решениях и обмене данными между разнородными системами. Короче говоря, эти форматы как Windows XP - вроде старенькая, а люди ее любят и пользуются.

В приведённом кейсе, клиент с большой вероятностью хранит данные в реляционной СУБД, а для вас попросту делает выгрузку цен. Это обычная практика.

Большинство современных СУБД содержат инструменты (tools) для операций импорта/экспорта данных их plain-text форматов. Некоторые из них интуитивно понятны и удобны в использовании, другие (например SQL Server Import and Export Wizard и традиционно вся линейка продуктов Microsoft) требуют танцев с бубнами и некоторых усилий.

Ну а любой высокоуровневый ЯП обладает полным набором средств, чтобы написать собственные конвертеры и парсеры CSV/Tab-delimited файлов. Благо классов и надстроек в Сети полным-полно.

1
  • В приведённом кейсе, всё хранится в csv и когда какой-то пользователь сайта загружает страницу – csv файл открывается и считывается для показа на экран пользователя. Клиент попросту экспортирует из екселя в csv и заливает на сайт для дальнейшего хранения. В БД не хранится ничего. О других форматах и истории – наслышан, можете не объяснять) Спасибо за ответ!
    – Anton
    Commented 26 авг. 2015 в 18:58
2

Если вы не собираетесь эти данные анализировать - то храните их в CSV. Под "анализировать" я здесь понимаю поиск по содержимому, сравнение цен и характеристик и пр. Во всяком случае будет разумно проанализировать структуру ваших файлов и выделить там несколько общих полей (товар, артикул, цена, наличие на складе), так-же выделить некий набор мета-данных - размер и имя файла, кто загрузил его и когда. И вот эту информацию уже хранить в БД.

Насчет memory_limit: при загрузке файла вы его как-то обрабатываете? Может стоит подумать над созданием "очереди обработки":

  1. Клиент загружет файл на сервер
  2. Файл помещается в какую-нть временную папку и создается задача на его обработку
  3. Отдельный процесс (крон-задача или некий демон) опрашивает очередь задач, находит первый необработанный файл, что-то с ним делает и помечает эту задачу как исполненную с тем или иным результатом
  4. Формируется уведомление для клиента, которое доводится до него тем или иным способом
4
  • Спасибо за ответ! Нет, анализ вообще не нужен, там нет никакой нужной для "нас" информации. При загрузке никак. Только когда пользователь заходит на страницу бренда, читается файл csv с товаром и тогда memory_limit – потому что php обходит все поля, парсит csv строку и формирует таблицу в массив, а потом эта таблица выводится на страницу.
    – Anton
    Commented 26 авг. 2015 в 21:17
  • Вернее даже клиент просто загружает, а конечный пользователь просто просматривает файл. Клиент ещё может редактировать эти файлы (функционал уже есть), а пользователь лишь открывает страницу, которая считывает csv и циклом формирует массив, который потом выводится.
    – Anton
    Commented 26 авг. 2015 в 21:28
  • 1
    Тогда создавайте из этих данных статические html-страницы, храните их в файлах и отдавайте прямо их, а в базе храните только ссылки на эти файлы.
    – avp
    Commented 26 авг. 2015 в 21:43
  • @ka5itoshka: в этом случае как раз подходит создание background-обработки ваших CSV-файлов: фоновое преобразование их в статические html-страницы
    – Борис
    Commented 27 авг. 2015 в 8:34

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.