0

Все данные (прайсы) клиент закачивает через csv, я сохраняю этот файл, и каждый раз, когда нужно – выдаю его. Почему так? Т.к. в каждом прайсе своя структура. Файлы очень большие, по 200К, а иногда и по 1-2М строк.

Нормальна ли практика хранить данные в csv-файлах, или лучше использовать для таких целей БД?

Что с БД, что с csv, php необходим memory_limit в 1024 – иначе белый экран.

2 ответа 2

2

Для начала следует разделить понятия хранения и обмена данными.

Для хранения разумнее всего использовать БД, хотя бы потому, что у нас есть язык SQL и мы можем создавать при помощи него гибкие запросы.

А вот для обмена данными (выгрузок, отчётов, сигнальных сообщений и пр.), формат CSV подходит просто замечательно. Помимо CSV есть еще и tab-delimited text и еще несколько, менее распространённых форматов.

Надо сказать, что все они появились в эпоху "до XML" (и тем более "до JSON"), но великолепно себя зарекомендовали во всяких интеграционных решениях и обмене данными между разнородными системами. Короче говоря, эти форматы как Windows XP - вроде старенькая, а люди ее любят и пользуются.

В приведённом кейсе, клиент с большой вероятностью хранит данные в реляционной СУБД, а для вас попросту делает выгрузку цен. Это обычная практика.

Большинство современных СУБД содержат инструменты (tools) для операций импорта/экспорта данных их plain-text форматов. Некоторые из них интуитивно понятны и удобны в использовании, другие (например SQL Server Import and Export Wizard и традиционно вся линейка продуктов Microsoft) требуют танцев с бубнами и некоторых усилий.

Ну а любой высокоуровневый ЯП обладает полным набором средств, чтобы написать собственные конвертеры и парсеры CSV/Tab-delimited файлов. Благо классов и надстроек в Сети полным-полно.

1
  • В приведённом кейсе, всё хранится в csv и когда какой-то пользователь сайта загружает страницу – csv файл открывается и считывается для показа на экран пользователя. Клиент попросту экспортирует из екселя в csv и заливает на сайт для дальнейшего хранения. В БД не хранится ничего. О других форматах и истории – наслышан, можете не объяснять) Спасибо за ответ!
    – Anton
    26 авг 2015 в 18:58
2

Если вы не собираетесь эти данные анализировать - то храните их в CSV. Под "анализировать" я здесь понимаю поиск по содержимому, сравнение цен и характеристик и пр. Во всяком случае будет разумно проанализировать структуру ваших файлов и выделить там несколько общих полей (товар, артикул, цена, наличие на складе), так-же выделить некий набор мета-данных - размер и имя файла, кто загрузил его и когда. И вот эту информацию уже хранить в БД.

Насчет memory_limit: при загрузке файла вы его как-то обрабатываете? Может стоит подумать над созданием "очереди обработки":

  1. Клиент загружет файл на сервер
  2. Файл помещается в какую-нть временную папку и создается задача на его обработку
  3. Отдельный процесс (крон-задача или некий демон) опрашивает очередь задач, находит первый необработанный файл, что-то с ним делает и помечает эту задачу как исполненную с тем или иным результатом
  4. Формируется уведомление для клиента, которое доводится до него тем или иным способом
4
  • Спасибо за ответ! Нет, анализ вообще не нужен, там нет никакой нужной для "нас" информации. При загрузке никак. Только когда пользователь заходит на страницу бренда, читается файл csv с товаром и тогда memory_limit – потому что php обходит все поля, парсит csv строку и формирует таблицу в массив, а потом эта таблица выводится на страницу.
    – Anton
    26 авг 2015 в 21:17
  • Вернее даже клиент просто загружает, а конечный пользователь просто просматривает файл. Клиент ещё может редактировать эти файлы (функционал уже есть), а пользователь лишь открывает страницу, которая считывает csv и циклом формирует массив, который потом выводится.
    – Anton
    26 авг 2015 в 21:28
  • 1
    Тогда создавайте из этих данных статические html-страницы, храните их в файлах и отдавайте прямо их, а в базе храните только ссылки на эти файлы.
    – avp
    26 авг 2015 в 21:43
  • @ka5itoshka: в этом случае как раз подходит создание background-обработки ваших CSV-файлов: фоновое преобразование их в статические html-страницы
    – Борис
    27 авг 2015 в 8:34

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.