2

Здравствуйте!

Помогите, пожалуйста, найти оптимальное решение.
У меня есть рабочая программа (Сервер - Intebase 2009, Среда-Delphi XE6), которая работает уже несколько лет. Сначала база была спроэктирована для аптеки, но постепенно возникла потребность:

1) усовершенствовать бизнес-процесс и сделать программой для учета не только лекарств, но и других тмц и, кроме этого, оказания услуг.
2) переходить на Firebird 2.5, поскольку из-за отсутствия в Intebase 2009 derived tables и CTE мне было трудно или невозможно написать какие-то запросы.

Новая база будет содержать около 60 таблиц, но пока в Firebird-е создана только основная часть, "скелет", на который хочу обратить ваше внимание (это таблицы накладных (master и несколько datails, в которых по отдельности содержится записи приходов, расходов, списания, перемещения и услуг)) и некоторые справочники.

Приведу эту часть диаграммы:

alt text

1) Как лучше посчитать остатки?

Я думаю о 2 вариантах:
а) создать дополнительные таблицы (operations, rests, storages, nomenkl), для остатков на конкретный момент времени сохранить в rests остатки, например, на начало месяца или квартала и потом пересчитать до "сегодня", как написано здесь (особенно 4-5 вариант). Но при нескольких складах отдельно для них хранить остатки конца каждого месяца значит, что около при 5000 наименований в этой таблице через год будет 5000.12.количество складов записей! А через 5-10 лет?!!!
б) создать "хранимые агрегаты", как прочитал в темах на форуме sql.ru. Но "хранимые агрегаты" создаются триггером, а он сработает на before(after) insert, delete, update, то есть при каждом изменении таблиц документов происходит обновление записей в агрегате, и так я получу текущие остатки. А для остатков двухнедельной давности "идти назад"? Или чего-то не понимаю? "хранимые агрегаты"

2) насколько оправдано то, что я загнал накладные товародвижения и услуг вместе, в одну таблицу? В услуге же будут свои, специфические поля, которые останутся пустыми для тмц? Не лучше ли ТМЦ и услуги (master tables) в отдельных таблицах?

3) Насколько оправдано собирать вместе накладные ("шапки") приходов, расходов, перемещения и списания (на диаграмме не видно) в одну таблицу,а сами datails -то есть записи- в отдельных таблицах? Или лучше так, как тут (III-V вариант)? Какие от этого могут быть "последствия" в будущем? Ведь у всех этих накладных будут свои, специфические поля, а это значит избыточость данных и денормализация! Тем более, что постепенно появятся "типичные" документы и других типов, например, "обслуживание клиента своим материалом", или "обслуживание материалом предприятия", или "документы инвентаризации", "кассовые операции прихода", "кассовые операции расхода " и т.д.? И у всех будут свои дополнительные свойства, и постепенно избыточность увеличится!
По-вашему, даст собрание в одной таблице экономию времени во время запросов об остатках и оборотов? Или есть еще другая причина за? Прощу ответьте аргументами.

С другой стороны, постепенно не соберутся ли много разных типов документов, и поэтому написать запросы и собирать данные из многих datails таблиц не станет ли труднее, чем из одного? Кстати, в старой базе и "шапки", и datails у меня были в отдельных таблицах, и на sql.ru и другие тоже посоветовали, что поскольку движение товара одна сущность, зачем его делить на части. Смотрите ссылку и что там Сибиряков советует:
Я пишу: "Если можно, еще один вопрос: что вы имели в виду, когда писали: "проще будет объединить эти две таблицы в одну"? Я всегда думал, что в целях нормализации БД sales и incomes обязательно должны быть в отдельных таблицах!"
Ответ: "И какую же нормальную форму ты пытаешься воплотить в жизнь, разделяя одну сущность "движение средств" на две таблицы?.."

Сейчас уже запутался, не пойму, как поступить.

2 ответа 2

3
  1. Создать дополнительные таблицы. Аккумулировать в них данные регламентом, т.е. по кнопке. Раз в день, в месяц, в квартал, год. Называется свертка базы.
  2. Ни к чему. Экономия на таблицах = неудобство в выборках: дополнительное поле для фильтра, как следствие дополнительное поле в индексе, как следствие тормоза при вставках, объем базы... все это в худшую сторону.
  3. Тоже ни к чему. Отделите сущности. То, что в будущем в программе появится кассовый учет, не значит, что вы должны его впихнуть в ту же структуру данных. Будет ПКО, создадите для него свою таблицу.

То, что у вас реализуется количественный учет - это хорошо. Количественные остатки - это просто разность прихода и расхода. Скорость выборки с группировкой по полям индекса даст в принципе нормальную скорость и без таблицы остатков... ну, например.

Но основная проблема будет заключаться в суммовых остатках. Суммовые остатки нужно будет рассчитывать для каждого расхода, чтоб корректно списать себестоимость. Вот тут просто таблицей остатков на начало квартала вы не обойдетесь. Вам потребуется вся история приходов/расходов конкретного тмц.

Про ввод, правку или удаление документов задним числом. Вам надо иметь в виду, что любое изменение задним числом отражается на всех расходных документах после такого документа, т.к. необходимо пересчитывать списанную себестоимость по товару, по которому прошли изменения (цена, количетсво, гтд, серия и т.д.).

Про пересортицу. Да, документы вводят люди, и они ошибаются, бывает, что намеренно. Отловить пересортицу при перемещениях, продажах и списаниях можно при инвентаризации также с помощью истории. Истории перемещений между складами и истории количественно-суммовых движений.

Далее вам скорее всего потребуются остатки по ГТД (особенно для серийного товара), а также валовая прибыль (сумма продажи vs себстоимость) в разрезе товаров, продажи конкретному покупателю (для опта нужны будут сверки) и еще очень много всяких вариантов остатков.

Все это нас приводит к тому, что таблиц с движениями (с определенным набором данных), вам потребуется довольно много. И смысл в них такой, что остатки, собираться должны по ним, а не по документам. И вот эти таблицы как раз и надо будет каким-то образом партиционировать.

Например: таблицы архивов по годам, таблицы остатков на начало года, таблицы архивов кварталов текущего года, остатки на начала кварталов, текущие движения. Это один из вариантов, логика получения данных должна быть и гибкой в зависимости от потребностей и без избытка. В частности, бывают организации, которые раз в год-три делают свертку, и начинают новую базу вести, просто перенеся туда остатки. И никакие партиционирования и тригеры по генерации остатков не нужны.

ЗЫ Об объемах таблиц остатков думать не стоит. Ехать тут гораздо важнее, чем шашечки.
ЗЗЫ Я не предлагаю вам сесть и заново все начать писать или переписывать. Предлагаю задуматься о том, какой функционал вы реализуете и какие вопросы стоит задать постановщику задачи о том, что вас ждет в будущем, и как поставленные задачи вы будете решать.

UPD 1 Речь идет о срезах по остаткам. Т.е. на определенные даты у вас будет храниться срез по всем остаткам. Все верно, при изменениях задним числом вся прелесть рассчитанных остатков на начало месяца/квартала/года пропадает и возникает необходимость пересчета.

С одной стороны такая проблема решается закрытием периода с точки зрения технического недопущения случайных правок документов, например, и с точки зрения учета решается инвентаризациями, т.е. документарно корректируются остатки на момент проведения инвентаризации, и назад в такой ситуации ходить не приходится.

С другой стороны, если все-таки делать пересчет, вся сложность будет перенесена на интеллект системы пересчета. Т.е. возникает необходимость определять что конкретно надо пересчитывать и какие последствия (в частности для партионного учета) такого пересчета будут. Допускает ли система списания несуществующих партий (пересортица), или пока вся история не будет выправлена актуальных остатков не получить... Идеальный и быстрый механизм пересчета правок задним числом - Святой Грааль :) , мне такой не встречался, то есть обычно тупо идет откат актуальных остатков к дате измененного документа, а остатки позже даты актуальности просто работают с отключением контроля остатков (минусы на остатках могут быть легко).

В общем вариант пересчета стоит допускать только позже точки актуальности и в старые периоды не лезть.

UPD 2 Да, речь о партиях. Но не только. Любое товародвижение внутреннее или внешнее порождает несколько видов движений. Количественные остатки, партии, ГТД... И собирать по документам эти данные для дальнейших расчетов в расходах неудобно и нецелесообразно в плане того, что дергать придется тучу таблиц, связывать их union'ом, я бы все-таки остановился на регистрах, где в удобном виде будет храниться только нужная информация по движениям документов и работал бы только с ними, а документы не нужны.
Ну вот смотрите, для расхода вам придется собирать данные: по приходам, внутренним перемещениям, списаниям, расходам - это если не брать еще комплектацию, производство и прочие причуды. Зачем бегать по таблицам документов если можно обойтись одной таблицей для каждого вида движения. ИМХО, это гораздо удобнее.

12
  • Yura Ivanov, большое спасибо за оперативность. Сейчас поздно,так устал, уже не соображаю. Завтра хорошо прочту сообщение и если будут вопросы, напишу.
    – Delphi159
    25 ноя 2014 в 0:40
  • Yura Ivanov,здравствуйте! У меня к вам несколько вопросов: 1)Как я прочитал,при свертке старые данные из таблицы остатков удаляем.Я собираюсь остатки хранить раз в квартал,а если сегодня сделаю свертку БД и при этом старые остатки удалять,тогда остатки, например 4 месячной давности как пересчитать? идти с сегодняшних остатков назад? Тогда все равно не придётся посчитать остатки 4 месячной давности из документов? Зачем мне тогда эти дополнительные таблицы? Или что-то неправильно понял?
    – Delphi159
    26 ноя 2014 в 14:14
  • 2) Вы говорите:"Но основная проблема будет заключаться в суммовых остатках. Суммовые остатки нужно будет рассчитывать для каждого расхода, чтоб корректно списать себестоимость. Вот тут просто таблицей остатков на начало квартала вы не обойдетесь. Вам потребуется вся история приходов/расходов конкретного тмц." Вы имели ввиду то,что имею несколько партии одного товара по разным ценам прихода, т.е.партионный учет? Если да,тогда это проблема у меня уже решена. я не собираюсь всё выбирать из rests таблиц. Здесь, конечно,выборка будет идти из документов приходов/расходов конкретного товара.
    – Delphi159
    26 ноя 2014 в 14:34
  • 1
    @davidkoko, обновил ответ: UPD1, UPD2. 26 ноя 2014 в 23:14
  • @Yura Ivanov Подскажи, плиз, нет ли реализации класса регистров (как в 1С -остатков и оборотов) на php, и как следствие MySQL это все выдержит или есть ограничения?
    – Ale_x
    27 ноя 2014 в 16:39
0

Ale-x, смотрите: http://1c-dn.com/learn/practical_developer_guide_understanding_accumulation_registers/ или http://1cprogress.ru/anatomiya-registra-nakopleniya-vnutrennee-ustrojstvo-i-struktura-xraneniya.html. Они сами говорят, что регистры это таблицы. Вы сказали, что регистры "мощный инструмент, основанный не только на одной таблице". И этого они сами не отрицают и там видно, что регистры не одна таблица. Какое это имеет значение - вы же не конфигуратор создаёте, как 1C. Создайте несколько таблиц и назовите "регистры". Вам они нужны только для хранения срезов.

Ale_x, смотрите, что я писал в первом вопросе: "Но при нескольких складах отдельно для них хранить остатки конца каждого месяца значит, что около при 5000 наименований в этой таблице через год будет 5000.12.количество складов записей! А через 5-10 лет?!!!". Это было неделю назад, но сейчас уже об этом не волнуюсь. Давайте посчитаем, в моем случае сколько получается:
Если, например, 5 складов - 5000.12.5.количество партии при партионном учете (например, 2 партии). 5лет=3000000. Ну и что, пусть будет. Вы думаете, при хорошо построенных индексах 3 млн рекордов для БД это много? Я знаю фирму, где в день добавляется 1 млн рекорд. Уже не так болезненно смотрю на это. Уверен, что через несколько дней вы тоже будете думать, что это была борьба с ветряными мельницами.

1
  • Все верно вы пишите. таблицы они в Африке таблицы. Весь вопрос далее будет заключаться в том, как они используются в запросах. Это действительно механизм. Например, простой запрос select sklad, nom, sum(qty) from reg group by sklad, nom превращается в такой ад. Я не скажу, что этот конкретный запрос получается супер сложным, но я бы предпочел использовать какой-нить orm, чтоб такой запрос строился сам. А если учесть что виртуальных таблиц остатков, оборотов, сведений в одном запросе для отчета может потребоваться несколько, вероятность ошибки -> 29 ноя 2014 в 21:46

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.