Есть PostgreSQL 9.1 с партиционированной таблицей, очень упрощенно — вот такой:
-- Базовая таблица, сама по себе записей не содержит
CREATE TABLE entries (
id BIGSERIAL PRIMARY KEY,
started TIMESTAMPTZ NOT NULL,
stopped TIMESTAMPTZ DEFAULT NULL,
counter BIGINT DEFAULT 0
);
-- Архивные данные, раздел за 2012 год (есть и другие года)
CREATE TABLE entries_2012 (
CHECK (stopped IS NOT NULL),
CHECK (started >= DATE '2012-01-01' AND started < DATE '2013-01-01')
) INHERITS (sessions);
-- Активные данные
CREATE TABLE entries_active (
CHECK (stopped IS NULL),
) INHERITS (sessions);
-- И есть триггеры на INSERT/UPDATE/DELETE, которые раскладывают
-- и перемещают ряды между дочерними таблицами sessions, согласно
-- ограничениям.
С ней работает SQLAlchemy 0.5.8 (можно, при острой необходимости, обновить), как-то так:
# Модель минималистична, проектирование идет со стороны БД, а не кода
class Entry(Base):
__tablename__ = 'entries'
__table_args__ = {'autoload': True}
# Находим нужную запись. В реальном коде условия довольно сложные
# и составляются динамически.
e = session.query(Entry).filter(...).first()
if e is not None:
# Делаем разные изменения. Для примера обойдемся одним простым.
e.counter = new_counter_value
# Сохраняем.
session.add(e)
session.commit()
Это отправляет в БД запрос вида:
UPDATE entries SET counter = 12345 WHERE id = 321
Что вполне правильно, но требует поиска ряда по первичному ключу во всех разделах таблицы (entries_2005
, entries_2006
, ..., entries_2012
, entries_active
), т.е. выполняется относительно медленно.
В большинстве случаев, но не всегда, обновляются данные в entries_active
. Соответственно, хочется как-то оптимизировать ситуацию.
При этом просто сделать отдельную модель ActiveEntry
для таблицы entries_active
нельзя — за время работы соседняя транзакция может поменять значение столбца stopped
, переведя ряд в другую таблицу.
Оптимальным кажется добавить в WHERE
SQL-запроса еще AND stopped IS NULL
, посмотреть на число обновленных рядов, если их 0 — повторно выдать запрос без дополнительного условия. Но как это сделать с SQLAlchemy я, честно говоря, не представляю.
Буду благодарен за любые идеи.
entries.update().values({...})
не решает сути проблемы. Выбранный из базыe = session.query(Entry)....
путешествует по куче функций-обработчиков (собственно, поэтому и используется ORM), которые смотрят на текущие значения и, в ряде случаев, их меняют. И вот что они там в итоге наменяли — если никто не бросил исключения — будет положено в БД в результатеsession.commit()
. – drdaeman 7 мар '12 в 13:01update().values(...)
, тамupdate().values(...).where(...).where(...)
. Суть проблемы решаеют вот эти where. Соответвенно надо их задавать по партиционным ключам чтоб апдейт был по одной необходимой таблице, без скана по всем. Если у вас в выборке, которую дает filter есть записи из разных физических таблиц, т.е. весь набор фильтруемых записей не привязать к одной таблице (одному значению партиционных ключей), то update в любом случае будет идти по всем таблицам. Тут вопрос не в "скл-алхимии", а в архитектуре приложения, которая не сможет эффективно работать с базой... – Yura Ivanov 7 мар '12 в 13:14