1

Здравствуйте! Помогите, пожалуйста в проектировании приложения. Я программирую многопоточное приложение на Python3 (использую треды). В качестве ORM использую SQLAlchemy. В данном приложении несколько потоков подключаются к БД. Подключение к БД реализовано через одиночку. Одиночка в данной реализации представляет собой класс задекорированный следующим образом:

def singleton(cls):
    instance = {}

    def get_instance():
        if cls not in instance:
            instance[cls] = cls()
        return instance[cls]
    return get_instance()

@singleton
class Connector:
    def __init__(self):
        db = "параметры подключения"
        self.engine = create_engine(db)
        Session = sessionmaker(bind=self.engine)
        self.session = Session()

    def get_connection(self):    # вызывается когда нужен доступ к базе
        return self.session

Подскажите, пожалуйста, какие могут быть проблемы в данной реализации? Не возникнут ли блокировки при попытке воспользоваться методами класса Connect в разных потоках? (По идее наложение блокировки на экземпляр класса должен производить GIL). На текущий момент у меня периодически в работе потоков появляется ошибка:

sqlalchemy.exc.ResourceClosedError: This Connection is closed

1
  • 3
    «должен производить GIL» — не должен, поток (вместе с GIL) может быть переключен в любой момент, в том числе в процессе чтения результата с БД, думаю от этого и сбоит. Обычно делают по отдельному подключению на каждый поток
    – andreymal
    5 июн 2017 в 13:01

2 ответа 2

2

Возможно, такая реализация будет работать лучше:

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker, scoped_session
from contextlib import contextmanager

engine = create_engine(db, pool_size=50, max_overflow=0)

@contextmanager
def session():
    connection = engine.connect()
    db_session = scoped_session(sessionmaker(autocommit=False, autoflush=True, bind=engine))
    try:
        yield db_session
    except Exception as e:
        print(e)
    finally:
        db_session.remove()
        connection.close()

Применение:

with session() as s:
    pass  # do some

Руководствовался доками, похоже решение зависит от выбранной СУБД, а вообще тема интересная, было бы здорово посмотреть производительные примеры опытных участников.

2
  1. Нельзя использовать одну сессию из разных потоков. Каждому потоку своя сессия. Здесь по этому поводу очень подробно отвечено. Вот еще один очень показательный фрагмент документации (кроме приведенных в том ответе) - Is the session thread-safe?

  2. Ваш синглтон с виду решает практически ту же самую задачу, что и ScopedSession.

  3. Из названия метода get_connection может показаться, что речь идет о подключении к БД. Сессия SQLAlchemy не то же самое, что простое подключение. Игнорирование различий этих понятий может привести к печальным последствиям. Например, незакрытая сессия может привести к потере данных.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.