0

У меня есть идея разместить очень много документов типа word, pdf не в виде файлов на диске, а в самой базе данных MongoDb для упрощения резервирования.

Где то прочитал что MongoDb располагает данные в оперативной памяти, по этому работает быстро.

Но если объем базы данных 100Гб и система на VPS с 4Гб оперативки тогда как система будет работать? Все ли коллекции и в каком объеме загружаются в оперативную память?

1 ответ 1

2

Боюсь, MongoDB не предназначена для этого. Её можно настроить на хранение данных в памяти, но, по мне, это больше сделано для ускорения работы интеграционных тестов.

Если MongoDB находится в In-Memory режиме, в случае нехватки оперативной памяти, база просто вернет ошибку (https://docs.mongodb.com/manual/core/inmemory).

5
  • а как же в таком случае WiredTiger Storage Engine включенный по умолчанию?
    – Monitorkin
    Commented 26 нояб. 2021 в 5:48
  • 1
    WiredTiger Storage Engine не хранит базу в памяти. По документации, для операций создаются снапшоты которые держатся в памяти до достижения ими 2Gb (или 60 секунд, что раньше), а потом они записываются на диск. Т.е., допустим, мы имеем 100Gb файл, тут мы вынуждены использовать GridFS, который разбивает этот файл на куски по 256Kб (по умолчанию). Как только мы загрузим 2Gb - это все полетит на диск. Commented 26 нояб. 2021 в 6:04
  • благодарю за науку, но опять же... речь не о файле в базе размеров в 100ГБ, а о самой базе размеров в 100Гб.. какие части базы находятся в памяти в этом случае? и как происходит подгрузка в память того что не влезло в оперативную память? по логике в памяти должны быть часто используемые данные, а остальное на диске
    – Monitorkin
    Commented 26 нояб. 2021 в 8:42
  • 1
    Mongo хранит в кэше наиболее часто используемые данные, но, как я понял, это больше относится к индексам. В MongoDB FAQ есть вопрос на эту тему про кеширование (docs.mongodb.com/manual/faq/fundamentals). В ответе: "MongoDB does not cache the query results in order to return the cached results for identical queries." Т.е. в любой случае контент файла будет загружаться с диска Commented 26 нояб. 2021 в 9:43
  • 1
    Но тут еще один момент, на сколько я помню, WiredTiger специально оптимизирована для работы с XFS чтобы ускорить I/O операции с диска. Потенциально, эта комбинация может дать неплохой результат. Не такой быстрый как чтение с памяти, но все же Commented 26 нояб. 2021 в 9:55

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.