Можно ли ограничить память потребляемой Golang допустим до 256мб? Моя программа на Golang
потребляет более 500 мб памяти
, на некоторых компьютерах может просто не быть столько памяти (520мб) Читал документацию и другие зарубежные stackoverflow вопросы
, говорили что поможет в этом MemStats
- https://golang.org/src/runtime/mstats.go?s=6236:15651#L149 я почитал документацию, примеры. И нечего не понял... Кто-то может подробней обьяснить методы для лимитирования памяти?
-
А что именно вы хотите чтобы произошло, когда программа дойдёт до этого предела? В большинстве случаев, если у ОС нет достаточно ОП, а SWAP'а нету или недостаточно, она просто прибьёт процесс.– Ainar-GCommented 30 сент. 2017 в 16:21
-
@Ainar-G убивать процесс мне не нужно, мне нужно что-то на подобии засыпания... когда программа исчерпывает лимит, она засыпает...память освобождается и дальше опять программа опять начинает свое действие. У меня просто работает функции на горутине, и это будет как раз кстати. Или есть иные варианты?– Jack SmithCommented 30 сент. 2017 в 20:02
-
У вас какие-то странные представления о работе программ. Если процесс заснёт, память кто освобождать будет? Я вам рекомендую почитать про параметр GOGC, а также в целом о виртуальной памяти и работе ОС.– Ainar-GCommented 30 сент. 2017 в 20:46
2 ответа
MemStats - позволяет получить статистику использованой памяти, можно запустить проверку в отдельной горутине (по таймеру), и предпринимать нужные действия
package main
import (
"runtime"
"fmt"
)
func main() {
memStats := &runtime.MemStats{}
_ = make([]string, 1000000)
runtime.ReadMemStats(memStats)
fmt.Printf("\nAlloc = %v\nTotalAlloc = %v\nSys = %v\nNumGC = %v\n\n", memStats.Alloc / 1024, memStats.TotalAlloc / 1024, memStats.Sys / 1024, memStats.NumGC)
}
Но также, если Вам нужно контролировать другой процес на использование памяти, советую посмотреть тут: https://stackoverflow.com/questions/24522692/how-to-set-memory-limit-to-a-process-in-golang
UPD
Также можно воспользоваться ограничением памяти с помощью ОС:
# Install cgroup-bin
apt-get install cgroup-bin
# Create a cgroup for memory and cpu called "mygroup"
cgcreate -g memory,cpu:mygroup
# Add 128 CPU shares (about 12% CPU).
echo 128 > /sys/fs/cgroup/cpu/mygroup/cpu.shares
# Add 32MB of memory to the limit.
echo 32000000 > /sys/fs/cgroup/memory/mygroup/memory.limit_in_bytes
# Do not allow the process to use swap (if the limit is reached the
# process will be killed instead).
echo 0 > /sys/fs/cgroup/memory/build/memory.swappiness
# Run the command in the specified group.
cgexec -g cpu,memory:mygroup ./compute
Или запускать программу в docker (с ограничением по памяти), этот способ намного лучше тем, что он платформо независимый.
-
а можно просто ограничить текущее взаимодействия приложения с памятью до 200 мб ? Commented 10 нояб. 2017 в 12:24
-
Такой возможности нет, разве кто-то оформил такое решение в отдельный package. Commented 10 нояб. 2017 в 13:22
-
Есть альтернатива, использовать ограничение на основе ОС (или использовать Докер) Commented 10 нояб. 2017 в 13:22
-
докер тут вообще не лезет, а ограничение на основе ОС как сделать? Commented 11 нояб. 2017 в 9:58
На данный момент это невозможно,
если речь идёт об ограничении потребляемой памяти именно в программе
(а не системой для программы: это-то возможно, как показал Максим, но
приведёт к банальному прибитию программы SIGKILL
-ом при превышении лимита по памяти).
Более подробно о проблеме можно почитать тут.
Из того, что можно сделать в самой программе, это "тюнинг"
параметра GOGC
, который приделали в 1.5.
Грубо говоря, значение GOGC
это кол-во процентов, на которое сборщик мусора
позволит вырасти текущему объёму хипа до того, как начать следующую сборку.
Значение по умолчанию 100 означает, что когда сборщик мусора собрал мусор, и обнаружил, что занято 256 метров, след. сборка будет только по достижении 256 + (100% от 256) = 512 метров.
След-но, уменьшая это значение, можно увеличивать "pacing" сборщика и надеяться на лучшее.
Вообще же пока (вкл. текущую версию 1.9) единственный способ реально ограничивать потребление памяти в нагруженной программе это ограничивать нагрузку на неё.
Кроме того, тут следует понимать, что рантайм Go не отдаёт сразу всю
освобождённую память системе; он помечает свободные страницы спец.
хинтом (через madvise(2)
) — так что система может их забрать, если
сильно нужно.
Проще говоря, нет особого смысла зарубать приложение лимитами:
они не знают про то, как работает сборка мусора в Go.