2

Можно ли ограничить память потребляемой Golang допустим до 256мб? Моя программа на Golang потребляет более 500 мб памяти, на некоторых компьютерах может просто не быть столько памяти (520мб) Читал документацию и другие зарубежные stackoverflow вопросы, говорили что поможет в этом MemStats - https://golang.org/src/runtime/mstats.go?s=6236:15651#L149 я почитал документацию, примеры. И нечего не понял... Кто-то может подробней обьяснить методы для лимитирования памяти?

3
  • А что именно вы хотите чтобы произошло, когда программа дойдёт до этого предела? В большинстве случаев, если у ОС нет достаточно ОП, а SWAP'а нету или недостаточно, она просто прибьёт процесс.
    – Ainar-G
    Commented 30 сент. 2017 в 16:21
  • @Ainar-G убивать процесс мне не нужно, мне нужно что-то на подобии засыпания... когда программа исчерпывает лимит, она засыпает...память освобождается и дальше опять программа опять начинает свое действие. У меня просто работает функции на горутине, и это будет как раз кстати. Или есть иные варианты?
    – Jack Smith
    Commented 30 сент. 2017 в 20:02
  • У вас какие-то странные представления о работе программ. Если процесс заснёт, память кто освобождать будет? Я вам рекомендую почитать про параметр GOGC, а также в целом о виртуальной памяти и работе ОС.
    – Ainar-G
    Commented 30 сент. 2017 в 20:46

2 ответа 2

2

MemStats - позволяет получить статистику использованой памяти, можно запустить проверку в отдельной горутине (по таймеру), и предпринимать нужные действия

package main
import (
    "runtime"
    "fmt"
)

func main() {
    memStats := &runtime.MemStats{}
    _ = make([]string, 1000000)

    runtime.ReadMemStats(memStats)
    fmt.Printf("\nAlloc = %v\nTotalAlloc = %v\nSys = %v\nNumGC = %v\n\n", memStats.Alloc / 1024, memStats.TotalAlloc / 1024, memStats.Sys / 1024, memStats.NumGC)
}

Но также, если Вам нужно контролировать другой процес на использование памяти, советую посмотреть тут: https://stackoverflow.com/questions/24522692/how-to-set-memory-limit-to-a-process-in-golang

UPD

Также можно воспользоваться ограничением памяти с помощью ОС:

# Install cgroup-bin
apt-get install cgroup-bin

# Create a cgroup for memory and cpu called "mygroup"
cgcreate -g memory,cpu:mygroup

# Add 128 CPU shares (about 12% CPU).
echo 128 > /sys/fs/cgroup/cpu/mygroup/cpu.shares

# Add 32MB of memory to the limit.
echo 32000000 > /sys/fs/cgroup/memory/mygroup/memory.limit_in_bytes

# Do not allow the process to use swap (if the limit is reached the
# process will be killed instead).
echo 0 > /sys/fs/cgroup/memory/build/memory.swappiness

# Run the command in the specified group.
cgexec -g cpu,memory:mygroup ./compute

Или запускать программу в docker (с ограничением по памяти), этот способ намного лучше тем, что он платформо независимый.

Лимитирование ресурсов с помощью docker

Лимитирование ресурсов в linux

4
  • а можно просто ограничить текущее взаимодействия приложения с памятью до 200 мб ?
    – Jack Smith
    Commented 10 нояб. 2017 в 12:24
  • Такой возможности нет, разве кто-то оформил такое решение в отдельный package. Commented 10 нояб. 2017 в 13:22
  • Есть альтернатива, использовать ограничение на основе ОС (или использовать Докер) Commented 10 нояб. 2017 в 13:22
  • докер тут вообще не лезет, а ограничение на основе ОС как сделать?
    – Jack Smith
    Commented 11 нояб. 2017 в 9:58
2

На данный момент это невозможно, если речь идёт об ограничении потребляемой памяти именно в программе (а не системой для программы: это-то возможно, как показал Максим, но приведёт к банальному прибитию программы SIGKILL-ом при превышении лимита по памяти).

Более подробно о проблеме можно почитать тут.

Из того, что можно сделать в самой программе, это "тюнинг" параметра GOGC, который приделали в 1.5.

Грубо говоря, значение GOGC это кол-во процентов, на которое сборщик мусора позволит вырасти текущему объёму хипа до того, как начать следующую сборку.

Значение по умолчанию 100 означает, что когда сборщик мусора собрал мусор, и обнаружил, что занято 256 метров, след. сборка будет только по достижении 256 + (100% от 256) = 512 метров.

След-но, уменьшая это значение, можно увеличивать "pacing" сборщика и надеяться на лучшее.

Вообще же пока (вкл. текущую версию 1.9) единственный способ реально ограничивать потребление памяти в нагруженной программе это ограничивать нагрузку на неё.

Кроме того, тут следует понимать, что рантайм Go не отдаёт сразу всю освобождённую память системе; он помечает свободные страницы спец. хинтом (через madvise(2)) — так что система может их забрать, если сильно нужно. Проще говоря, нет особого смысла зарубать приложение лимитами: они не знают про то, как работает сборка мусора в Go.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.