4

Приветствую всех, кого не видел! Сразу к делу. Перевожу крупный портал в Amazon с довольно мощной машинки:

Intel® Xeon® CPU E5-2620 0 @ 2.00GHz 
24 ядра 
32GB RAM 
1TB HDD

Особых настроек mysql/php/apache там конечно не было (ресурсов много, зачем напрягать мозги). Упакованный дамп mysql весил примерно 250m, сам хост - порядка 1.5g. mysql/php/apache уже поставлены, хост прописан и работает, но mysql постоянно жрет дисковую память, независимо от нагрузки на сервер.

Кеширование отключено: boost не стоит, встроенное кеширование отключено.

Сейчас постоянно приходится расширять HDD, как только на нем остаются 5-7GB. На данный момент HDD на 100g. Дальше расширяться не хочется, да и клиентам нужен бюджетный вариант.

Один нюанс: на старом хостинге HDD был заполнен на 254g и я не уверен, что эта цифра до последнего момента не росла. Т.е., если я выделю 300g, вроде бы решу проблему, но у меня задача уложиться по возможности в 30g :)

Кто-нибудь сталкивался, что посоветуете? Хотелось бы решить еще вопрос, как этот кеш почистить, ведь все начиналось с 10g.

Если важно, то расширяю HDD по этому сценарию: How to Increase the size of a Linux LVM by expanding the virtual machine disk


Сейчас зашел на сервер, и df уже показывает 54% вместо 94%:

# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
                       98G   50G   43G  54% /
tmpfs                  15G     0   15G   0% /dev/shm
/dev/xvda1            477M   68M  384M  15% /boot

при том, что сервер с последнего перезапуска ни кто не трогал. От du объемы не изменились. После первого захода на портал по IP'у картина измнилась:

# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
                       98G   17G   76G  19% /
tmpfs                  15G     0   15G   0% /dev/shm
/dev/xvda1            477M   68M  384M  15% /boot

Что за выкрутасы?


Да, после ребута у du/df цифры те же. (
--

Можно посмотреть, что там в кроне.

Сейчас ситуация кардинально поменялась: в du выдает уже папки с хоста, объем диска то растет до 70% то падает до 20%.
--
Я это сязываю пока с нехваткой оперативы. В top'е наблюдаю один процесс httpd, который сожрал махом 30g вирт. памяти (о как!). По всей видимости, он ее пытается свопить на диск, вот он и растет. Сейчас оптимизирую httpd.conf. Но при чем тут mysqld пока не понял (я ему прописал в my.cnf забирать максимум 6g, что он и делает в top'е)
--
Выходит, на своп для 32gRAM все равно придется обеспечить HDD, размером 64g как минимум + следить за аппетитами apache?

11
  • А там точно MySQL память жрет? Может, у вас что-то логи объемные пишет? Тот же mysql может все логи подряд писать (а не только медленных запросов), если настроите его, отсюда и рост места. Еще один вариант - может просто база растет? )) А раз база растет, то и место занимаемое пропорционально увеличивается. Здесь вроде как проблемы бывают: если база весила 100 гигов, а ее потом подчистили, то сам файл базы будет продолжать занимать те же самые 100 гигов. Приходится дропать базу и заново ее создавать, чтобы реальный объем уменьшился.
    – BOPOH
    19 фев 2015 в 13:03
  • 1
    32 ядра??? ничего не путаешь? там всего их 6!
    – Artem
    19 фев 2015 в 13:14
  • ддос атака, смотри логи апача или нджинкса, они растут как на дрожжях, когда идет атака, ну и искореняй зло. ну и как вариант у тебя каждый запрос может писаться в БД.
    – Artem
    19 фев 2015 в 13:24
  • Спасибо, про логи как-то не подумал, сейчас проверю. -- Проверил. Логи хранятся в /var/log/mysqld.log. он весит 10k, а /var/log - 3.5m. -- Не верю, что база может вырасти на 100g за 20 минут. Я вот сейчас закрыл портал от мира и сам захожу в настройки друпала. База растет. Прибиваю httpd - база растет. Прибиваю mysqld - база не растет. -- >32 ядра??? ничего не путаешь? там всего их 6! Точно. Еще раз посмотрел: 24 ядра (4 проца, по всей видимости)
    – mega
    19 фев 2015 в 13:25
  • 1
    Очепятался: не база растет, используемый объем диска растет, конечно же: # df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/VolGroup-lv_root 98G 87G 6.1G 94% / tmpfs 15G 0 15G 0% /dev/shm /dev/xvda1 477M 68M 384M 15% /boot
    – mega
    19 фев 2015 в 14:21

1 ответ 1

1

Используй find, для поиска файлов, которые изменились или были созданы за искомое время и сделай на основании этого вывод, кто жрёт место.

Пример поиска изменённых файлов в течении последних 60 секунд:

find /path -type f -mtime -60s

Для поиска созданных, используй ключ ctime

3
  • @PazitiFF, вообще-то ctime, это не время создания файла, а время изменения его метаданных (той, что находится в inode -- пользователь, права доступа, размер файла и т.п. См. man stat)
    – avp
    21 фев 2015 в 20:11
  • Согласен про ctime, немного запамятствовал формулировку, но эта команда тоже верна, так как при создании файла, ему присваиваются метаданные, соответсвенно ctime так же найдёт созданные файлы. Прошу отписаться, если данный метод поможет решить проблему. 21 фев 2015 в 20:29
  • Насколько я сейчас понимаю ситуацию, это какой-то сбой FS. В windows все просто: своп лежит в pagefile.sys и его объем видно. Здесь же этого файла нет, или я чего-то недоглядел. Объем на своп просто вычитается "в уме". Т.е., пока я не сконфигурировал apache и mysql на разумные траты памяти, они уходили глубоко в своп. Как только выставил настройки - все устаканилось. Сегодня даже пару раз DDOSил портал (с ab), чтобы apache выделил побольше процессов, для нагрузки и процов и всей текущей памяти.
    – mega
    21 фев 2015 в 20:34

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.