0

Добрый день. На vps тестируется веб-скрейпер, пришло сообщение от хостера, что диск используется слишком интенсивно и могут заблокировать сервер.

График использования диска

Всего сервер имеет 512 МБ ОЗУ.

Данные парсер хранит в оперативной памяти - массив строк из ~20(на данный момент) тысяч элементов, каждая строка ~15 символов, т.е. всего 16*15*20 000 = ~4.8 МБайта. Также пишет логи на диск, за ~20 часов "исписал" ~14 МБайт.

Как понимаю: утечки памяти -> интенсивное использование свопа.

Смотрите процессы node и phantomjs столбец virt.

Процессы node и phantomjs столбец virt

Можно как-нибудь не останавливая процесс, уменьшить интенсивность использования диска?

6
  • 1
    Можете попробовать выключить своп.. Но нода скорее всего упадёт..
    – vp_arth
    4 ноя 2017 в 23:28
  • Вы излишне оптимистично оцениваете объём памяти под строки. Это вам не Си
    – Alexey Ten
    5 ноя 2017 в 10:02
  • Оу, там ещё и фантом? Покупайте больше памяти
    – Alexey Ten
    5 ноя 2017 в 10:05
  • @AlexeyTen в JS строки хранятся в формате UTF-16 - каждый символ по 16 бит 5 ноя 2017 в 10:21
  • Тогда вы умножаете что-то странное. 16 бит это два байта. Итого примерно 600Кб. Но вы почему-то не учитываете, что строки это не набор байт, а объекты. А также, что это наверное самое маленькое что у вас есть. Вы же скачиваете кучу информации и она тоже где-то должна храниться
    – Alexey Ten
    5 ноя 2017 в 10:28

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.