Я работаю над парсером логов Apache. Парсинг выполняется скриптом на Python 3, размещенном в Django. Лог файл скачивается и парсится. Сейчас программа может сохранять распарсенные данные лога в моделях SQLite. Мне же надо сохранять в оперативной памяти, и потом делать статистику по параметрам записей. Я знаю, что Redis - это хранилище типа "ключ:значение". Как правильно писать данные в Redis, чтобы потом удобно было делать запросы для анализа по любому полю или по совокупности нескольких полей?
1 ответ
- Для парсинга логов джанго не нужен, можно просто запускать скрипт питон из консоли и парсить логи.
- Не понятно для чего хранить данные в оперативке, логи могут быть большими и оперативки не хватит
- В БД как раз удобно анализировать данные и соединять таблицы по разным полям, как вы будете это делать в редис я не знаю
-
Django, потому что такое задание; я предположил, что надо делать используя кэширование, потому что жалко SSD, кроме того скорость обработки не помешает. Я не в курсе пока какой стэк лучше использовать для этого задания. 9 апр 2018 в 19:00
-
Оперативка дороже ssd. Бери обычное дисковое пространство и сохраняй все в БД– inzem7710 апр 2018 в 17:16
-