0

Я работаю над парсером логов Apache. Парсинг выполняется скриптом на Python 3, размещенном в Django. Лог файл скачивается и парсится. Сейчас программа может сохранять распарсенные данные лога в моделях SQLite. Мне же надо сохранять в оперативной памяти, и потом делать статистику по параметрам записей. Я знаю, что Redis - это хранилище типа "ключ:значение". Как правильно писать данные в Redis, чтобы потом удобно было делать запросы для анализа по любому полю или по совокупности нескольких полей?

1 ответ 1

0
  • Для парсинга логов джанго не нужен, можно просто запускать скрипт питон из консоли и парсить логи.
  • Не понятно для чего хранить данные в оперативке, логи могут быть большими и оперативки не хватит
  • В БД как раз удобно анализировать данные и соединять таблицы по разным полям, как вы будете это делать в редис я не знаю
3
  • Django, потому что такое задание; я предположил, что надо делать используя кэширование, потому что жалко SSD, кроме того скорость обработки не помешает. Я не в курсе пока какой стэк лучше использовать для этого задания.
    – Elefanobi
    9 апр 2018 в 19:00
  • Оперативка дороже ssd. Бери обычное дисковое пространство и сохраняй все в БД
    – inzem77
    10 апр 2018 в 17:16
  • я так и сделал.
    – Elefanobi
    12 апр 2018 в 10:49

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.