1

Правильно ли такое оформление запроса? Выводит пустую таблицу при добавлении: HAVING datetime >= DATE_SUB(NOW(), INTERVAL 1 HOUR); Или подскажите как отобрать данные за последний час?

sql = """
SELECT STR_TO_DATE(CONCAT(date, time), '%d.%m.%Y%h:%i:%s') AS datetime,
    last,
    vol,
    oper
    FROM all_trades
    HAVING datetime >= DATE_SUB(NOW(), INTERVAL 1 HOUR);
"""

Пример данных до запроса:

             date      time    last  vol  oper
0      14.10.2019  10:48:03  132330    1     S
1      14.10.2019  10:00:00  132840   24     B
2      14.10.2019  10:48:03  132330    1     B
3      14.10.2019  10:00:00  132840    1     S
4      14.10.2019  10:00:00  132830    1     S

Пример данных после запроса:

                 datetime    last  vol  oper
0     2019-10-14 10:48:03  132330    1     S
1     2019-10-14 10:00:00  132840   24     B
2     2019-10-14 10:48:03  132330    1     B
3     2019-10-14 10:00:00  132840    1     S
4     2019-10-14 10:00:00  132830    1     S

DDL таблицы:

+-------+------------+------+-----+---------+-------+
| Field | Type       | Null | Key | Default | Extra |
+-------+------------+------+-----+---------+-------+
| date  | text       | YES  |     | NULL    |       |
| time  | text       | YES  |     | NULL    |       |
| last  | int(11)    | YES  |     | NULL    |       |
| vol   | int(11)    | YES  |     | NULL    |       |
| oper  | varchar(7) | YES  |     | NULL    |       |
+-------+------------+------+-----+---------+-------+

Полное оформление запроса:

connection = pymysql.connect(host='localhost', user='root', passwd='******', db='quotes')

sql = """
SELECT STR_TO_DATE(CONCAT(date, time), '%d.%m.%Y%h:%i:%s') AS datetime,
    last,
    vol,
    oper
    FROM all_trades
    HAVING datetime >= DATE_SUB(NOW(), INTERVAL 1 HOUR);
"""

df = pd.io.sql.read_sql(sql, connection)
connection.close()
1
  • Комментарии не предназначены для расширенной дискуссии; разговор перемещён в чат.
    – ЮрийСПб
    Commented 14 окт. 2019 в 16:46

1 ответ 1

1

Ваш запрос мягко говоря "не оптимален". Использую having, получается что базе данных приходится сначала преобразовать всю вашу таблицу к нужному виду, а потом уже отсекать лишние данные. Если таблица будет более менее большая, то ваш запрос начнет дико тормозить. Для оптимизации вашего запроса, для начала предлагаю отсечь всё по дате добавив:

WHERE DATE_FORMAT(NOW(), '%d.%m.%Y') = date

Это уже сильно снизит количество обрабатываемых данных.

А чтобы сделать отсчеку по времени, можно использовать сравнение строк:

and DATE_FORMAT(DATE_SUB(NOW(), INTERVAL 1 HOUR), '%H:%i:%s') < time

Только надо следить, чтобы данные в сравнении точно совпадали по формату.

Единственно, что в этом случае не будет работать переход на новую дату. Но и тут можно что-нибудь придумать не используя having.

6
  • Для оптимизации вашего запроса, для начала предлагаю отсечь всё по дате добавив На "переходе" даты даст ошибочный результат.
    – Akina
    Commented 14 окт. 2019 в 9:56
  • Да. Я об этом написал в последнем абзаце. Commented 14 окт. 2019 в 10:03
  • Дата всегда будет настоящий день. По этому не страшно с переходом. А вот данных около 200 000 строк за весь день
    – Tortuga
    Commented 14 окт. 2019 в 10:05
  • В таком случае, мой пример должен сработать хорошо. Но в целом соглашусь с @Akina, лучше пересмотреть структуру хранения и использовать datetime. Commented 14 окт. 2019 в 14:25
  • Каким образом добавить следующий запрос если ваш запрос будет первым на отсечение лишнего, а далее на преобразование данных?
    – Tortuga
    Commented 14 окт. 2019 в 17:13

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.