2

Есть задача подмены токенов в InfluxQL запросах. Синтаксис этих запросов определён расширенной формой Бэкуса — Наура. Какие в есть библиотеки для реализации этой грамматики, чтобы потом осуществить разбор InfluQL запроса, получить дерево токенов и подменить необходимые мне токены? В идеале бы ещё хотелось увидеть пример разбора какого-нибудь простейшего запроса.

1 ответ 1

2

Как обычно, удалось что-то нагуглить уже после того, как задал вопрос. Нашёл модуль parsimonious (более обширная документация есть на странице github проекта). Он, правда, малость кастрированный (только жадные квантификаторы), но работать уже можно. Пример урезанной грамматики для создания пользователя и удаления БД:

query               = statement ('; ' statement)*
statement           = create_user_stmt / drop_database_stmt
create_user_stmt    = 'CREATE USER ' user_name ' WITH PASSWORD ' password ' WITH ALL PRIVILEGES'?
drop_database_stmt  = 'DROP DATABASE ' db_name
user_name           = identifier ''
password            = string_lit ''
db_name             = identifier ''
identifier          = unquoted_identifier / quoted_identifier
string_lit          = "'" (letter / digit)* "'"
unquoted_identifier = letter (letter / digit)*
quoted_identifier   = '"' letter+ '"'
letter              = ascii_letter / '_'
digit               = ~'[0-9]'
ascii_letter        = ~'[a-z]'i


Пример разбора запроса и подмены токенов user_name, password и db_name:

from parsimonious.grammar import Grammar
from parsimonious.nodes import NodeVisitor, Node
from base64 import b64encode


class InfluxQLVisitor(NodeVisitor):
    def visit_user_name(self, node: Node, visited_children):
        return b64encode(node.text.encode()).decode()  # Вместо имени пользователя возвращаем base64 от него
    
    visit_password = visit_user_name  # То же самое для password
    
    visit_db_name = visit_user_name  # То же самое для db_name
    
    def generic_visit(self, node, visited_children):
        return ''.join(visited_children) or node.text  # Для неопределенных токенов возвращаем просто их текст


with open('influxql.grammar', 'r', encoding='utf-8') as fp:  # Считывание грамматики из файла
    influxql_grammar = Grammar(fp.read())  # Чтобы не заморачиваться с экранированием символов

# Запрос для разбора
query = """CREATE USER "jdoe" WITH PASSWORD '1337password' WITH ALL PRIVILEGES; DROP DATABASE my_secret_db"""

if __name__ == '__main__':
    tree = influxql_grammar.parse(query)  # Получение дерева разбора запроса
    
    visitor = InfluxQLVisitor()
    res = visitor.visit(tree)  # Обход дерева с заменой необходимых токенов
    print(res)

Столкнулся с тем, что парсер по умолчанию не различает контекста. Т.е., если убрать из определения токенов user_name, db_name и password пустую строку в конце, то после разбора эти токены будут являться токенами типа identifier и string_lit. Фикс такого кейса предложен на github.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.