0

Доброго времени суток!

Появилась у меня потребность сделать смешанный тип поиска в режиме query_string. Чтобы обрабатывался, к примеру, вот такой поисковый запрос:

проснитесь и пойте "мистер фримен"

В этом случае ожидается, что фраза в кавычках преобразуется в токен с точно тем же содержимым, а остальные слова преобразуются в токен по общим правилам (опустится предлог в, т.к. он входит в список стоп-слов в русском языке, а слова проснитесь и пойте преобразуются в токены в соответствии с правилами русского языка). Ну и далее, поиск должен производиться по двум полям в документе (question и answer - см. ниже) и с использованием оператора AND. В данный момент все работает без кавычек, как и должно, однако если в запросе присутствует фраза в кавычках - запрос выполняется, будто этих кавычек нет вовсе (экранирование кавычек не влияет на результат в данном случае).
Ниже привожу свои настройки в виде словаря Python:

INDEX_SETTINGS = {
    "settings": {
        "analysis": {
            "filter": {
                "ru_stop": {
                    "type": "stop",
                    "stopwords": [],
                },
                "ru_stemmer": {
                    "type": "stemmer",
                    "language": "russian",
                },
            },
            "char_filter": {
                "e_char_filter": {
                    "type": "mapping",
                    "mappings": ["Ё => Е", "ё => е"],
                },
            },
            "analyzer": {
                "e_ru": {
                    "tokenizer": "standard",
                    "filter": [
                        "lowercase",
                        "ru_stop",
                        "ru_stemmer",
                    ],
                    "char_filter": ["e_char_filter"],
                },
                "q_analyzer": {
                    "tokenizer": "keyword",
                    "filter": [
                        "lowercase",
                    ],
                    "char_filter": ["e_char_filter"],
                }
            },
        },
    },
    "mappings": {
        "properties": {
            "realid": {
                "type": "integer",
            },
            "timestamp": {
                "type": "date",
                "format": "dd.MM.yyyy HH:mm:ss",
            },
            "scale": {
                "type": "float",
            },
            "question": {
                "type": "text",
                "analyzer": "e_ru",
                "search_analyzer": "e_ru",
                "search_quote_analyzer": "q_analyzer",
            },
            "answer": {
                "type": "text",
                "analyzer": "e_ru",
                "search_analyzer": "e_ru",
                "search_quote_analyzer": "q_analyzer",
            },
        },
    },
}

Список stopwords заполняется отдельно.
Далее структура самого запроса:

INDEX_SEARCH = {
    "from": 0,
    "size": 10,
    "query": {
        "function_score": {
            "query": {
                "query_string": {
                    "fields": ["question", "answer"],
                    "query": '',
                    "type": "cross_fields",
                    "default_operator": "and",
                    "analyzer": "e_ru",
                    "quote_analyzer": "q_analyzer",
                },
            },
            "functions": [{
                "field_value_factor": {
                  "field": "scale",
                  "factor": 1,
                  "missing": 1.0,
                },
            }],
        },
    },
    "sort": [],
    "highlight": {
        "pre_tags": ["<b>"],
        "post_tags": ["</b>"],
        "fields": {
            "question": {},
            "answer": {},
        },
    },
}

query и sort заполняются отдельно.

Что нужно сделать для корректного выполнения запроса, если он содержит данные в кавычках?

Заранее благодарен за ответ!

1 ответ 1

0

Проблем с маппингом я не вижу. У Вас, скорее всего, проблема с построением запроса.

GET name-of-index/_validate/query?explain=true
{
  "query": {
        "query_string": {
                "fields": ["question", "answer"],
                "query": "<your query>",
                "type": "cross_fields",
                "default_operator": "and",
                "analyzer": "e_ru",
                "quote_analyzer": "q_analyzer",
        },
  }
}

Этот запрос поможет нам увидеть, как Elasticsearch переводит запрос к Lucene виду. Для примера из официальной документации это будет выглядеть так:

GET my-index-000001/_validate/query?explain=true
{
   "query":{
      "query_string":{
         "query":"the also \"the quick brown fox\"",
         "default_operator": "and"
      }
   }
}
{
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "valid" : true,
  "explanations" : [
    {
      "index" : "my-index-000001",
      "valid" : true,
      "explanation" : """+title:also +title:"the quick brown fox""""
    }
  ]
}

Если мы видим, что есть скобки для +title:"the quick brown fox" — с запросом проблем нет и нужно копать маппинг. В противном случае есть проблемы либо с экранированием либо с чем-то подобным.

Добавьте ответ команды _validate, и мы продолжим поиск проблемы.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.