0

Есть товар с sku 2065/3C, он находится запросом (см. файл request1). это обычный запрос, где мы видим, что 2065/3C присутствует в базе

но не находится таким запросом (см. файл request2)

Версии sphinx перебирал разные.

request1 https://www.dropbox.com/s/pzdcxjdhc3k16zi/request1.txt?dl=0

MySQL [(none)]> select sku from products where match ('@sku 2065\\\/') limit 1000;
+--------------+
| sku          |
+--------------+
| 2065/1A_     |
| 2065/3+3P_   |
| 2065/О.Т._   |
| 2065/К.Т._   |
| 2065/21+4    |
| 2065/30.M.L  |
| 2065/16+8    |
| 2065/28+8    |
| 2065/90TEK   |
| 2065/18+6    |
| 2065/12+6    |
| 2065/60ARM   |
| 2065/60TEK   |
| 2065/90ARM   |
| 2065/60ARM   |
| 2065/60TEK   |
| 2065/90ARM   |
| 2065/1LMB    |
| 2065/1ML     |
| 2065/1A      |
| 2065/1AB     |
| 2065/10+5    |
| 2065/12+4    |
| 2065/15+5    |
| 2065/18+5    |
| 2065/2ML     |
| 2065/2A      |
| 2065/2AB     |
| 2065/3+3     |
| 2065/4+2     |
| 2065/5+3     |
| 2065/6+3     |
| 2065/8+4     |
| 2065/9+3     |
| 2065/BKT     |
| 2065/BT      |
| 2065/BA      |
| 2065/OKT     |
| 2065/OT      |
| 2065/OA      |
| 2065/KKT     |
| 2065/KT      |
| 2065/KA      |
| 2065/3C      |
| 2065/4C      |
| 2065/5C      |
| 2065/1W      |
| 2065/2W      |
| 2065-PL      |
| 2065/BL      |
| 2065/DL      |
+--------------+
51 rows in set (0.00 sec)

request2 https://www.dropbox.com/s/4igt0raxneucjnc/request2.txt?dl=0

MySQL [(none)]> select sku from products where match ('@sku 2065\\/3') limit 1000;
+------------+
| sku        |
+------------+
| 2065/3+3P_ |
| 2065/3+3   |
| 2065/5+3   |
| 2065/6+3   |
| 2065/9+3   |
+------------+

Конфиг https://www.dropbox.com/s/tkiuqf5jm9dpgch/sphinx.conf?dl=0

index products
{
    type                = rt
    path                = /var/lib/sphinxsearch/data/products

    morphology          = stem_enru, lemmatize_ru

    rt_field            = name
    rt_field            = sku
    rt_field            = brand_sku
    rt_field            = code

    rt_attr_multi       = category_list
    rt_attr_uint        = primary_category
    rt_attr_uint        = base_product_id
    rt_attr_bool        = is_gift
    rt_attr_bool        = in_shop
    rt_attr_bool        = in_showroom
    rt_attr_bool        = fast_delivery
    rt_attr_bool        = free_delivery
    rt_attr_bool        = is_sale
    rt_attr_bool        = is_partner_only

    rt_attr_uint        = brand_id
    rt_attr_uint        = views
    rt_attr_uint        = brand_collection_id
    rt_attr_string      = brand_name
    rt_attr_string      = id1c
    rt_attr_string      = name
    rt_attr_string      = sku

    rt_attr_string      = brand_sku
    rt_attr_bool        = is_images
    rt_attr_bool        = is_enabled
    rt_attr_bool        = is_shipment_unavailable
    rt_attr_bool        = is_has_gift
    rt_attr_bool        = is_discontinued
    rt_attr_uint        = width
    rt_attr_uint        = height
    rt_attr_uint        = length
    rt_attr_uint        = weight
    rt_attr_multi       = attribute_values
    rt_attr_multi       = markers
    rt_attr_string      = stock_status

    rt_attr_timestamp   = created_at
    rt_attr_float       = price
    rt_attr_float       = old_price
    rt_attr_uint        = reviews_rating
    rt_attr_string      = condition

    min_prefix_len      = 3
    min_word_len        = 3

    index_exact_words   = 1
    expand_keywords     = 1
    html_strip          = 1

    dict                = keywords
}

indexer
{
    mem_limit       = 256M
}


searchd
{
    listen          = 9312
    listen          = 9306:mysql41
    log         = /var/log/sphinxsearch/searchd.log
    query_log       = /var/log/sphinxsearch/query.log
    read_timeout        = 5
    client_timeout      = 300
    max_children        = 30
    persistent_connections_limit    = 30
    pid_file        = /var/run/sphinxsearch/searchd.pid
    seamless_rotate     = 1
    preopen_indexes     = 1
    unlink_old      = 1
    mva_updates_pool    = 1M
    max_packet_size     = 8M
    max_filters     = 256
    max_filter_values   = 4096
    max_batch_queries   = 32
    workers         = threads # for RT to work
}

common
{
    lemmatizer_base = /usr/local/share/sphinx/dicts
}

Новый конфиг https://www.dropbox.com/s/xp48nnjvcc9p54u/config.txt?dl=0

index products
{
    type                = rt
    path                = /var/lib/manticore/data/products

    rt_field            = name
    rt_field            = sku
    rt_field            = brand_sku
    rt_field            = code

    rt_attr_multi       = category_list
    rt_attr_uint        = primary_category
    rt_attr_uint        = base_product_id
    rt_attr_bool        = is_gift
    rt_attr_bool        = in_shop
    rt_attr_bool        = in_showroom
    rt_attr_bool        = fast_delivery
    rt_attr_bool        = free_delivery
    rt_attr_bool        = is_sale
    rt_attr_bool        = is_partner_only

    rt_attr_uint        = brand_id
    rt_attr_uint        = views
    rt_attr_uint        = brand_collection_id
    rt_attr_string      = brand_name
    rt_attr_string      = id1c
    rt_attr_string      = name
    rt_attr_string      = sku

    rt_attr_string      = brand_sku
    rt_attr_bool        = is_images
    rt_attr_bool        = is_enabled
    rt_attr_bool        = is_shipment_unavailable
    rt_attr_bool        = is_has_gift
    rt_attr_bool        = is_discontinued
    rt_attr_uint        = width
    rt_attr_uint        = height
    rt_attr_uint        = length
    rt_attr_uint        = weight
    rt_attr_multi       = attribute_values
    rt_attr_multi       = markers
    rt_attr_string      = stock_status

    rt_attr_timestamp   = created_at
    rt_attr_float       = price
    rt_attr_float       = old_price
    rt_attr_uint        = reviews_rating
    rt_attr_string      = condition

    min_word_len        = 1

    index_exact_words   = 1
    expand_keywords     = 1

    dict                = keywords
    min_infix_len = 3
    #min_prefix_len    = 2
    enable_star       = 1
}


index productsstemmed : products
{
    path       = /var/lib/manticore/data/test1stemmed
    morphology = stem_en
}

indexer
{
    mem_limit = 256M
}

searchd
{
    listen                       = 9312
    listen                       = 9306:mysql41
    log                          = /var/log/manticore/searchd.log
    query_log                    = /var/log/manticore/query.log
    read_timeout                 = 5
    client_timeout               = 300
    max_children                 = 30
    persistent_connections_limit = 30
    pid_file                     = /var/run/manticore/searchd.pid
    seamless_rotate              = 1
    preopen_indexes              = 1
    unlink_old                   = 1
    mva_updates_pool             = 1M
    max_packet_size              = 8M
    max_filters                  = 256
    max_filter_values            = 4096
    max_batch_queries            = 32
}

common
{
    lemmatizer_base = /usr/local/share/sphinx/dicts
}


root@cs41156:~# dpkg --list | grep manticore
ii  manticore                           2.6.2-180223-0bbd194                                     amd64        Fast standalone full-text SQL search engine
8
  • Покажите конфиг sphinx что ли
    – andreymal
    6 мар 2018 в 15:23
  • @andreymal вот: конфиг 6 мар 2018 в 16:59
  • Похоже, что версия у вас все же старая. Вот это "morphology = stem_enru, lemmatize_ru" должно вызывать ошибку "stem_ru and lemmatize_ru clash - NOT SERVING" и такой индекс не должен обслуживаться. Это появилось в 2014-ом. У меня на manticore search 2.6.2 все ок и ищется по "2065" легко. 6 мар 2018 в 18:16
  • @andreymal отредачил изначальный вопрос, посмотрите пожалуйста. Поставил версию Manticore 2.6.2-180223-0bbd194 amd64 Fast standalone full-text SQL search engine, скормил такой конфиг Запрос 1 (см. выше в вопросе) находит, запрос 2 не находит... 6 мар 2018 в 21:33
  • @IgorKhrushchev покажите новый конфиг, пожалуйста и покажите как вы вставляете проблемный документ. У меня все равно все работает и request2 находит 2065/3C. 7 мар 2018 в 2:50

1 ответ 1

0

request2 ('@sku 2065\\/3') не находит документ потому, что min_infix_len в конфиге равно 3 и превышает длину второго слова ("3" - 1 символ). Про это есть соответствующий ворнинг:

mysql> select sku from products where match('@sku 2065\\/3');
Empty set, 1 warning (0.00 sec)

mysql> show warnings;
+---------+------+---------------------------------------------------------------+
| Level   | Code | Message                                                       |
+---------+------+---------------------------------------------------------------+
| warning | 1000 | Query word length is less than min infix length. word: '*3*'  |
+---------+------+---------------------------------------------------------------+
1 row in set (0.00 sec)

Если поменять min_infix_len на 1 и использовать звездочку, то документ находится:

mysql> insert into products values(1,'2065/3C','2065/3C');
Query OK, 1 row affected (0.00 sec)
mysql> select sku from products where match('@sku 2065\\/3*');
+---------+
| sku     |
+---------+
| 2065/3C |
+---------+
1 row in set (0.01 sec)

Без звездочки не работает, потому что минимальная допустимая длина инфикса сейчас 2, просто в данном случае поиск идет по префиксу, который при включении инфиксов тоже включается, но expand_keywords срабатывает только по инфиксу, поэтому нужно вручную добавлять звездочку. Как альтернатива можно отставить min_prefix_len = 1, тогда будет работать без звездочки:

mysql> insert into products values(1,'2065/3C','2065/3C');
Query OK, 1 row affected (0.00 sec)

mysql> select sku from products where match('2065\\/3');
+---------+
| sku     |
+---------+
| 2065/3C |
+---------+
1 row in set (0.00 sec)
5
  • Спасибо. Сделал, но не ищет и ворнингов нет. Переиндексацию товаров запускал - тоже не помогает ((( 7 мар 2018 в 11:01
  • @IgorKhrushchev покажите новый конфиг, пожалуйста 7 мар 2018 в 12:53
  • Простите, я могу написать вам куда-то для более оперативной связи? У нас тут вообще адский ступор (( Оплачу. 7 мар 2018 в 20:44
  • @IgorKhrushchev Конечно, у нас есть форум, слак и платный саппорт тоже - manticoresearch.com/#post-112 8 мар 2018 в 2:36
  • Проблема разрешилась добавлением в конфигурации параметра blend_chars со значениями спецсимволов. 8 мар 2018 в 11:09

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.