2

Я хотел бы реализовать поиск на своем сайте. Есть некоторый массив данных data, и сейчас поиск выглядит как-то так:

data.filter(it => JSON.stringify(it).includes(<search_string>));

Поиск хоть выглядит как костыль, но он работает. При условии, что слова вводятся в форме, в которой они хранятся в массиве. То есть, если слово зеленый есть в массиве, а поиск идёт по слову зеленая, в выборку с результатом запись не попадает. А хотелось бы.

Подскажите, пожалуйста, как можно этого добиться?

2 ответа 2

2

Попробуйте пакет natural. Его функциональность, возможно, будет избыточна для такого поиска, но там есть стемминг русского языка

import natural from 'natural';
data.filter(it => natural.PorterStemmerRu.stem(JSON.stringify(it)).includes(natural.PorterStemmerRu.stem(<search_string>)));
1

Пару лет назад для себя я сделал оптимизированную реализацию стеммера Портера.

Изначальная реализация на JAVA выглядит так:

import java.util.regex.Matcher;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Porter {

    private static final Pattern PERFECTIVEGROUND = Pattern.compile("((ив|ивши|ившись|ыв|ывши|ывшись)|((?&lt;=[ая])(в|вши|вшись)))$");

    private static final Pattern REFLEXIVE = Pattern.compile("(с[яь])$");

    private static final Pattern ADJECTIVE = Pattern.compile("(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$");

    private static final Pattern PARTICIPLE = Pattern.compile("((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$");

    private static final Pattern VERB = Pattern.compile("((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|ило|ыло|ено|ят|ует|уют|ит|ыт|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$");

    private static final Pattern NOUN = Pattern.compile("(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|ям|ием|ем|ам|ом|о|у|ах|иях|ях|ы|ь|ию|ью|ю|ия|ья|я)$");

    private static final Pattern RVRE = Pattern.compile("^(.*?[аеиоуыэюя])(.*)$");

    private static final Pattern DERIVATIONAL = Pattern.compile(".*[^аеиоуыэюя]+[аеиоуыэюя].*ость?$");

    private static final Pattern DER = Pattern.compile("ость?$");

    private static final Pattern SUPERLATIVE = Pattern.compile("(ейше|ейш)$");

    private static final Pattern I = Pattern.compile("и$");
    private static final Pattern P = Pattern.compile("ь$");
    private static final Pattern NN = Pattern.compile("нн$");

    public String stem(String word) {
        word = word.toLowerCase();
        word = word.replace('ё', 'е');
        Matcher m = RVRE.matcher(word);
        if (m.matches()) {
            String pre = m.group(1);
            String rv = m.group(2);
            String temp = PERFECTIVEGROUND.matcher(rv).replaceFirst("");
            if (temp.equals(rv)) {
                rv = REFLEXIVE.matcher(rv).replaceFirst("");
                temp = ADJECTIVE.matcher(rv).replaceFirst("");
                if (!temp.equals(rv)) {
                    rv = temp;
                    rv = PARTICIPLE.matcher(rv).replaceFirst("");
                } else {
                    temp = VERB.matcher(rv).replaceFirst("");
                    if (temp.equals(rv)) {
                        rv = NOUN.matcher(rv).replaceFirst("");
                    } else {
                        rv = temp;
                    }
                }

            } else {
                rv = temp;
            }

            rv = I.matcher(rv).replaceFirst("");

            if (DERIVATIONAL.matcher(rv).matches()) {
                rv = DER.matcher(rv).replaceFirst("");
            }

            temp = P.matcher(rv).replaceFirst("");
            if (temp.equals(rv)) {
                rv = SUPERLATIVE.matcher(rv).replaceFirst("");
                rv = NN.matcher(rv).replaceFirst("н");
            }else{
                rv = temp;
            }
            word = pre + rv;

        }

        return word;
    }

}

Я переписал код на JavaScript:

class PorterRu {

  static get defaults(){
    return {
      perfectiveground: /((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/,

      reflexive: /(с[яь])$/,

      adjective: /(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$/,

      participle: /((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$/,

      verb: /((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|ило|ыло|ено|ят|ует|уют|ит|ыт|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$/,

      noun: /(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|ям|ием|ем|ам|ом|о|у|ах|иях|ях|ы|ь|ию|ью|ю|ия|ья|я)$/,

      rvre: /^(.*?[аеиоуыэюя])(.*)$/,

      derivational: /.*[^аеиоуыэюя]+[аеиоуыэюя].*ость?$/,

      der: /ость?$/,

      superlative: /(ейше|ейш)$/,

      и: /и$/,
      ь: /ь$/,
      нн: /нн$/,
    }
  }
  
  constructor(props){
    Object.assign(this, PorterRu.defaults, props);
  }
  
  stem(word) {
    let m, pre, rv, temp;
      word = word.toLowerCase().replace(/ё/g, 'е');
      if (m = word.match(this.rvre)) {
        pre = m[1];
        rv = m[2];
        temp = rv.replace(this.perfectiveground,'');
        if (temp==rv) {
          rv = rv.replace(this.reflexive,"");
          temp = rv.replace(this.adjective,"");
          if (temp!=rv) {
            rv = temp;
            rv = rv.replace(this.participle,"");
          } else {
            temp = rv.replace(this.verb,"");
            if (temp==rv) {
              rv = rv.replace(this.noun,"");
            } else {
              rv = temp;
            }
          }
        } else {
          rv = temp;
        }
        rv = rv.replace(this.и,"");
        if (this.derivational.test(rv)) {
          rv = rv.replace(this.der,"");
        }
        rv = ((temp = rv.replace(this.ь,""))!=rv) ? 
            temp : rv.replace(this.superlative,'').replace(this.нн,"н");
        word = pre + rv;
      }
    return word;
  }
}

Но потом я провел много бенчмарков и дооптимизировал функцию до такого вида:

function stem(w) {
  let p,r,t;
  return !([,p,r]=(w=w.toLowerCase().replace(/ё/g,'е')).match(/^(.*?[аеиоуыэюя])(.*)$/)||"")?w:(r=((t=r.replace(/((ив|ивши|ившись|ыв|ывши|ывшись)|((?<=[ая])(в|вши|вшись)))$/,''))==r)?(((r=r.replace(/(с[яь])$/,""))!=(t=r.replace(/(ее|ие|ые|ое|ими|ыми|ей|ий|ый|ой|ем|им|ым|ом|его|ого|ему|ому|их|ых|ую|юю|ая|яя|ою|ею)$/,"")))?t.replace(/((ивш|ывш|ующ)|((?<=[ая])(ем|нн|вш|ющ|щ)))$/,""):((t=r.replace(/((ила|ыла|ена|ейте|уйте|ите|или|ыли|ей|уй|ил|ыл|им|ым|ен|ило|ыло|ено|ят|ует|уют|ит|ыт|ены|ить|ыть|ишь|ую|ю)|((?<=[ая])(ла|на|ете|йте|ли|й|л|ем|н|ло|но|ет|ют|ны|ть|ешь|нно)))$/,""))!=r)?t:r.replace(/(а|ев|ов|ие|ье|е|иями|ями|ами|еи|ии|и|ией|ей|ой|ий|й|иям|ям|ием|ем|ам|ом|о|у|ах|иях|ях|ы|ь|ию|ью|ю|ия|ья|я)$/,"")):t ,p+(((t=(r=(/.*[^аеиоуыэюя]+[аеиоуыэюя].*ость?$/.test(r=r.replace(/и$/,"")))?r.replace(/ость?$/,""):r).replace(/ь$/,""))!=r)?t:r.replace(/(ейше|ейш)$/,'').replace(/нн$/,"н")))
}

Версия конечно отдаёт немного минимализмом, работает в стиле BlackBox (лучше не менять ничего внутри). Но, хоть код и неподдерживаемый, за последние 25 лет в алгоритме стеммера Портера никто не поменял ни буквы. При этом, в таком виде код работает на 15-25% быстрее и теперь реализация занимает чуть больше 1кб.

7
  • Большое спасибо за ответ. Но использование минифицированного кода в dev сборках является не самой хорошей практикой. Вы бы не могли приложить тот же самый код, но до минификации?
    – Yoskutik
    8 мар 2021 в 5:53
  • @Yoskutik Так я его и изначально написал выше, даже на двух языках :)
    – DiD
    8 мар 2021 в 15:29
  • @Yoskutik Пользоваться этим классом очень легко: инициализация const pr = new PorterRu(); и уже в циклах pr.stem(data[i]) == pr.stem(searchQuery[j]);
    – DiD
    8 мар 2021 в 15:33
  • Извиняюсь. Просто предложение было сформулировано так, будто помимо минификации были ещё какие-то доработки
    – Yoskutik
    8 мар 2021 в 17:12
  • да не, алгоритмы Портера менять не вижу смысла, код проходит те же тесты, что по почти дословному алгоритму стеммера Портера. А так, я просто не вижу смысла плодить зависимостей. Он довольно прост, можно использовать отдельно.
    – DiD
    9 мар 2021 в 4:23

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.