У меня есть текст он храниться в переменной fileContent:
created: 2003-09-22T19:01:14Z
Author: be590_guest
GUERRILLA WAR, COUNTERINSURGENCY, AND STATE
FORMATION IN OTTOMAN YEMEN
Если разделить его на слова с разделителем "пробел" и перевести в объект класса TextWord, а потом попробовать вывести содержимое, то можно увидеть такое:
TextWord[0]: created:
TextWord[1]: 2003-09-22T19:01:14Z
Author:
TextWord[2]: be590_guest
TextWord[3]:
GUERRILLA
TextWord[4]: WAR,
TextWord[5]: COUNTERINSURGENCY,
TextWord[6]: AND
TextWord[7]: STATE
TextWord[8]:
FORMATION
TextWord[9]: IN
TextWord[10]: OTTOMAN
TextWord[11]: YEMEN
После я создаю индекс по переменной fileContent:
//Создание индекса по данным из файла
public void createIndex(String content) throws IOException {
IndexWriterConfig indexWriterConfig = new IndexWriterConfig(new StandardAnalyzer());
try (IndexWriter writer = new IndexWriter(this.memoryIndex, indexWriterConfig)) {
Document doc = new Document();
FieldType type = new FieldType();
type.setStoreTermVectors(true);
type.setStoreTermVectorPositions(true);
type.setStoreTermVectorOffsets(true);
type.setStored(true);
type.setIndexOptions(IndexOptions.DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS);
Field fieldStore = new Field("tags", content, type); //В поле "tags" записываются данные из переменной content
doc.add(fieldStore);
writer.addDocument(doc);
}
catch(Exception e){
e.printStackTrace();
}
}
Для этого я использую new StandardAnalyzer().
После создания индекса, я хочу найти слово "state" в тексте fileContent, используя этот созданный индекс:
String query_pattern = "state"; //Что хочу найти в тексте
DirectoryReader reader = DirectoryReader.open(this.memoryIndex); //Взять индекс из памяти
IndexSearcher searcher = new IndexSearcher(reader); //Создать поисковик по индексу
//Поиск по одному слову
Query query = new QueryParser("tags", analyzer).parse(query_pattern.toLowerCase()); //Запрос на поиск слова по полю tags
TopDocs results = searcher.search(query, 1); //Результат поиска
for (ScoreDoc scoreDoc : results.scoreDocs) { //Если слово было найдено, то...
Fields termVs = reader.getTermVectors(scoreDoc.doc);
Terms f = termVs.terms("tags");
BytesRef ref = new BytesRef(query_pattern.toLowerCase()); //Шаблон в байтах для проверки
TermsEnum te = f.iterator();
PostingsEnum docsAndPosEnum = null;
if (te.seekExact(ref)) { //Если нашли такое слово из шалона, то...
//Узнать позицию и число повторений этого слова
docsAndPosEnum = te.postings(docsAndPosEnum, PostingsEnum.ALL);
int nextDoc = docsAndPosEnum.nextDoc();
assert nextDoc != DocIdSetIterator.NO_MORE_DOCS;
final int freg = docsAndPosEnum.freq();
final int pos = docsAndPosEnum.nextPosition();
final int o = docsAndPosEnum.startOffset();
System.out.println("Word: " + ref.utf8ToString());
System.out.println("[1] of [" + freg + "] Position: " + pos + ", startOffset: " + o + " length: " + ref.length + " Freg: " + freg);
if (freg > 1) { //Число повторений слова в тексте
int i = 2;
for (int iter = 1; iter <= freg - 1; iter++) {
final int posNext = docsAndPosEnum.nextPosition();
System.out.println("[" + i + "] of [" + freg + "] Possition: " + posNext);
i++;
}
}
}
}
Слово находиться и выводится его позиция:
Word: state
Position: 12
Я захожу в свой TextWord а там по позиции 12 нет такого слова, или нет такой позиции, тогда я вывожу все term из индекса и их позиции, ранжирую их порядку:
Fields termVs = reader.getTermVectors(scoreDoc.doc);
Terms f = termVs.terms("tags");
TermsEnum te = f.iterator();
PostingsEnum docsAndPosEnum = null;
BytesRef bytesRef;
while ((bytesRef = te.next()) != null) { //Пройтись по всем словам из индекса
docsAndPosEnum = te.postings(docsAndPosEnum, PostingsEnum.ALL);
int nextDoc = docsAndPosEnum.nextDoc();
assert nextDoc != DocIdSetIterator.NO_MORE_DOCS;
final int fr = docsAndPosEnum.freq();
final int pos = docsAndPosEnum.nextPosition();
final int o = docsAndPosEnum.startOffset();
System.out.println("Word: " + bytesRef.utf8ToString());
System.out.println("Position: " + pos + ", startOffset: " + o + " length: " + bytesRef.length + " Freg: " + fr);
sortIndexWord.put(bytesRef.utf8ToString(), pos);
if (fr > 1) {
for (int iter = 1; iter <= fr - 1; iter++) {
int posNext = docsAndPosEnum.nextPosition();
//System.out.println("Possition: " + posNext);
sortIndexWord.put(bytesRef.utf8ToString()+String.valueOf(iter), posNext);
}
}
}
И получаю такие данные:
IndexWord: [0]: created
IndexWord: [1]: 2003
IndexWord: [2]: 09
IndexWord: [3]: 22t19
IndexWord: [4]: 01
IndexWord: [5]: 14z
IndexWord: [6]: author
IndexWord: [7]: be590_guest
IndexWord: [8]: guerrilla
IndexWord: [9]: war
IndexWord: [10]: counterinsurgency
IndexWord: [12]: state
IndexWord: [13]: formation
IndexWord: [15]: ottoman
IndexWord: [16]: yemen
Видно, что он удалил слово And из 11 позиции и State стал 12, но если я просто попробую вывести токены, используя также как и при индексе new StandardAnalyzer():
public List<String> analyze(String text, Analyzer analyzer) throws IOException {
List<String> result = new ArrayList<String>();
TokenStream tokenStream = analyzer.tokenStream("tags", text);
CharTermAttribute attr = tokenStream.addAttribute(CharTermAttribute.class);
tokenStream.reset();
while (tokenStream.incrementToken()) {
result.add(attr.toString());
}
return result;
}
List<String> list = analyze(myContent, new StandardAnalyzer());
for(int ik = 0 ; ik <= list.size()-1; ik++){
System.out.println("ListWord["+ik+"]: "+list.get(ik));
}
То можно увидеть:
ListWord[0]: created
ListWord[1]: 2003
ListWord[2]: 09
ListWord[3]: 22t19
ListWord[4]: 01
ListWord[5]: 14z
ListWord[6]: author
ListWord[7]: be590_guest
ListWord[8]: guerrilla
ListWord[9]: war
ListWord[10]: counterinsurgency
ListWord[11]: state
ListWord[12]: formation
ListWord[13]: ottoman
ListWord[14]: yemen
Слово And опять было удалено, но при этом у меня все равно другие индексы и мне никак не угадать какие слова он удалил, а какие - нет.
Вопрос, вот в чем, как согласовать позицию слова из текста с позицией, которую выдает IndexWriter? Покажите как быть, заранее спасибо.