N-грамма — это N соседних слов в одном предложении. 2-граммы называют биграммами. 3-граммы — триграммами.
Например, из текста: "She stood up. Then she left." можно выделить следующие биграммы "she stood", "stood up", "then she" и "she left", но не "up then". И две триграммы "she stood up" и "then she left", но не "stood up then".
По списку предложений нужно составить словарь самых частотных биграмм и триграмм. Это словарь, ключами которого являются все возможные начала биграмм и триграмм, а значениями — их самые частотные продолжения. Если есть несколько продолжений с одинаковой частотой, используйте то, которое лексикографически меньше.
Для лексикографического сравнения используйте встроенный в .NET способ сравнения Ordinal, например, с помощью метода string.CompareOrdinal.
Написал код
using System;
using System.Collections;
using System.Collections.Generic;
using System.Collections.Specialized;
using System.Linq;
using System.Runtime.CompilerServices;
using System.Security.Cryptography.X509Certificates;
namespace TextAnalysis
{
static class FrequencyAnalysisTask
{
public static Dictionary<string, string> GetMostFrequentNextWords(List<List<string>> text)
{
var resultDictionary = new Dictionary<string, string>();
resultDictionary = SortingNgram(GetTwogram(text));
resultDictionary = resultDictionary.Union(SortingNgram(GetThreegram(text))).ToDictionary(x => x.Key, x => x.Value);
return resultDictionary;
}
public static Dictionary<string, string> SortingNgram(Dictionary<string, int> sourceDictionary)
{
var result = new Dictionary<string, string>();
var sortingDictionary = sourceDictionary.OrderByDescending(x => x.Value).ToDictionary(x => x.Key, x => x.Value);
foreach (var value in sortingDictionary)
{
var index = 1;
if (value.Key.Contains(":"))
{
index = value.Key.IndexOf(":") + 1;
if (!result.ContainsKey(value.Key.Substring(0, index - 1)))
result.Add(value.Key.Substring(0, index - 1), value.Key.Substring(index));
else
{
var x = String.CompareOrdinal(value.Key.Substring(index), result[value.Key.Substring(0, index - 1)]);
if (x < 0)
{
result.Remove(value.Key.Substring(0, index - 1));
result.Add(value.Key.Substring(0, index - 1), value.Key.Substring(index));
}
}
}
else
continue;
}
return result;
}
public static Dictionary<string, int> GetTwogram(List<List<string>> text)
{
var result = new Dictionary<string, int>();
for (var offerNumber = 0; offerNumber < text.Count; offerNumber++)
{
if (text[offerNumber].Count > 1)
for (int wordNumber = 0; wordNumber < text[offerNumber].Count - 1; wordNumber++)
{
if (result.ContainsKey(text[offerNumber][wordNumber] + ":" + text[offerNumber][wordNumber + 1]))
result[text[offerNumber][wordNumber] + ":" + text[offerNumber][wordNumber + 1]]++;
else
result.Add(text[offerNumber][wordNumber] + ":" + text[offerNumber][wordNumber + 1], 1);
}
}
return result;
}
public static Dictionary<string, int> GetThreegram(List<List<string>> text)
{
var result = new Dictionary<string, int>();
for (var offerNumber = 0; offerNumber < text.Count; offerNumber++)
{
if (text[offerNumber].Count >= 3)
for (var wordNumber = 0; wordNumber < text[offerNumber].Count - 2; wordNumber++)
{
if (result.ContainsKey(text[offerNumber][wordNumber] + " " + text[offerNumber][wordNumber + 1] + ":" + text[offerNumber][wordNumber + 2]))
result[text[offerNumber][wordNumber] + " " + text[offerNumber][wordNumber + 1] + ":" + text[offerNumber][wordNumber + 2]]++;
else
result.Add(text[offerNumber][wordNumber] + " " + text[offerNumber][wordNumber + 1] + ":" + text[offerNumber][wordNumber + 2], 1);
}
}
return result;
}
}
}
Находит все биграммы, после чего сортирует их по частоте. Находит все триграммы, сортирует их по частоте, после соединятет 2 словаря в один. Тесты проходит, но на тесте из большого текстового файла выбивает ошибку.
Прошу помочь, в чем ошибка. Проект
исходный код класс - SentencesParserTask:
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
namespace TextAnalysis
{
static class SentencesParserTask
{
public static List<List<string>> ParseSentences(string text)
{
text = text.ToLower();
var sentencess = new List<List<string>>();
var separator = new char[] { '.', '!', '?', ';', ':', '(', ')' };
var sentences = text.Split(separator);
foreach (var sentence in sentences)
{
var wordsList = GetWordsList(sentence);
if (wordsList.Count > 0)
sentencess.Add(wordsList);
}
return sentencess;
}
private static List<string> GetWordsList(string sentence)
{
var wordsList = new List<String>();
var stringBuild = new StringBuilder();
foreach (var symbol in sentence)
stringBuild.Append(Char.IsLetter(symbol) || symbol == '\'' ? symbol : ' ');
var words = stringBuild.ToString().Split(' ').ToList();
foreach (var word in words)
{
if (!string.IsNullOrWhiteSpace(word))
wordsList.Add(word);
}
return wordsList;
}
}
}