0

N-грамма — это N соседних слов в одном предложении. 2-граммы называют биграммами. 3-граммы — триграммами.

Например, из текста: "She stood up. Then she left." можно выделить следующие биграммы "she stood", "stood up", "then she" и "she left", но не "up then". И две триграммы "she stood up" и "then she left", но не "stood up then".

По списку предложений нужно составить словарь самых частотных биграмм и триграмм. Это словарь, ключами которого являются все возможные начала биграмм и триграмм, а значениями — их самые частотные продолжения. Если есть несколько продолжений с одинаковой частотой, используйте то, которое лексикографически меньше.

Для лексикографического сравнения используйте встроенный в .NET способ сравнения Ordinal, например, с помощью метода string.CompareOrdinal.

Написал код

using System;
using System.Collections;
using System.Collections.Generic;
using System.Collections.Specialized;
using System.Linq;
using System.Runtime.CompilerServices;
using System.Security.Cryptography.X509Certificates;

namespace TextAnalysis
{
    static class FrequencyAnalysisTask
    {
        public static Dictionary<string, string> GetMostFrequentNextWords(List<List<string>> text)
        {
            var resultDictionary = new Dictionary<string, string>();

            resultDictionary = SortingNgram(GetTwogram(text));

            resultDictionary = resultDictionary.Union(SortingNgram(GetThreegram(text))).ToDictionary(x => x.Key, x => x.Value);

            return resultDictionary;
        }

        public static Dictionary<string, string> SortingNgram(Dictionary<string, int> sourceDictionary)
        {
            var result = new Dictionary<string, string>();
            var sortingDictionary = sourceDictionary.OrderByDescending(x => x.Value).ToDictionary(x => x.Key, x => x.Value);

            foreach (var value in sortingDictionary)
            {
                var index = 1;
                if (value.Key.Contains(":"))
                {
                    index = value.Key.IndexOf(":") + 1;
                    if (!result.ContainsKey(value.Key.Substring(0, index - 1)))
                        result.Add(value.Key.Substring(0, index - 1), value.Key.Substring(index));
                    else
                    {
                        var x = String.CompareOrdinal(value.Key.Substring(index), result[value.Key.Substring(0, index - 1)]);
                        if (x < 0)
                        {
                            result.Remove(value.Key.Substring(0, index - 1));
                            result.Add(value.Key.Substring(0, index - 1), value.Key.Substring(index));
                        }
                    }
                }
                else
                    continue;
            }
            return result;
        }

        public static Dictionary<string, int> GetTwogram(List<List<string>> text)
        {
            var result = new Dictionary<string, int>();
            for (var offerNumber = 0; offerNumber < text.Count; offerNumber++)
            {
                if (text[offerNumber].Count > 1)
                    for (int wordNumber = 0; wordNumber < text[offerNumber].Count - 1; wordNumber++)
                    {
                        if (result.ContainsKey(text[offerNumber][wordNumber] + ":" + text[offerNumber][wordNumber + 1]))
                            result[text[offerNumber][wordNumber] + ":" + text[offerNumber][wordNumber + 1]]++;
                        else
                            result.Add(text[offerNumber][wordNumber] + ":" + text[offerNumber][wordNumber + 1], 1);
                    }
            }
            return result;
        }

        public static Dictionary<string, int> GetThreegram(List<List<string>> text)
        {
            var result = new Dictionary<string, int>();
            for (var offerNumber = 0; offerNumber < text.Count; offerNumber++)
            {
                if (text[offerNumber].Count >= 3)
                    for (var wordNumber = 0; wordNumber < text[offerNumber].Count - 2; wordNumber++)
                    {
                        if (result.ContainsKey(text[offerNumber][wordNumber] + " " + text[offerNumber][wordNumber + 1] + ":" + text[offerNumber][wordNumber + 2]))
                            result[text[offerNumber][wordNumber] + " " + text[offerNumber][wordNumber + 1] + ":" + text[offerNumber][wordNumber + 2]]++;
                        else
                            result.Add(text[offerNumber][wordNumber] + " " + text[offerNumber][wordNumber + 1] + ":" + text[offerNumber][wordNumber + 2], 1);
                    }
            }
            return result;
        }
    }
}

Находит все биграммы, после чего сортирует их по частоте. Находит все триграммы, сортирует их по частоте, после соединятет 2 словаря в один. Тесты проходит, но на тесте из большого текстового файла выбивает ошибку.

Прошу помочь, в чем ошибка. Проект

исходный код класс - SentencesParserTask:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;

namespace TextAnalysis
{
    static class SentencesParserTask
    {
        public static List<List<string>> ParseSentences(string text)
        {
            text = text.ToLower();

            var sentencess = new List<List<string>>();
            var separator = new char[] { '.', '!', '?', ';', ':', '(', ')' };

            var sentences = text.Split(separator);

            foreach (var sentence in sentences)
            {
                var wordsList = GetWordsList(sentence);
                if (wordsList.Count > 0)
                    sentencess.Add(wordsList);
            }

            return sentencess;
        }

        private static List<string> GetWordsList(string sentence)
        {
            var wordsList = new List<String>();
            var stringBuild = new StringBuilder();

            foreach (var symbol in sentence)
                stringBuild.Append(Char.IsLetter(symbol) || symbol == '\'' ? symbol : ' ');

            var words = stringBuild.ToString().Split(' ').ToList();

            foreach (var word in words)
            {
                if (!string.IsNullOrWhiteSpace(word))
                    wordsList.Add(word);
            }

            return wordsList;
        }
    }
}
2
  • Если я правильно понял programm.cs, то нужен еще исходный код класс - SentencesParserTask. потому что он используется, перед вызовом финального теста FrequencyAnalysisTask с файлом. Опубликуйте его тоже. 16 дек 2022 в 16:18
  • Опубликовал FrequencyAnalysisTask
    – funny110
    16 дек 2022 в 17:00

1 ответ 1

1

Ошибка у вас, вероятно, в методе SortingNgram.

Смотрим по вашему коду и читаем мои комментарии:

public static Dictionary<string, string> SortingNgram(Dictionary<string, int> sourceDictionary)
{
    var result = new Dictionary<string, string>();
    // Вы сортируете N-граммы по убыванию частотности.
    // Ок, только как вы этим пользуетесь ниже в цикле?..
    var sortingDictionary = sourceDictionary.OrderByDescending(x => x.Value).ToDictionary(x => x.Key, x => x.Value);

    foreach (var value in sortingDictionary)
    {
        var index = 1;
        if (value.Key.Contains(":"))
        {
            index = value.Key.IndexOf(":") + 1;
            if (!result.ContainsKey(value.Key.Substring(0, index - 1)))
                result.Add(value.Key.Substring(0, index - 1), value.Key.Substring(index));
            else
            {
                // Здесь вы сравниваете, вдруг продолжение в value.Key "лучше" (т.е. лексикографически меньше), чем уже сохраненное в result.
                // Но ведь оно может быть менее частотным, а значит неподходящим. Вы это никак не проверяете.
                // Возвращаемся к первому моему комментарию и находим в нем окончательный смысл :)
                var x = String.CompareOrdinal(value.Key.Substring(index), result[value.Key.Substring(0, index - 1)]);
                if (x < 0)
                {
                    result.Remove(value.Key.Substring(0, index - 1));
                    result.Add(value.Key.Substring(0, index - 1), value.Key.Substring(index));
                }
            }
        }
        else
            continue;
    }
    return result;
}

Надеюсь, вы поняли в чем ошибка.

Исправить ее можно по-разному. Подумайте над тем, чтобы сохранять в промежуточном словаре не только N-граммы, но и частотность. В помощь объявление, например, Dictionary<string, Tuple<string, int>>. Или оставьте словарь как есть, но делайте отсечку текущих результатов, когда в цикле доходите до "новой" частотности.

Это вам пища для размышлений. Писать за вас исправленный код, разумеется, не буду. Вы всё-таки учитесь, судя по ссылке на ulearn :) Да и вопрос сформулирован как "в чем ошибка" ;)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.