0

Разрабатываю текстовый поиск товаров по коллекции в памяти. Сам поиск не простой, учитывается множество вариантов написания. Есть возможность поиска нескольких товаров за раз, разделив их через запятую или другой разделитель. Поэтому, было решено распараллелить поиск при помощи Parallel.ForEach

Проблема заключается в том, что иногда результирующая коллекция возвращает дубликаты:

введите сюда описание изображения

При первом поиске после старта приложения всё норм (скриншот слева). После второго поиска вышли дубликаты (скриншот справа)

public partial class SearchEngine<T> 
{
    public List<T> OriginalCollection { get; set; }

    public List<T> SearchParallel(string searchText, SearchEngineOptions options)
    {
            if (string.IsNullOrEmpty(searchText?.Trim()))
                return OriginalCollection;

            //List<T> result = new List<T>();
            BlockingCollection<T> result = new BlockingCollection<T>();

            if (options == null)
            {
                options = new SearchEngineOptions()
                {
                    Separators = new List<char>() { ',', '\n' }
                };
            }

            //разделить строки для множественного поиска
             var splitText = searchText
                .Split(options.Separators.ToArray())
                .Where(w => !string.IsNullOrEmpty(w?.Trim()))
                .Distinct();

            //установка ограничения в 20 элементов за раз
            if (splitText.Length > 20)
                splitText = splitText
                    .Take(20)
                    .ToArray();

            if (splitText.Count() == 1)
            {
                return Search(searchText);
            }

            var parallelOptions = new ParallelOptions()
            {
               //MaxDegreeOfParallelism = 4
            };

            Parallel.ForEach(splitText, parallelOptions, (s) =>
            {
                var searchResult = Search(s);

                foreach (var item in searchResult)
                {
                    result.TryAdd(item);
                }
            });

            return result.ToList();
      }

      public List<T> Search(string searchText)
      {
         //поиск товаров
      }
}

Использую потокобезопасную коллекцию BlockingCollection, но увы не работает.

Платформа .NET 4.6.1

Какие еще нюансы нужно учитывать при параллельном поиске?

1
  • 1
    А почему виноват Parallel? Почему сразу не работает BlockingCollection? Search возвращает одинаковые результаты для разных запросов, нормальная ситуация, вот и весь ответ. Так что просто самостоятельно уберите дубликаты из коллекции Commented 21 июн. 2020 в 13:09

1 ответ 1

3

Использую потокобезопасную коллекцию BlockingCollection, но увы не работает. У вас не работает ваша логика в коде.

  1. Что за текст вы в него передаете?
  2. Что вы делаете внутри public List<T> Search(string searchText)?
  3. Зачем вам вообще BlockingCollection?
  4. Зачем тут Parallel.ForEach ?
  5. Что это и зачем тут это OriginalCollection ?

Ваш код можно переписать так

public partial class SearchEngine<T>
{
    public List<T> OriginalCollection { get; set; }

    public List<T> SearchParallel(string searchText, SearchEngineOptions options)
    {
        if (string.IsNullOrEmpty(searchText?.Trim()))
            return OriginalCollection;
        
        var splitText = SplitSearchText(searchText, options);
        
        return  splitText
                    .AsParallel()
                    // .WithDegreeOfParallelism(4)
                    .SelectMany(x=>Search(x))
                    .Distinct()
                    .ToList();  
    }
    
    IEnumerable<string> SplitSearchText(string searchText, SearchEngineOptions options)
    {
        //разделить строки для множественного поиска
        return searchText
           .Split(options.Separators.ToArray(), StringSplitOptions.RemoveEmptyEntries)
           .Where(w => !string.IsNullOrEmpty(w?.Trim()))
           .Distinct()
           .Take(20);   
    }

    public List<T> Search(string searchText)
    {
        //поиск товаров
    }
}
4
  • Спасибо за ответ.OriginalCollection - это ссылка на коллекцию, где хранятся уникальные товары. Пример,есть 3 "анаферона" с разной дозировкой, и 3 "кеппра" с разной дозировкой.Передаю я следующий текст "анаферон, кеппра" и иногда я получаю 6 анаферонов с дубликатами, но без кеппра, или наоборот. В какие-то моменты выводится нормально,3 анаферона, 3 кеппра.То есть товары дублируются не всегда.Если заменить Parallel.ForEach на обычный foreach - работает хорошо, дубликатов на выходе нет.Что посоветуете использовать вместо BlockingCollection?Я читал, что ConcurrentBag проседает в производительности Commented 21 июн. 2020 в 16:26
  • 1
    Что посоветуете использовать вместо BlockingCollection я же переписал ваш пример, это и посоветую. Ну и вы не показываете никакого кода для OriginalCollection, потому что у вас там не работает и почему можно только гадать.
    – tym32167
    Commented 21 июн. 2020 в 16:38
  • 1
    Всё, спасибо, Вы оказались правы. Результирующая коллекция была как свойство класса (чтобы можно было обратиться к последним результатам поиска, не осуществляя поиск повторно ) и оно постоянно перезаписывалось в методе Search, попросту забыл об этом. В следующий раз буду внимателен. Спасибо. Commented 21 июн. 2020 в 17:44
  • На здоровье! Рад, что у вас вс заработало.
    – tym32167
    Commented 21 июн. 2020 в 19:56

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.