0

Есть слайс, содержащий большое количество элементов, допустим 100000. Мне необходимо написать функцию, которая умножит каждый элемент данного слайcа на 2. Я хочу, чтобы эта функция работала конкурентно и имела выигрыш в скорости по сравнению с функцией, делающей тоже самое последовательно.

Последовательная функция:

func doubleSlice(s []int) {
    for i := range s {
        s[i] = s[i] * 2
    }
}

Конкурентный вариант:

func concurentDoubleSlice(s []int) {
    var wg sync.WaitGroup
    for i := range s {
        wg.Add(1)
        go func(i int) {
            defer wg.Done()
            s[i] = s[i] * 2
        }(i)
    }
    wg.Wait()
}

Я прочтал, что данный вариант будет замедлять программу из-за большого количество вызываемых горутин и сборщика мусора. Также я прочитал, что данная проблема может быть решена с помощью буферизированного канала, но реализовать его и получить выигрышь в скорости мне не удоалось.

Как я могу ускорить процесс умножения элементов слайса, с помощью конкурентности?

1
  • Вам надо разделить слайс на какое-то разумное число частей (скажем, на 20) и каждую из частей обработать в отдельной go-рутине.
    – zed
    1 мар 2020 в 17:48

1 ответ 1

0

Попробуйте разбить массив не на 100000 частей (как это сейчас сделано с точностью до элемента), а две, три или десять:

0 - 9999, 10000 - 19999 и т.д.

и каждую часть обработайте отдельной гороутиной. Достаточно выделить непересекающиеся диапазоны индексов в массиве.

UPD:

package main

import (
    "fmt"
    "runtime"
    "runtime/debug"
    "sync"
    "time"
)

const size = 100000000

func main() {

    for i := 20; i > 0; i-- {

        debug.SetGCPercent(-1)

        src := make([]int, size)

        for idx := range src {
            src[idx] = 42
        }

        fmt.Println("до    ", src[:4], src[size-4:])
        t1 := time.Now()
        multiply2(src, i)
        dur := time.Since(t1)
        fmt.Println("после ", src[:4], src[size-4:])
        fmt.Printf("число гороутин: %d, время: %s\n", i, dur)
        fmt.Println()

        runtime.GC()

    }
}

func multiply2(src []int, workers int) {

    if workers <= 0 {
        return
    }
    wg := new(sync.WaitGroup)

    last := 0

    for i := 0; i < workers; i++ {

        idx1 := len(src) / workers * i
        idx2 := len(src) / workers * (i + 1)
        last = idx2

        wg.Add(1)
        go func(idx1, idx2 int) {
            defer wg.Done()
            for idx := idx1; idx < idx2; idx++ {
                src[idx] = src[idx] * 2
            }
        }(idx1, idx2)

    }

    if last < len(src)-1 {
        idx1 := last
        idx2 := len(src)
        wg.Add(1)
        go func(idx1, idx2 int) {
            defer wg.Done()
            for idx := idx1; idx < idx2; idx++ {
                src[idx] = src[idx] * 2
            }
        }(idx1, idx2)
    }

    wg.Wait()

}
3
  • Спасибо за ответ. Я написал таким образом 2 программы и получил выигрышь в 300 микро секунд. на 1000000000 элементах. У моего процессора имеется 8 ядер. Разве такая прибавка к скорости не является минимальной? Более того, я использовал данный код в более большой программе - основной целью было улучшить ее производительность и там я проивзодительность потерял на 3-4 секнуды. Какой наилучший способ реализовывать метод, который вы описали? Я пользовался каналами. Это верный подход? 1 мар 2020 в 18:53
  • Думаю при таких размерах слайса тормоза могут возникать по совершенно другим причинам, например 1000000000 int32 это примерно 4GB? Возможно он даже не целиком помещается в оперативную память. Добавил код как бы я сделал. Просто дал разным гороутинам доступ к разным частям слайса и дождался выполнения всех. Оптимальное количество зависит от железа. У меня выполнение в одном потоке стабильно дает самый медленный результат, примерно на 30%. От 2 до 20 потоков время выполнения скачет но принципиально не меняется.
    – Mark
    1 мар 2020 в 19:46
  • На этом примере я и правда получаю выигрышь. Но я решил воспользоваться данным подходом в своей основной задаче и я получаю сильный провал в скорости. dropmefiles.com/n5rJT. Я выложил 2 файла сюда, они в формате .html. Эти два файла отличаются тем, что в файле gocode.html я попробывал реализовать ваш метод. Я сделал это в 2 местах. 1) после комментария "//деление эелементов текущей строки..." 2) после комментария "//вычитание текущей сктроки из.." после добавленя конкурентности в пункт 1 я получаю несильный провал в скорости, но он есть. Во втором пункте провал в 3-4 секунды 1 мар 2020 в 20:53

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.