56

Что такое сопрограммы и зачем они нужны?

0

3 ответа 3

91
+50

Сопрограммы (корутины, coroutine) - это потоки исполнения кода, которые организуются поверх аппаратных (системных) потоков.
Поток исполнения кода - это последовательность операций, которые выполняются друг за другом. В нужные моменты эта последовательность может быть приостановлена, и вместо нее может начать выполняться часть другой последовательности операций.

Системные потоки состоят из инструкций процессора, и на одном ядре процессора могут по очереди работать несколько системных потоков.
Сопрограммы работают на более высоком уровне - несколько сопрограмм могут по очереди выполнять свой код на одном системном потоке. (В зависимости от реализации, сопрограмма может быть не привязана к конкретному системному потоку, а например выполнять свой код на пуле потоков).

В отличие от системных потоков, которые переключаются системой в произвольные моменты времени (вытесняющая многозадачность), сопрограммы переключаются вручную, в местах, указанных программистом (кооперативная многозадачность).

Обозначим операции над сопрограммой следующим образом:

  • handle = spawn(СП); - запуск сопрограммы,
  • yield; - приостановка текущей сопрограммы,
  • resume(handle); - возобновление сопрограммы.

Возьмем две сопрограммы:

// СП1      |  // СП2
{           |  {
  f1();     |     g1();
  f2();     |     yield;
  yield;    |     g2();
  f3();     |     g3();
  f4();     |     yield;
  yield;    |     g4();
  f5();     |     g5();
}           |  }

Тогда, если на одном системном потоке запустить СП1, а затем СП2, то системный поток выполнит операции в следующем детерминированном порядке:

// Системный поток  |  Выполняемый код
c1 = spawn(СП1);    |  f1();
                    |  f2();
c2 = spawn(СП2);    |       g1();
resume(c1);         |  f3();
                    |  f4(); 
resume(c2);         |       g2();
                    |       g3();
resume(c1);         |  f5();
resume(c2);         |       g4();
                    |       g5();

Так как обе сопрограммы выполняются на одном системном потоке, то в них невозможны гонки данных, код между yield выполняется атомарно (в пределах этого системного потока).

Если же запустить каждую сопрограмму в отдельном системном потоке, то тогда они ничем не будут отличаться от обычных системных потоков - будут переключаться там, где скажет система, необходима синхронизация, чтобы не было гонок данных.

Асинхронные операции

Один из основных сценариев применения сопрограмм - это асинхронные операции, такие как ввод-вывод и анимации в UI. После начала асинхронной операции, сопрограмма может сделать yield и продолжиться уже после завершения этой операции. При этом системный поток, на котором она выполнялась, не засыпает вместе с сопрограммой, а остается свободен для других сопрограмм.

Традиционный асинхронный код подразумевает использование коллбеков, как параметров функции, так и вместе с future/promise:

async_write(buffer, callback);
-- или --
async_write(buffer).then(callback);

Где callback - это функция, которая будет вызвана после окончания асинхронной записи. В качестве коллбека можно использовать лямбда-функцию, например, в синтаксисе С++:

async_write(buffer, [=]{ on_write_completed(); });

Введем операцию handle = get_coroutine_handle();, которая будет выдавать хендл (контекст) сопрограммы в коде самой сопрограммы.
Тогда внутри сопрограммы можно написать:

handle = get_coroutine_handle();
async_write(buffer, [=]{ resume(handle); });
yield;

Для удобства, во многих языках используют оператор await, который сокращает этот код до

await async_write(buffer);

Более подробный пример:

// Использование коллбеков              |  // Использование сопрограмм
                                        |  
Socket src, dst;                        |  void copy(Socket src, Socket dst) {
byte buffer[1024];                      |    byte buffer[1024];
void copy() {                           |    for (;;) {
  async_read(src, buffer, on_read);     |      int n = await async_read(src, buffer);
}                                       |      if (n <= 0) return;
void on_read(int n) {                   |      await async_write(dst, buffer, n);
  if (n <= 0) return;                   |    }
  async_write(dst, buffer, n, copy);    |  }
}                                       |

Генераторы

Другой сценарий использования сопрограмм - это "генераторы", сопрограммы, которые генерируют последовательности однотипных объектов, например, последовательности чисел:

generator<int> fib() {
  int a = 0, b = 1;
  for (;;) {
    yield a;
    a = a + b;
    yield b;
    b = a + b;
  }
}

int main() {
  generator<int> g = fib();
  // печатаем первые 5
  for (int i = 0; i != 5; ++i) {
    g.next();
    print(g.value());
  }
}

Здесь yield кроме остановки генератора также принимает значения, которые выдаются генератором.

Stackful реализации сопрограмм

Как следует из названия, stackful (стековые) сопрограммы - это сопрограммы, у которых есть свой стек, как и у системных потоков. Основное отличие таких сопрограмм от обычных системных потоков - это то, что они переключаются вручную. По сравнению со скоростью переключения системных потоков, переключение сопрограмм практически бесплатно (сотни тактов процессора). Однако, из-за того что для каждой сопрограммы надо выделять отдельный стек и прочие служебные структуры данных - их создание и существование не дешевле, чем создание системного потока.

В Windows stackful сопрограммы встроены в систему и называются Fibers (фиберы, волокна). Волокна привязаны к тому системному потоку, на котором они созданы, переключение (yield/resume) реализуется через функцию SwitchToFiber(fiber_handle).

Запуск stackful сопрограммы ничем не отличается от запуска обычного потока, и может выглядеть, например, так:

handle = SpawnCoroutine(CoroutineFunc, STACK_SIZE);

Наличие собственного стека позволяет делать yield из вложенных вызовов функций.
Однако, т.к. stackful сопрограммы довольно дороги, их нельзя использовать для создания простых генераторов.

Stackless реализации сопрограмм

Stackless (безстековые) сопрограммы никак не зависят от операционной системы, и реализуются исключительно средствами компилятора: код сопрограммы переписывается в объект-конечный автомат, локальные переменные выделяются не на стеке, а становятся членами этого объекта.

// сопрограмма          |  // код, генерируемый компилятором
generator<int> fib() {  |  struct __fib {
  int a = 0, b = 1;     |    int a, b;
  for (;;) {            |    int __result;
    yield a;            |    int __state = 0;
    a = a + b;          |    void next() {
    yield b;            |      for (;;) switch (__state) {
    b = a + b;          |      case 0: a = 0;
  }                     |              b = 1;
}                       |      case 3: __result = a;
                        |              __state = 1;
                        |              return;
                        |      case 1: a = a + b;
                        |              __result = b;
                        |              __state = 2;
                        |              return;
                        |      case 2: b = a + b;
                        |              __state = 3;
                        |              break;  // loop
                        |      }
                        |    }
                        |    int value() { return __result; }
                        |  };
                        |  generator<int> fib() {
                        |    return __fib();
                        |  }

В отличие от stackful сопрограмм, в сопрограмме без стека yield может быть только в ее теле. Нельзя сделать yield из функции, вызванной сопрограммой.

Создание безстековой сопрограммы - это создание объекта, хранящего ее состояние (__fib), и обычно выглядит как вызов функции:

generator<int> gen = fib();
gen.next();
int val = gen.value();
8
  • 2
    Не могу согласиться к формулировкой. Сопроцедуры могут не иметь отношения к потокам, тем более к аппаратным(они то тут причём?). К примеру, в windows есть fibers, которые параллельны threads, а не базируются на оных.
    – ixSci
    22 фев 2016 в 16:57
  • 2
    Нет такого понятия «аппаратный поток»(некоторые так называют hyperthreading потоки), но нет общепринятого термина. Кроме того, потоки(threads) распределяются диспетчером, fibers работают независимо от диспетчера, поэтому это совершенно другая сущность. То, что ID есть у потока — просто потому, что в ОС всё работает в каком-то потоке, но логически это паралелльная сущность.
    – ixSci
    22 фев 2016 в 17:55
  • 2
    Я к чему про это различие говорю: в общем случае, сопрограмма не зависит от наличия потоков, а то, что все ОС реализуются через потоки это лишь деталь реализации, не более того.
    – ixSci
    22 фев 2016 в 18:00
  • Откровенно говоря, из этого описания совершенно не понял, как работает copy из coroutines. Наверное надо подоходчивей объяснить как сопрограммы порождаются и запускаются из вызывающей функции (кстати, их в текущем потоке управления м.б. только две?) и какая магия инициализирует n (я вижу присваивание по вызову callback-а)
    – avp
    24 фев 2016 в 10:48
  • В C# это реализовано нативно, прямо в языке. Неужели и в C++ появятся сопрограммы + async/await?
    – VladD
    24 фев 2016 в 19:47
1

Если не выходить за рамки POSIX, то можно реализовать корутины на C/C++ на базе функций переключения контекста: getcontext, setcontext, swapcontext. При должной аккуратности можно реализовать корутины, которые могут начаться в одном потоке, а завершиться в другом.

1

корутины, асинки и прочий хлам, это метод разработки при котором удаётся избавится от генерации нитей и процессов (во избежания всяческих переключений и инициализаций), сохраняя псевдопараллельное исполнение кода. В основе лежит сискол select/poll поверх которого наворочены тонны сахарных дебрей, которые исполняют тот же самый код в одном потоке играя на операциях IO для переключения между так называемыми корутинами (тобишь обычные функции). Такие дела ;)

5
  • Существуют операционные системы кроме линукса.
    – VladD
    12 июл 2017 в 16:15
  • В которых нет селекта что ли?) В любой из распространённых есть такой механизм
    – Anatoly Y.
    14 июл 2017 в 5:37
  • 4
    Во-первых, есть разница между селектом и «аналогичными механизмами в других ОС», вы не говорите об этом ни слова, и читателям вашего ответа приходится догадываться. Во-вторых, смысл корутин и асинков — не синтаксический сахар над селектом, а привнесение в язык семантики, очень сложно выражаемой традиционными сишными средствами. Асинки — настолько же сахар над поллом, как исключения — сахар над goto.
    – VladD
    14 июл 2017 в 8:10
  • Да, вот только корутины как раз и выражены традицонными сишными средствами в итоге ;) Писали так до них и всё было замечательно, только дольше ;)
    – Anatoly Y.
    15 июл 2017 в 10:55
  • 6
    И не говорите! Скажу вам больше, все хитрые конструкции всех языков компилируются в конечном итоге в инструкции процессора типа cmp и jmp. Так что можно обойтись и без новомодных for'ов и while'ов!
    – VladD
    15 июл 2017 в 11:23

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.