27

Всем доброго дня!

Хотелось бы узнать мнения, стоит ли использовать volatile в многопоточных программах на C/C++? Бывают ли на практике ситуации, когда его использование может быть более предпочтительным использованию мьютексов? Если у кого-то есть подобный положительный опыт его использования, поделитесь примерами, пожалуйста.

4 ответа 4

24

Volatile и мьютекс не имеют ничего общего. Volatile лишь означает, что доступ к переменной не будет оптимизироваться компилятором. В мультиядерной (обращаю внимание, не просто мультипоточной!) системе это имеет значение: демонстрация сбоев программы при отсутствии барьеров памяти.

Volatile в этом примере могла бы обеспечить правильный порядок инструкций чтения/записи, так что ответ скорее - положительный, т.е. да, на многоядерных системах, когда доступ к переменной может быть неожиданным из другого потока, ее следует помечать volatile, это избавит Вас от множества проблем.

Только надо не забывать, что существует 2 типа барьеров памяти: барьеры процессора и барьеры компиляции. Volatile позволяет избегать только барьеров второго типа, поэтому может более наглядным примером будет Memory ordering, barriers, acquire and release semantics (Compiler re-ordering)

Комментарии:

однако однозначного мнения о его использовании в многопоточке не нахожу

Ну, скажем так: если Вы точно не можете сказать, какой порядок отношений будет между потоками касательно определенной переменной, то ее следует пометить volatile, чтобы не заморачиваться с барьерами компиляции _ReadBarrier/_WriteBarrier/_ReadWriteBarrier. Но если Вы уже определились с этим порядком, то правильно-расставленные барьеры будут гораздо эффективнее volatile, т.к. позволят все же оптимизировать доступ к этой переменной.

Я лично понимаю это так: если программа готова, то можно заняться заменой volatile на барьеры, это может добавить скорости ее работы. Нет - не стоит заморачиваться, используйте volatile, чтобы программа просто работала правильно.

я так помнимаю, volatile в первом примере имеет смысл именно в "самодельном мьютексе"?

В первом примере, volatile касается sharedValue, модификация которой может "выпрыгнуть" из критического участка кода из-за переупорядочивания к ней доступа каким-нибудь компилятором. Но не используется в примере потому, что acquire/release семантика в новом стандарте уже учитывает барьерную синхронизацию на уровне компилятора (см. реализацию atomic с используемой в ней _ReadWriteBarrier).

Т.е., если бы вместо flag здесь стоял какой-нибудь самодельный синхронизатор, пусть даже реализованный на том же на CAS'е, но не использующий acquire/release, проблемы были бы сразу на 2-х фронтах.

А вот вместо мьютекса (или семафора) для синхронизации на практике использовать переменные не стоит (как бы создатели компилятора их не называли). И дело тут в логической сложности подобных "алгоритмов", а не в свойствах переменных, переупорядочении команд, кэш-когерентности и т.п.

@avp, конечно, логика тут не на последнем месте. Но на практике, Вы даже такую "самодельную синхронизацию" завернете в функцию, очевидно, ради элементарного удобства. Логически для самого программиста этим все и решится.

Проблема "самопальной" синхронизации шире: чаще всего она инлайнится. Всем понятен смысл? А надежность API для синхронизации доступа к переменным обуславливается в основном еще и тем, что большинство (если не всех) компиляторов строят свои гипотезы по оптимизации хранения значений между вызовами функций, т.е. считается, что если между операторами доступа к переменной стоит вызов функции, то через этот вызов значение переменных не будет переноситься в регистрах. Это свойство автоматического барьера памяти само по себе может решать проблемы доступа. А inline все это дело приводит в неопределенность. Поэтому "самопальную" синхронизацию надо на 100 раз перепроверять, и лучше - не вручную, а какими-то инструментами, типа Relacy Race Detector, Viva и т.п.

На мой взгляд стоит пользоваться критическими секциями. Они шустры, однозначны и понятны.

@mikelsv, критические секции, как бы ни были понятны, шустры только за счет spinlock'ов, которыми пользуется процентов 10-20 из всех, кто что-то знает о критических секциях (быть может, моя оценка оптимистична). Такие блокировки уже сегодня далеко не шустры. А у Intel'а в планах еще Haswell и Skylake. По Haswell'у известно, что она будет расширена TSX, которая предусматривает неблокирующую работу потоков в т.н. "регионах транзакции", в которых потоки хардварно взаимоконтролируют друг друга на предмет одновременного доступа к ресурсу "на ходу", т.е. без простоя на блокировках.

Для примера такой конкуренции, можете посмотреть на Хэшкоде мой вариант lock-free-стека. Здесь есть 2 транзакции, перед CAS'ами, т.е. в случае неуспешного CAS'а, каждая из транзакций откатывается в начало тела цикла и повторяется до успешного исхода.

Restricted Transactional Memory (RTM) is a new instruction set interface that provides greater flexibility for programmers. TSX enables optimistic execution of transactional code regions. The hardware monitors multiple threads for conflicting memory accesses and aborts and rolls back transactions that cannot be successfully completed. Mechanisms are provided for software to detect and handle failed transactions.

Такая техническая возможность процессоров скорее всего потребует смены парадигмы синхронизации потоков, в которой банальная блокировка ресурса просто не выживет, т.к. будет бить по производительности параллельных систем, к которым мы постепенно, но очень уверенно движемся.

а в ситуации, когда значение переменной было установлено до расщепления на потоки, а затем только считывается (тоесть далее в течение всего времени работы программы эта переменная значение не меняет), одного volatile достаточно ведь?

@margosh, по большому счету, volatile в этом случае не требуется. Есть небольшая вероятность, что значение может быть записано после запуска потоков. Ее можно ликвидировать, если после записи в эту переменную поставить барьер _WriteBarrier. Или _ReadWriteBarrier для перестраховки, перед самим запуском потоков, особенно, если с ней что-то делается в основном потоке. Так у компилятора будет больше возможностей к оптимизации.

Если перекладывать барьеры на семантику acquire/release, то барьер можно заменить установкой значения Вашей переменной с помощью _InterlockedExchange_rel, а в потоках читать ее через _InterlockedCompareExchange_acq( &value, x, x ), где value - это непосредственно переменная, которая не меняется в потоках, а x - самая маловероятная величина, которой может быть равна value, например, для неотрицательных value выбирают x = -1, чтобы не портить кэши. Не особо удобно, да? :) Тем не менее, считается, что это будет эффективнее volatile и барьера, т.к. мы явно сказали компилятору, где будет барьерная запись и чтение переменной.

И как быть с чем-то вроде pipe, которые из разных потоков пишутся? Доступ к ним синхронизировать не нужно, но нужно ли их делать volatile?

А можно поконкретнее, что из себя представляют Ваши "pipe"? В WinAPI это обычный файловый дескриптор, его значение не меняется при записи/чтении. Соответственно, volatile ему не нужен.

@mega, учтите в своих ответах, что у @margosh программа в FreeBSD.

Да, @avp, я тоже заметил комментарий. Сам я программирую для Windows, но сейчас речь идет в основном о компиляции, и о том, какими средствами ее контролировать. Поэтому не вижу проблем, даже когда опираюсь на виндовые интринсики _Interlockedxxx, т.к. их аналоги есть везде. Ну а их версии с acq/rel - судите сами, если уж они даже в стандарте прописались :)

Второй не может начать читать, пока ему не прийдет информация из pipe, но если она прийдет раньше, чем был записан флаг (изменение порядка операций в одном потоке) - алгоритм работы нарушится.

@margosh, если запись в пайп будет производиться после установки признака, то обязательно будет такая ситуация, что второй в это время будет подчищать мусор и как раз наткнется на этот самый признак, но до того, как первый пошлет что-либо в пайп. Если для Вас это штатная ситуация, то все хорошо, но если первый в это время будет пользоваться чем-то, что подчищает второй?!?! Думаю, ничего из этого хорошего не выйдет, тут нужна блокировка!

free-поток удаляет из списка только одну структуру, и ждет что-то от pipe снова, тоесть от 2 потоков прийдет 2 признака и удалится поочередно 2 структуры. Порядок удаления значения не имеет, так как это последние действия при завершении потоков : установить флаг, бросить признак в pipe.

Если у Вас что-то вроде такого:

pThreadStruct->CanFree = 1;
SendToPipe( 1 );

то порядок действительно не имеет значения, но если вот такое:

pThreadStruct->CanFree = 1;
SendToPipe( pThreadStruct->... );

то здесь обязательно будет ошибка, т.к. CanFree = 1 можете понимать как delete pThreadStruct, а удаление только одной структуры в ответ на сигнал из пайпа совсем не означает, что удалена будет именно та структура, чей поток послал в пайп признак.

По поводу оптимизации и перестановок в коде : тоесть, присвоение может поменяться местами с захватом блокировки, так как функция блокировки с точки зрения компилятора с защищаемой переменной никак не свзяна?

Да, совершенно верно!

Хорошо, но как на это повлияет использование этой переменной с volatile?

volatile "скажет" компилятору, что к этой переменной нельзя применять "перестановки", т.е., если вы поместили запись в эту переменную в пределах критического участка, значит она из него и "не выпрыгнет" ни при каких условиях.

Другое дело, что она и не в критическом участке никуда прыгнуть не сможет, а учитывая специфику процессоров, конвейеры которых обычно оптимизированы на параллельную обработку сразу нескольких команд но в определенном порядке, то компилятор не сможет такую запись или чтение volatile оптимизировать для таких процессоров (ради этого и производятся перестановки, чтобы уменьшить совокупное число тактов на работу алгоритма, в этом и заключается оптимизация по скорости).

@margosh: мне кажется, в этом обсуждении ошибка. В компилятор обязана быть встроена магия (то есть конечно подходящая #pragma), которая запрещает перенос операций за границы mutex_lock/unlock, иначе эти конструкции просто не смогут правильно работать.

Про автоматические барьеры между вызовами функций я уже писал. Это и есть Ваша "магия". И естественно, без лишних напоминаний об этом препроцессору, через #pragma. :) Про какое обсуждение @VladD, Вы сейчас говорите, не понял?

@mega: про обсуждение выше в комментариях: о том, что присвоение переменной может при оптимизации вылететь за пределы области защищённой mutex'ом.

Если защита в инлайне и без погружения в ядро - очень легко может вылететь. Я просто не знаю, на чем основаны мьютексы у @margosh и может ли их разворачивать компилятор. Если может, то вполне логичные результаты:

при безуспешных попытках отладки программы под пока недопиленным FreeBSD-Valgrind, очень удивилась, когда увидела среди кучи сообщений о блокировках с развернутым стеком вызовов, захват блокировки уже после присвоения


@mega: тут есть две вещи. Во-первых, #pragma должна запретить кодогенератору перемещать присваивание.

Я знаю только об одной прагме, которая потенциально могла бы такое делать: #pragma optimize, но по ней нет данных о том, что она будет именно блокировать перемещения. Возможно, конечно, но скорее всего это будет вкупе с отключением общей оптимизации, что еще хуже, чем volatile.

Если Вы о такой прагме, то это очень странный совет, особенно на фоне того, что уже было сказано о volatile.

Во-вторых, сам mutex генерирует полный memory barrier.

Вот мне почему-то кажется, что внутренняя реализация подобного рода объектов дело исключительно платформозависимое. И не будет в большинстве случаев так категорична. В POSIX ведь не даром их реализация не закреплена. Поэтому Ваши доводы по поводу наличия каких-либо барьеров в недрах "абстрактного" мьютекса скорее всего неверны.

p.s.: у меня уже давно закончились комментарии, а новый ответ я начать не могу, так что, пожалуйста, обращайте внимание на мои комментарии, которые я оставляю при редактировании ответа.

20
  • 2
    @mega, прямо скажем, в приведенных в Ваших ссылках примерах volatile не используется (или я его не углядел). @margosh, если компилируете с оптимизацией, то все общие переменные (не только для потоков, но и для обработчиков сигналов) независимо от использования мьютексов делайте volatile. -- А вот вместо мьютекса (или семафора) для синхронизации на практике использовать переменные не стоит (как бы создатели компилятора их не называли). И дело тут в логической сложности подобных "алгоритмов", а не в свойствах переменных, переупорядочении команд, кэш-когерентности и т.п.
    – avp
    20 ноя 2012 в 8:50
  • 3
    Вообще-то говоря, volatile не обязан быть заменой синхронизации, и работать он может только с определённым компилятором и определёнными опциями компиляции. По этому поводу хорошо написал Александреску (см главу 5): > though the Standard prevents compilers from reordering reads and writes to volatile data within a thread, it imposes no constraints at all on such reorderings across threads В C++11 появилось внутренне языку понятие потока -- может быть, что-то поменялось с семантикой volatile?
    – VladD
    20 ноя 2012 в 10:57
  • 2
    По большому счету стремиться надо к программированию без общей памяти, проблема (пока) в малой скорости каналов обмена.
    – avp
    20 ноя 2012 в 16:15
  • 2
    Я всегда считал, что компилятор не в праве настолько менять операции местами. И смотрите сюда, оптимизация, это запись значения переменной в регистр. Значит для нормальной работы мьютексов вся работа с переменной должна быть в них. Если будет оптимизация, то за блокировку она не выйдет. И вспомнил случай, когда новый g++ при оптимизации не понял что изменяется переменная. Если интересно: mikelsv.livejournal.com/5614.html
    – mikelsv
    22 ноя 2012 в 16:42
  • 2
    @mikelsv Что-то подобное я уже слышал, только не про C++, а про циркулярную пилу. А, вспомнил, это рассказ о суровых сибирских мужиках!
    – alexlz
    22 ноя 2012 в 17:12
12

Короткий ответ: согласно стандарту, volatile не имеет никакого отношения к многопоточности.


Гонки в многопоточных программах

Одна из первых глав стандарта - это Multi-threaded executions and data races [intro.multithread]. Там описано что такое потоки, и каким требованиям должна отвечать программа, чтобы быть корректной.

Гонка (data race) происходит когда программа содержит

  • два действия, обращающихся к одному месту памяти в разных потоках,
  • хотя бы одно из действий модифицирует эту память,
  • хотя бы одно из действий не атомарное,
  • действия не упорядочены с помощью мьютекса. (см. happens before)

Если при выполнении программы происходит гонка, то поведение программы не определено.

volatile

Вкратце, стандарт описывает volatile следующим образом (The cv-qualifiers [dcl.type.cv]):

[Примечание: volatile - это подсказка (hint) компилятору, говорящая что надо избегать агрессивных оптимизаций, т.к. значение объекта может быть изменено чем-то, о чем компилятор не знает. Подробнее - в главе Program execution]

При этом в главе Program execution [intro.execution] написано:

  • обращения к volatile объектам выполняются строго согласно правилам абстрактной машины (т.е. например для volatile int& x; оптимизатор не может удалить код x = x; или заменить x - x на 0, если он не может доказать что такая оптимизация сохранит поведение программы);
  • доступ к volatile объекту является побочным эффектом (side effect). Побочные эффекты в одном полном выражении выполняются раньше побочных эффектов с следующем полном выражении (см. ниже пример с g++).

Согласно стандарту, volatile объекты не являются атомарными, и без использования мьютексов возникает гонка.

В сноске написано "значение может быть изменено чем-то". Что это может быть?

Например регистры или память физического устройства могут отображаться на адреса оперативной памяти. Тогда чтение или запись по таким адресам памяти будет приводить к получению или передаче данных в это физическое устройство.
Либо программный код может перехватывать обращения к участку памяти и обрабатывать значения которые читаются или пишутся из/в этот участок памяти.

В любом случае, это "что-то" работает в текущем потоке, а не в параллельном.

volatile на x86 платформах

На x86 платформах, чтение/запись одного слова памяти - атомарно. Означает ли это, что мы можем использовать там volatile?

Нет, атомарность чтения/записи на x86 это особенность самого железа. Что с volatile, что без него - эффект будет одинаков.

Однако компилятор может менять порядок операций, если это позволяет стандарт. Рассмотрим следующий код:

volatile bool ready = false;
int x = 10;

void calc_and_go(int a) {
    x = x / a;
    ready = true;
}

Он вычисляет новое значение x, а затем сигнализирует что операция завершена. Если мы скомпилируем этот код компилятором g++ с включенным оптимизатором (-O2), то мы получим следующее:

mov eax, DWORD PTR x[rip]  ; tmp = x
mov BYTE PTR ready[rip], 1 ; ready = true
cdq
idiv    edi                ; value = tmp / a
mov DWORD PTR x[rip], eax  ; x = value;
ret

Компилятор поместил запись ready = true между чтением x и вычислением x/a, т.к. в таком порядке инструкции будут выполняться параллельно.

Хотя стандарт и говорит, что запись x должна выполняться перед ready = true (sequenced before), но здесь нет никаких объектов синхронизации, так что ничто не позволяет увидеть этот порядок из другого потока. А раз никто не видит этот порядок - компилятор может его поменять, т.к. стандарт требует только соблюдения видимого поведения программы. Если же попробовать сделать

std::thread t(calc_and_go, 5);
while (!ready) /* wait*/ ;
std::cout << x;

то возникнет гонка для ready, а значит поведение будет не определено, и может напечататься исходное значение x равное 10.

Компилятор MS Visual C++

В MSVC, если код скомпилирован с ключем /volatile:ms (который включен по-умолчанию для не-ARM платформ), запись volatile переменных имеет release семантику, а чтение - acquire семантику.

Это означает следующее:

  • компилятор разместит запись volatile переменной после выполнения всех побочных эффектов (в т.ч. записи других переменных), которые предшествуют ей в коде программы;
  • компилятор разместит чтение volatile переменной перед всеми побочными эффектам, которые следуют за ней в коде программы.
4

@mega, у меня тоже комментарии закончились. Новое в компиляторе (и уже стандартизированное) - это, конечно, хорошо.

Но, мой опыт подсказывает, что лет 5 (а лучше 10) в практических программах лучше им не пользоваться. Иначе сопровождение (с переносом) заканчивается "спагетти" из ifdef-ов и невменяемыми Makefile-ами.

12
  • Вы совершенно, правы на счет 5-10 лет. Вот как раз примерно столько и прошло с тех пор, как это все появилось. На сколько помню, еще в начале 2000-х, когда я только начинал программировать, мне уже попадались на глаза загадочные Rel и Acq. ( вот, нашел первое вхождение InterlockedCompareExchangeAcquire - 2003 год )
    – mega
    22 ноя 2012 в 13:32
  • Да, есть такое недопонимание. Но в POSIX, к сожалению, пока нет понятия блокировки, перестановки, барьера и взаимоблокировки.
    – mega
    22 ноя 2012 в 13:53
  • что значит нет? как раз таки есть - блокировки чтения-записи, и даже барьеры, я ими правда пока не пользуюсь,- несколько не та задача. Все, что мне требуется, это обеспечить нормальную работу с глобальными переменными, к числу которых, например, можно отнести общее количество работающих потоков, причем потоки за исключением доступа к таким вот переменным, больше никак не синхронизируются - они просто независимо обслуживают каждый своего клиента. update : intuit.ru/department/se/posix2/2/8.html intuit.ru/department/se/posix2/2/6.html
    – margosh
    22 ноя 2012 в 14:00
  • 1
    @margosh, с записью в pipe все будет хорошо. Ведь это наверное последнее, что поток делает перед завершением (по крайней мере в смысле работы с разделяемыми данными)? Думаю, что флаг в структуру запишется наверняка сразу (не вижу разумных для компилятора причин держать его в регистре). Кстати, почему бы не передавать через pipe просто адрес этой структуры?
    – avp
    22 ноя 2012 в 14:44
  • 1
    @margosh, по поводу замечания @mega, о том, что поток, читающий пайп и подчищающий мусор может сработать раньше задуманного. Мне тоже кажется, что это возможно (конечно если он подчищает за один проход все помеченные блоки). Представьте ситуацию: поток-1 и поток-2 завершаются одновременно. Оба пометили свои блоки. "Чистильщик" читает из пайпа, что поток-1 завершился и удаляет из списка все отмеченные блоки (блок потока-2 тоже). Потом читает, что завершился поток-2 и ищет его блок (но уже не находит). А вот эта ситуация нормально обрабатывается? -- Похоже дальше буду писать в ответ
    – avp
    22 ноя 2012 в 19:09
4

сори, комменты кончились.
@avp, пока что я действительно компилирую все без оптимизации, ошибок при выполнении я пока не замечала, просто хочу до конца уяснить, как работает volatile, в первую очередь в С. Нашла вот эту статейку, но незнаю, можно ли все это с уверенностью отнести и к volatile в С. Еще могу добавить, что при безуспешных попытках отладки программы под пока недопиленным FreeBSD-Valgrind, очень удивилась, когда увидела среди кучи сообщений о блокировках с развернутым стеком вызовов, захват блокировки уже после присвоения, что и породило мой интерес к volatile.
@mega, в pipe посылается просто char-символ, а не структура, так что таких проблем не будет. Хорошее пояснение, спасибо! Все это в одинаковой мере относится как к С++ так и к С?
Огромное вам обоим спасибо за ваши комментарии и терпение ;) Если у кого-либо еще есть, что веского добавить - welcome!

10
  • 1
    Это хорошая статья, я тоже недавно на нее натыкался. Жаль, только, что мы пока не можем реализовать полноценную семантику volatile read и volatile write. Даже в .Net они выражены одинаково, через полные барьеры памяти. Но все может измениться в ближайшем будущем. >Все это в одинаковой мере относится как к С++ так и к С? Конечно!
    – mega
    23 ноя 2012 в 7:44
  • @margosh: по поводу значений в отладчике, проблема может быть в неожиданном месте: blogs.msdn.com/b/oldnewthing/archive/2012/11/30/10373300.aspx
    – VladD
    6 дек 2012 в 12:36
  • 1
    @margosh, @VladD просто пиарится в популярной теме, а по существу уже все давно сказано: есть 2 типа барьерной синхронизации. Один из них мы детально обсудили. А второй на современных многоядерных системах бывает нужен только при жесткой конкуренции за реурс. Для этого обычно надо очень сильно насиловать систему, как это делает, например RRD. А как по ссылке @VladD'а, так и у Вас в примере, скорее всего имеет место быть банальный скачок записи, т.к. общая переменная не защищена от него ни volatile, ни барьером, ни семантикой acq/rel. А все это - грани одного и того же кубика.
    – mega
    7 дек 2012 в 9:50
  • 1
    @VladD, я совсем не про рекламу и баллы :)) >Однако обсуждение личностей участников вместо темы вопроса, как говорит моя училка, mauvais ton @VladD, я уже давно заметил, что Вы слишком импульсивны к критике, и я вовсе не против этого. Просто нужно все таки знать меру, и предъявлять адекватные аргументы, без элементов троллинга. На личности Вы перешли первым же своим комментарием: "не слушайте их...", а по теме была только ссылка, где ошибка на 99% в отсутствии volatile для m_cUpdateClients. Этот случай мы разобрали на первом же примере. Только путаете девушку, нехорошо.
    – mega
    7 дек 2012 в 11:53
  • 2
    @VladD, здесь у заинересованных сторон, похоже, комментарии закончились (или скоро кончатся). @mega уже давно пишет обновлениями ответа, отслеживать трудно. Если интересно обсудить подобные вопросы (потоки, синхронизация и т.п.), открывайте новую тему.
    – avp
    7 дек 2012 в 12:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.