2

Добрый день!
После более подробного анализа задачи выяснилось, что наиболее подходящим элементом синхронизации в моем случае была бы блокировка на чтение, с возможностью дозахвата блокировки на запись, т.к. в дизайне присутствуют функции, которые : 1) только читают таблицу, 2) только пишут таблицу, 3) последовательно, логически неразрывно читают и пишут таблицу (например, поиск элемента с его последующим удалением). Ориентируясь на пример avp из моего предыдущего вопроса, еще раз спасибо, написала свой вариант реализации подобной блокировки на основе posix-примитива rwlock.
Хотелось бы обсудить достоинства и недостатки.

Реализация блокировки :

#include "my_rwlock.h"

static pthread_mutex_t lock_protect_mutex = PTHREAD_MUTEX_INITIALIZER;
//идентификатор потока, захватившего блокировку с дозахватом
static pthread_mutex_t tid_mutex = PTHREAD_MUTEX_INITIALIZER;
static pthread_t protect_tid;

int smart_rwlock_operation(p_rwlock, operation)
  pthread_rwlock_t *p_rwlock;
  uint8_t operation;
{
  int res = 0;
  int ok = 0;

  if(p_rwlock == (pthread_rwlock_t *)NULL)
    return(EINVAL);

  switch(operation){
  case MY_RDLOCK ://обычная блокировка на чтение
    res = pthread_rwlock_rdlock(p_rwlock);
#ifdef DEBUG
    if(res)
      printf("Error %d of locking rwlock (pthread %u)\n",
        res,pthread_self());
#endif
    break;
  case MY_WRLOCK ://обычная блокировка на запись
    res = pthread_rwlock_wrlock(p_rwlock);
#ifdef DEBUG
    if(res)
      printf("Error %d of locking rwlock (pthread %u)\n",
        res,pthread_self());
#endif
    break;
  case MY_UNLOCK ://снятие блокировки
    res = pthread_rwlock_unlock(p_rwlock);
#ifdef DEBUG
    if(res)
      printf("Error %d of unlocking rwlock (pthread %u)\n",
        res,pthread_self());
#endif
    break;
  case MY_RDLOCK_PROTECT ://захват на чтение блокировки с дозахватом
    res = pthread_mutex_lock(&lock_protect_mutex);
    if(!res){
      // мьютекс захвачен, захватываем блокировку чтения
      res = pthread_rwlock_rdlock(p_rwlock);
      if(!res){
        //блокировка захвачена
        pthread_mutex_lock(&tid_mutex);
        protect_tid = pthread_self();
        pthread_mutex_unlock(&tid_mutex);
      }
      else{
        //ошибка - отпустим мьютекс
        res = pthread_mutex_unlock(&lock_protect_mutex);
      }
    }
#ifdef DEBUG
    if(res)
      printf("Error %d of protected read-locking (pthread %u)\n",res,pthread_self());
#endif
    break;
  case MY_UNLOCK_PROTECT ://снятие блокировки с дозахватом
    pthread_mutex_lock(&tid_mutex);
    if((res = (pthread_mutex_trylock(&lock_protect_mutex)) == EBUSY) &&
       (pthread_equal(pthread_self(),protect_tid) != 0)){
      //мьютекс уже захвачен этим же потоком
      ok = 1;
    }
    else if(!res){
      //мьютекс захвачен, некорректная операция
      pthread_mutex_unlock(&lock_protect_mutex);
      res = EINVAL;
    }
    else //мьютекс захвачен другим потоком, некорректная операция
      res = EBUSY;
    pthread_mutex_unlock(&tid_mutex);

    if(ok){
      //мы в нужном потоке, можно освободить блокировку и мьютекс
      res = pthread_rwlock_unlock(p_rwlock);
      if(!res)
        res = pthread_mutex_unlock(&lock_protect_mutex);
      else
        pthread_mutex_unlock(&lock_protect_mutex);
    }
#ifdef DEBUG
    if(res)
      printf("Error %d of protected unlocking (pthread %u)\n",res,pthread_self());
#endif
    break;
  case MY_FROMRD_TOWR_PROTECT ://дозахват блокировки на чтение до записи
    pthread_mutex_lock(&tid_mutex);
    if((pthread_mutex_trylock(&lock_protect_mutex) == EBUSY) &&
       (pthread_equal(pthread_self(),protect_tid) != 0)){
      ok = 1;
    }
    else if(!res){
      pthread_mutex_unlock(&lock_protect_mutex);
      res = EINVAL;
    }
    else
      res = EBUSY;
    pthread_mutex_unlock(&tid_mutex);

    if(ok){
      //дозахватываем блокировку на запись
      res = pthread_rwlock_unlock(p_rwlock);
      if(!res)
        res = pthread_rwlock_wrlock(p_rwlock);
    }
#ifdef DEBUG
    if(res)
      printf("Error %d of update to write-locking (pthread %u)\n",res,pthread_self());
#endif
    break;
  case MY_FROMWR_TORD_PROTECT ://осовбождение блокировки на запись до чтения
    pthread_mutex_lock(&tid_mutex);
    if((pthread_mutex_trylock(&lock_protect_mutex) == EBUSY) &&
       (pthread_equal(pthread_self(),protect_tid) != 0)){
      ok = 1;
    }
    else if(!res){
      pthread_mutex_unlock(&lock_protect_mutex);
      res = EINVAL;
    }
    else
      res = EBUSY;
    pthread_mutex_unlock(&tid_mutex);

    if(ok){
      //откатываемся к блокировке чтения
      res = pthread_rwlock_unlock(p_rwlock);
      if(!res)
        res = pthread_rwlock_rdlock(p_rwlock);
    }
#ifdef DEBUG
    if(res)
      printf("Error %d of update to read-locking (pthread %u)\n",res,pthread_self());
#endif
    break;
  case MY_WRLOCK_PROTECT : 
    res = pthread_mutex_lock(&lock_protect_mutex);
    if(!res){
      // мьютекс захвачен, захватываем блокировку записи
      res = pthread_rwlock_wrlock(p_rwlock);
      if(!res){
        //блокировка захвачена
        pthread_mutex_lock(&tid_mutex);
        protect_tid = pthread_self();
        pthread_mutex_unlock(&tid_mutex);
      }
      else{
        //ошибка - отпустим мьютекс
        res = pthread_mutex_unlock(&lock_protect_mutex);
      }
    }
#ifdef DEBUG
    if(res)
      printf("Error %d of protected write-locking (pthread %u)\n",res,pthread_self());
#endif
    break;
  default :
    return(EINVAL);
    break;
  }

  return(res);
}

Тест :
//my_rwlock.h

#ifndef __MY_RWLOCK__
#define __MY_RWLOCK__

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <strings.h>
#include <errno.h>
#include <pthread.h>

#define CNT_EL      5
#define BUF_LEN     256
#define MAX_CNT     20

// операции над блокировкой чтения-записи с дозахватом
#define MY_RDLOCK                  0x00
#define MY_WRLOCK                  0x01
#define MY_UNLOCK                  0x02
#define MY_RDLOCK_PROTECT          0x03
#define MY_UNLOCK_PROTECT          0x04
#define MY_FROMRD_TOWR_PROTECT     0x05
#define MY_FROMWR_TORD_PROTECT     0x06
#define MY_WRLOCK_PROTECT          0x07

int array[CNT_EL];
int cnt;
pthread_rwlock_t array_lock;

int smart_rwlock_operation(pthread_rwlock_t *, uint8_t );

#endif //__MY_RWLOCK__

//main.c

#include "my_rwlock.h"

void *func_reader(void *arg){
  //функция читателя
  int i;

  while(1){
    smart_rwlock_operation(&array_lock, MY_RDLOCK);
    if(cnt >= MAX_CNT){
      smart_rwlock_operation(&array_lock, MY_UNLOCK);
      break;
    }
    printf("Read with simple rdlock : ");
    for(i = 0; i < CNT_EL; i++)
      printf("%d ",array[i]);
    printf("\n");
    smart_rwlock_operation(&array_lock, MY_UNLOCK);
    sleep(1);
  }
  return((void *)0);
}

void *func_writer(void *arg){
  //функция писателя
  int i;

  while(1){
    smart_rwlock_operation(&array_lock, MY_WRLOCK_PROTECT);
    if(cnt >= MAX_CNT){
      smart_rwlock_operation(&array_lock, MY_UNLOCK_PROTECT);
      break;
    }
    cnt++;
    printf("Write with simple wrlock : ");
    for(i = 0; i < CNT_EL; i++){
      array[i] = i+10;
      printf("%d ",array[i]);
    }
    printf("\n");
    smart_rwlock_operation(&array_lock, MY_UNLOCK_PROTECT);
    sleep(2);
  }
  return((void *)0);
}

void *func_smart_reader(void *arg){
  //функиция читателя, который может прокачаться до писателя
  int i;

  while(1){
    smart_rwlock_operation(&array_lock, MY_RDLOCK_PROTECT);
    if(cnt >= MAX_CNT){
      smart_rwlock_operation(&array_lock, MY_UNLOCK_PROTECT); 
      break;
    }
    //захватили блокировку чтения с возможностью дозахвата на запись
    printf("Read with smart rwlock : ");
    for(i = 0; i < CNT_EL; i++)
    printf("%d ",array[i]);
      printf("\n");
    if(array[0] != 0){
      //вернем старый массив
      smart_rwlock_operation(&array_lock, MY_FROMRD_TOWR_PROTECT); //проапгрейдили блокировку чтения до записи
      cnt++;
      printf("Write with smart rwlock : ");
      for(i = 0; i < CNT_EL; i++){
    array[i] = i;
    printf("%d ",array[i]);
      }
      printf("\n");
      smart_rwlock_operation(&array_lock, MY_FROMWR_TORD_PROTECT); // снова понизили блокировку до чтения
    }  
    printf("Affordable to read\n");
    smart_rwlock_operation(&array_lock, MY_UNLOCK_PROTECT); 
    sleep(1);
  }
  return((void *)0);
}

int main(int argc, char *argv[])
{
  int i;
  pthread_t tid[4];
  char buf[BUF_LEN];
  void *res;

  array_lock = PTHREAD_MUTEX_INITIALIZER;
  for(i = 0;i < CNT_EL; i++)
    array[i] = i;
  cnt = 0;

  if(pthread_create(&tid[0],NULL,func_reader,NULL) != 0){
    bzero(buf,BUF_LEN);
    strerror_r(errno,buf,BUF_LEN);
    printf("Error of thread createng : %s\n",buf);
  }
  if(pthread_create(&tid[1],NULL,func_reader,NULL) != 0){
    bzero(buf,BUF_LEN);
    strerror_r(errno,buf,BUF_LEN);
    printf("Error of thread createng : %s\n",buf);
  }
  if(pthread_create(&tid[2],NULL,func_writer,NULL) != 0){
    bzero(buf,BUF_LEN);
    strerror_r(errno,buf,BUF_LEN);
    printf("Error of thread createng : %s\n",buf);
  }
  if(pthread_create(&tid[3],NULL,func_smart_reader,NULL) != 0){
    bzero(buf,BUF_LEN);
    strerror_r(errno,buf,BUF_LEN);
    printf("Error of thread createng : %s\n",buf);
  }

  for(i = 0; i < 4; i++)
    pthread_join(tid[i], &res);

  printf("Bye!!!\n");

  return 0;
}

Результаты :
...

Read with simple rdlock : Read with simple rdlock : 0 1 2 3 4 
Read with smart rwlock : 0 1 2 3 4 
Affordable to read
0 1 2 3 4 
Write with simple wrlock : 10 11 12 13 14 
Read with simple rdlock : 10 11 12 13 14 
Read with simple rdlock : 10 11 12 13 14 Read with smart rwlock : 10 11 12 13 14

Write with smart rwlock : 0 1 2 3 4 
Affordable to read
Read with simple rdlock : 0 1 2 3 4 
Read with smart rwlock : 0 1 2 3 4 
Affordable to read
Read with simple rdlock : 0 1 2 3 4 
Write with simple wrlock : 10 11 12 13 14 
Read with simple rdlock : 10 Read with simple rdlock : 11 12 13 14 
10 11 12 13 14 
Read with smart rwlock : 10 11 12 13 14 
Write with smart rwlock : 0 1 2 3 4 
Affordable to read
Read with simple rdlock : 0 Read with smart rwlock : 0 1 2 3 4 
Affordable to read
Read with simple rdlock : 0 1 2 3 4 
1 2 3 4 
Write with simple wrlock : 10 11 12 13 14 
Read with simple rdlock : 10 11 12 13 14 
Read with smart rwlock : 10 11 12 13 14 
Read with simple rdlock : 10 11 12 13 14 
Write with smart rwlock : 0 1 2 3 4 
Affordable to read
Read with simple rdlock : 0 1 Read with simple rdlock : 0 Read with smart rwlock : 0 1 1 2 3 4 
Affordable to read
2 3 4 
2 3 4

...

*блокировать операцию вывода не стала специально, чтобы было видно, что потоки-читатели работают одновременно.

UPDATE


Подразумевается, что MY_RDLOCK_PROTECT используется только когда нам необходимо захватить чтение с дозахватом на запись (есть подобный примитив в Boost), он будет применяться только в третьем варианте, когда чтение и запись логически свзяны. В функциях, где требуется только чтение, используется MY_RDLOCK, в нем блокировки мьютекса lock_protect_mutex не производится. Таким образом, будут работать одновременно - все потоки, захватившие блокировку с использованием MY_RDLOCK, и потоки, захватившие MY_RDLOCK_PROTECT, пока они не проапгрейдили блокировку чтения до записи, использовав MY_FROMRD_TOWR_PROTECT.
Когда блокировка на чтение будет дозахвачена на запись через MY_FROMRD_TOWR_PROTECT, "только писатели" вклиниться в этот процесс не смогут, так как lock_protect_mutex все еще захвачен.

Потоки -"только писатели", сначала будут ждать освобождения мьютекса lock_protect_mutex, а потом - ждать, когда не останется "только читателей". При этом, так как мьютекс уже захвачен, потоки, которые имеют смешанный вариант "чтение + запись", будут ожидать завершения работы "только писателя".

Подводя итог, хотелось добиться следующего : "только писатели" и "писатель+читатель" не работают одновременно никогда, в то время как "только читатели" и "писатель+читатель" работают одновременно в тот период, когда "писатель+читатель" еще не производил дозахват блокировки до записи, или напротив, понизил ее с записи до чтения.

2
  • @margosh, пока не разбирался, просто глянул и как-то странно выглядит MY_RDLOCK_PROTECT. Не понимаю, как это надо (можно) использовать. Там ведь блокируется lock_protect_mutex, а потом на чтение rwlock p_rwlock. Соответственно, любой другой поток не сможет таким образом взять rwlock p_rwlock (будет ждать lock_protect_mutex), а тот же самый просто уйдет в дедлок (хотя просто с rwlock p_rwlock должен остаться работать). Тогда в чем смысл операции MY_RDLOCK_PROTECT? -- Вы бы коротенько описали в какой ситуации какие операции собираетесь использовать и как они сочетаются.
    – avp
    Commented 6 мар. 2013 в 13:47
  • @avp,добавила пояснения по логике
    – margosh
    Commented 6 мар. 2013 в 14:18

1 ответ 1

2

@margosh, пояснения прочел. Из последнего абзаца многое стало понятно. Теперь речь о вложенных блокировках (предыдущий вопрос) уже не идет.

Думаю, Вы учли (просто не написали об этом), что по крайней мере MY_RDLOCK_PROTECT и MY_WRLOCK_PROTECT нельзя использовать в smart_rwlock_operation() с разными аргументами pthread_rwlock_t *p_rwlock в разных потоках, т.к. происходит блокировка на одном и том же lock_protect_mutex. Т.е. параллельная обработка разных независимых структур данных этим кодом невозможна.

Не понял, почему в MY_UNLOCK_PROTECT Вы не обнуляете protect_tid (остается предыдущее значение, это не может привести к конфликту?).

В MY_FROMRD_TOWR_PROTECT и MY_FROMWR_TORD_PROTECT в коде

if((pthread_mutex_trylock(&lock_protect_mutex) == EBUSY) &&
   (pthread_equal(pthread_self(),protect_tid) != 0)){
  ok = 1;
}
else if(!res){
  pthread_mutex_unlock(&lock_protect_mutex);
  res = EINVAL;
}
else
  res = EBUSY;

мне кажется, надо написать

if(((res = pthread_mutex_trylock(&lock_protect_mutex)) == EBUSY) &&
....

Если что-то еще придет в голову, то дополню ответ.

@margosh, а вообще, с наступающим 8 Марта.

2
  • @avp, спасибо :) да, smart_rwlock_operation() - для синхронизации одной глобальной таблицы данных. Вообще изначально protect_tid в MY_UNLOCK_PROTECT обнуляла, но потом решила что смысла нет, так как значение присваивается только при захвате lock_protect_mutex, т.е. после выполнения MY_UNLOCK_PROTECT по логике должен быть либо MY_WRLOCK_PROTECT, либо MY_RDLOCK_PROTECT, а в них после захвата примитива ничего не проверяется, только устанавливается новое значение protect_tid. Поправьте меня, если я что-то не учла. о, насчет "res" - Вы несомненно правы
    – margosh
    Commented 7 мар. 2013 в 10:37
  • @margosh, согласен, без обнуления protect_tid эта логика тоже работает. Может бытьь только, для ясности, выделить все PROTECT операции в отдельную функцию без аргумента pthread_rwlock_t *p_rwlock, просто этот lock object одной глобальной таблицы данных должен быть виден из функции. Тогда ряд вопросов, возникающих при чтении кода сразу отпадет.
    – avp
    Commented 7 мар. 2013 в 11:45

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.