ПВТ - весна 2015 - Лекция 3. Реентерабельность. Сигналы. Локальные данные потоков. Принудительное завершение

Лекция 3. POSIX Threads.
Реентерабельность. Сигналы.
Локальные данные потоков.
Принудительное завершение потоков
Пазников Алексей Александрович
Кафедра вычислительных систем СибГУТИ
Сайт курса: http://cpct.sibsutis.ru/~apaznikov/teaching/
Q/A: https://piazza.com/sibsutis.ru/spring2015/pct2015spring
Параллельные вычислительные технологии
Весна 2015 (Parallel Computing Technologies, PCT 15)

Реентерабельность
2

▪ Одну функцию может вызывать (re-enter)
несколько потоков.
▪ Функции, которые могут безопасно вызываться
из нескольких потоков, называются
безопасными в многопоточной среде или
потокобезопасными (thread-safe)
▪ Все функции, определённые стандартом
Single UNIX Specification, являтся
потокобезопасными, за исключением ...
3

Непотокобезопасные функции
asctime
basename
catgets
crypt
ctime
dbm_clearerr
dbm_close
dbm_delete
dbm_error
dbm_fetch
dbm_firstkey
dbm_nextkey
dbm_open
dbm_store
dirname
dlerror
drand48
ecvt
encrypt
endgrent
endpwent
endutxent
fcvt
ftw
gcvt
getc_unlocked
getchar_unlock
ed
getdate
getenv
getgrent
getgrgid
getgrnam
gethostbyaddr
gethostbyname
getutxline
gmtime
hcreate
hdestroy
hsearch
inet_ntoa
164a
lgamma
lgammaf
lgammal
localeconv
localtime
lrand48
mrand48
nftw
nl_langinfo
ptsname
gethostent
getlogin
getnetbyaddr
getnetbyname
getnetent
getopt
getprotobyname
getprotobynumb
er
getprotoent
getpwent
getpwnam
getpwuid
getservbyname
getservbyport
getservent
getutxent
getutxid
putc_unlocked
putchar_unlock
ed
putenv
pututxline
rand
readdir
setenv
setgrent
setkey
setpwent
setutxent
strerror
strtok
ttyname
unsetenv
wcstombs
wctomb
4

▪ У некоторых функций есть альтернативные
потокобезопасные версии
▪ Например, изменяется интерфейс: результат
не возвращается буфере, размещенном
статически
acstime__r
ctime_r
getgrgid.r
getgrnam_r
getlogin_r
getpwnam_r
getpwuid_r
gmtime_r
localtime_r
rand_r
readdir_r
strerror_r
strtok_r
ttyname_r
5

Посимвольный ввод-вывод без блокировки:
Безопасный способ управления объектами FILE
void flockfile(FILE *filehandle);
int ftrylockfile(FILE *filehandle);
void funlockfile(FILE *filehandle);
int getc_unlocked(FILE *stream);
int getchar_unlocked(void);
int putc_unlocked(int c, FILE *stream);
int putchar_unlocked(int c);
Функции должны быть окружены вызовами
flockfile и funlockfile
6

Нереентерабельная версия функции getenv
static char envbuf[ARG_MAX];
extern char **environ;
char *getenv(const char *name)
{
int i, len;
len = strlen(name);
for (i = 0; environ[i] != NULL; i++) {
if ((strncmp(name, environ[i], len) == 0)
&& (environ[i][len] == '=')) {
strcpy(envbuf, &environ[i][len + 1]);
return envbuf;
}
}
return NULL;
} 7

Потокобезопасная версия функции getenv
int getenv_r(const char *name, char *buf, int buflen) {
int i, olen, len = strlen(name);
pthread_once(&init_done, thread_init);
pthread_mutex_lock(&env_mutex);
if ((strncmp(name, environ[i], len) == 0) &&
(environ[i][len] == '=')) {
olen = strlen(&environ[i][len+1]);
if (olen >= buflen) {
pthread_mutex_unlock(&env_mutex); return ENOSPC;
}
strcpy(buf, &environ[i][len+1]);
pthread_mutex_unlock(&env_mutex); return O;
}
}
pthread_mutex_unlock(&env_mutex); return ENOENT;
} 8

}
}
}
}
1
2
9

}
}
}
}
R/W-мьютексы?
10

extern char *environ;
pthread_mutex_t envjnutex;
static pthread_once_t initjtone =
PTHREAD_ONCE_INIT;
static void thread_init(void)
{
pthread_mutexattr_t attr;
pthread_mutexattr_init(&attr);
pthread_nutexattr_settype(&attr,
PTHREAD_MUTEX_RECURSIVE);
pthread_mutex_init(&env_mutex, &attг);
pthread_mutexattr_destroy(&attг);
}
11

extern char *environ;
pthread_mutex_t envjnutex;
static pthread_once_t initjtone =
PTHREAD_ONCE_INIT;
{
pthread_mutexattr_t attr;
pthread_mutexattr_init(&attr);
pthread_nutexattr_settype(&attr,
PTHREAD_MUTEX_RECURSIVE);
pthread_mutex_init(&env_mutex, &attг);
pthread_mutexattr_destroy(&attг);
}
Зачем нужен
рекурсивный
мьютекс?
12

Локальные данные
потоков
13

Локальные данные потоков
▪ Необходимость сохранять данные,
специфичные для конкретного потока.
▪ Данные одного потока не должны быть
изменены другим потоком.
▪ “Таблица” данных не годится: идентификаторы
потоков не целые, не известно заранее, сколько
будет потоков.
▪ Необходим способ для адаптации к
многопоточной среде (например, так было в
случае с errno)
▪ Каждый поток может использовать локальные
данные, не прибегая к синхронизации.
14

T1 T2
foo 0
bar 1
buz 2
Keys
0 fun0()
1 NULL
2 fun2()
Destructor
0 x0f98a
1 ...
2 ...
0 NULL
1 ...
2 ...
15

T1 T2
foo 0
bar 1
buz 2
Keys
0 fun0()
1 NULL
2 fun2()
Destructor
0 x0f98a
1 ...
2 ...
0 x10df3
1 ...
2 ...
16

Создание ключа локальных данных
/* Создать ключ, ассоциированный с лок. данными */
int pthread_key_create(pthread_key_t *key,
void (*destructor)(void*));
key - ключ (идентификатор локальных данных)
destructor - деструктор локальных данных
▪ Ключ может использоваться разными потоками.
▪ Каждый поток ассоциирует с ключом отдельный набор
локальных данных.
▪ С ключом можно связать фунукцию-деструктор,
которая вызывается в случае штатного (не exit, abort)
завершения потока.
▪ Поток может создать несколько ключей. По
завершении потока запускаются деструктор для всех
ненулевых ключей. 17

Создание и удаление ключа локальных данных
/* Разорвать связь ключа с локальными данными */
int pthread_key_delete(pthread_key_t *key);
▪ Вызов не приводит к деструктору ключа.
/* Создать ключ, ассоциированный
* с локальными данными */
int pthread_key_create(pthread_key_t *key,
void (*destructor)(void*));
key - ключ (идентификатор локальных данных)
destructor - деструктор локальных данных
18

Ключ должен инициироваться атомарно и один раз!
void destructor(void *);
pthread_key_t key;
int init_done = 0;
int threadfunc(void *arg)
{
if (!init_done) {
init.done = 1;
err = pthread_key_create(&key, destructor);
}
}
19

pthread_key_t key;
int init_done = 0;
int threadfunc(void *arg)
{
if (!init_done) {
init.done = 1;
}
}
Ключ должен инициироваться атомарно и один раз!
20

Создание и удаление ключа локальных данных
/* функция initfn вызывается один раз при первом
* обращении к pthrad_once */
pthread_once_t initflag = PTHREAD_ONCE_INIT;
int pthread_once(pthread_once_t *initflag,
void (*initfn)(void));
pthread_key_t key;
pthread_once_t init_done = PTHREAD_ONCEINIT;
void thread_init(void) {
}
int threadfunc(void *arg) {
}
21

Ассоциация ключа с локальными данными
/* вернуть указатель на область памяти с локальными
* данными (или NULL) */
void *pthread_getspecific(pthread_key_t key);
/* связать ключ с локальными данными */
int pthread_setspecific(pthread_key_t key,
const void *value);
22

Локальные данные потоков - пример
pthread_key_t key;
void *foo(void *arg) {
int *newdata = (int *) pthread_getspecific(key);
if (newdata == NULL) {
newdata = (int *) malloc(sizeof(int));
int *argval = (int *) arg;
*newdata = *argval;
pthread_setspecific(key, newdata);
}
int *data = (int *) pthread_getspecific(key);
printf("data = %dn", *data);
return NULL;
}
23

Локальные данные потоков - пример
int main(int argc, const char *argv[]) {
pthread_t tid1, tid2;
int arr[2] = {1234, 5678};
pthread_key_create(&key, NULL);
pthread_create(&tid1, NULL, foo, &arr[0]);
pthread_create(&tid2, NULL, foo, &arr[1]);
pthread_join(tid1, NULL);
pthread_join(tid2, NULL);
return 0;
}
24

Локальные данные потоков - пример 2
static pthread_key_t key;
static pthread_once_t init_done = PTHREAD_ONCE_INIT;
pthread_mutex_t env_mutex =
PTHREADMUTEX_INITIALIZER;
extern char **environ;
{
pthread_key_create(&key, free);
}
char *getenv(const char *name) {
int i, len;
char *envbuf;
25

envbuf = (char *) pthread_getspecific(key);
if (envbuf == NULL) {
envbuf = malloc(ARG_MAX);
if (envbuf == NULL) {
pthread_mutex_unlock(&env_mutex);
return NULL;
}
pthread_setspecific(key, envbuf);
}
26

len = strlen(name);
strcpy(envbuf, &environ[i][len+1]);
pthread_mutex_unlock(&env_mutex);
return envbuf;
}
}
pthread_mnutex_unlock(&env_mutex);
return NULL;
}
27

Потоки и сигналы
28

Потоки и сигналы
▪ Каждый поток имеет собственную маску потоков.
▪ Отдельно взятый поток может заблокировать
доставку сигнала.
▪ Когда поток назначает обработчик сигнала, он
становится общим для всех потоков. То есть
сигналы могут “противоречить” друг другу.
▪ Сигнал доставляется только одному потоку. Если
сигнал связан с аппаратной ошибкой или
таймером, то доставляется потоку, который стал
причиной. Остальные сигналы могут
доставляться произвольному потоку.
29

Задать маску сигналов для потока
/* задать маску обработчиков сигналов */
int pthread_sigmask(int how, const sigset_t *set,
sigset_t *oldset);
▪ если oldset != NULL, в него возвращается текущая
маска сигналов
▪ если в set передается непустой указатель, то значение
how определяет, как должна измениться маска сигналов
▪ how == SIG_BLOCK - новая маска - объединение текущей
маски и с набором, указанным в set
▪ how == SIG_UNBLOCK - новая маска - пересечение
текущей маски с набором, на который указывает set
▪ how == SIG_SETMASK - новая маска set замещает текущую
маску
30

Ожидания поступления сигнала потоком
/* приостановиться в ожидании хотя бы одного
* сигнала из set, сохранить поступивший сигнал
* в sig */
int sigwait(const sigset_t *set, int *sig);
▪ Сигнал удаляется из набора сигналов, ожидающих
обработки.
▪ Во избежании ошибочной обработки, поток должен
заблокировать (pthread_sigmask) сигналы перед
вызовом sigwait. Иначе сигнал может быть доставлен
▪ sigwait позволяет синхронно обрабатывать асинхронные
сигналы
▪ Можно выделить отдельные потоки, которые будут
заниматься только обработкой сигналов
31

Передача сигнала потоку
/* приостановиться в ожидании хотя бы одного
* сигнала из set, сохранить поступивший сигнал
* в sig */
int sigwait(const sigset_t *set, int *sig);
/* передать сигнал потоку */
int pthread_kill(pthread_t thread, int sig);
▪ Можно проверить существование потока, передав sig = 0
▪ Если действие по умолчанию для сигнала - завершение
процесса, то передача сигнала потоку приведёт к
завершению всего процесса
▪ n.b. таймеры являются ресурсами процесса
32

Потоки и сигналы - пример
int quitflag; /* поток записывает ненулевое значение */
sigsetjt mask;
pthread_mutex_t: lock = PTHREAD_MUTEX_ITIALIZER;
pthread_cond_t wait = PTHREAD_COND_INITIALIZER;
void *thr_fn(void *arg) {
int err, signo;
for (;;) {
err = sigwait(&mask, &signo);
if (err != 0) {
fprintf(stderr, "sigwait failed"); exit(1); }
33

switch (signo) {
case SIGINT:
printf("interruption");
break;
case SIGQUIT:
pthread_mutex_lock(&lock);
quitflag = 1;
pthread_mutex_unlock(&lock);
pthread_cond_signal(&wait);
return O;
default:
fprintf(stderr, "undef. signal %dn", signo);
exit(1)
}
}} 34

int main(void) {
int err; sigset_t oldmask; pthread_t tid;
sigemptyset(&mask);
sigaddset(&mask, SIGINT); sigaddset(&mask, SIGQUIT);
if ((err = pthread_sigmask(SIG_BLOCK, &mask,
&oldmask)) != 0) {
fprintf(stderr, "SIG_BL0CK failed"); exit(1); }
err = pthread_create(&tid, NULL, thr_fn, 0);
if (err != 0) {
fprintf(stderr, "can’t create thread"); exit(1); }
while (quitflag == 0)
pthread_cond_wait(&wait, &lock);
pthread_mutex_unlock(&lock);
35

/* Сигнал SIGQUIT был перехвачен и сейчас
* опять заблокирован. */
quitflag = 0;
/* Восстановить маску сигналов, в которой
* SIGQUIT разблокирован. */
if (sigprocmask(SIG_SETMASK, &oldmask, NULL) < 0) {
fprintf(stderr, "SIG_SETMASK failed");
exit(O);
}
}
36

Принудительное
завершение потоков
37

Принудительное завершение потоков
/* установить атрибут принудительного завершения
* oldstate - старое значение атрибута */
int pthread_setcancelstate(int state,
int *oldstate);
PTHREAD_CANCEL_ENABLE - вызов pthread_cancel приводит
к тому, что поток продолжает работу до
точки выхода. Точки выхода определены стандартом.
PTHREAD_CANCEL_DISABLE - вызов pthread_cancel не
приводит к завершению потока.
/* задать точку выхода из потока: если есть
* ожидающий запрос, то поток завершит работу */
void pthread_testcancel(void);
38

Тип завершения потока
/* задать тип выхода */
int pthread_setcanceltype(int type, int *oldtype);
PTHREAD_CANCEL_DEFERRED - отложенный выход (до точки
выхода)
PTHREAD_CANCEL_ASYNCHRONOUS - немедленный выход из
потока при поступлении запроса
39

Тип завершения потока
/* задать тип выхода */
int pthread_setcanceltype(int type, int *oldtype);
PTHREAD_CANCEL_DEFERRED - отложенный выход (до точки
выхода)
PTHREAD_CANCEL_ASYNCHRONOUS - немедленный выход из
потока при поступлении запроса
40

Действия потоков при принудительном завершении
При завершении потока необходимо убедиться:
▪ Поток должен освободить все блокировки,
которые он удерживает.
▪ Поток должен освободить выделенную память.
▪ Поток должен завершиться в корректном
состоянии.
Асинхронная отмена может привести
к нежелательным последствиям!
41

Обработчки отмены потока (cancellation cleanup handlers)
function 3 arg 3
function 2 arg 2
function 1 arg 1
Cleanup Stack
pthread_cleanup_push() pthread_cleanup_pop()
▪ Обработчики позволяют очистить состояние
потока: выполнить какие-то действия при отмене.
▪ Функции 3-1 запускаются при отмене потока или
срабатывания pthread_exit.
42

▪ pthread_cleanup_push и pthread_cleanup_pop
должны вызываться на одном уровне.
pthread_cleanup_push(free, pointer);
...
pthread_cleanup_pop(1);
...
}
43

▪ pthread_cleanup_push и pthread_cleanup_pop
должны вызываться на одном уровне.
...
...
}
44

Обработчики отмены потока - пример 2
pthread_cleanup_push(pthread_mutex_unlock,
(void *) &mut);
pthread_mutex_lock(&mut);
/* do some work */
pthread_mutex_unlock(&mut);
void unlock(void *arg) {
pthread_mutex_unlock( &lock );
}
void *func(void *arg) {
pthread_cleanup_push( &unlock, NULL );
/* ... */
45

Пример (сигналы, отмена потоков)
enum { NTHREADS = 8 };
pthread_mutex_t file_lock = PTHREAD_MUTEX_INITIALIZER;
pthread_mutex_t nalive_lock =
PTHREAD_MUTEX_INITIALIZER;
pthread_cond_t alldead_cond =
PTHREAD_COND_INITIALIZER;
pthread_once_t init_done = PTHREAD_ONCE_INIT;
pthread_key_t key_name;
int nalive = 0;
FILE *file;
sigset_t mask;
pthread_t tid[NTHREADS];
#define FILENAME "play" 46

int main(int argc, const char *argv[]) {
sigemptyset(&mask);
sigaddset(&mask, SIGQUIT);
sigset_t oldmask;
int rc = pthread_sigmask(SIG_BLOCK, &mask, &oldmask);
file = fopen(FILENAME, "w");
fclose(file);
pthread_t thr_reaper;
pthread_create(&thr_reaper, NULL, grim_reaper, NULL);
pthread_create(&tid[0], NULL, character, "Hamlet");
pthread_create(&tid[1], NULL, character, "Ophelia");
pthread_create(&tid[2], NULL, character, "Gertrude");
pthread_create(&tid[3], NULL, character, "Claudius");
pthread_create(&tid[4], NULL, character, "Polonius");
pthread_create(&tid[5], NULL, character, "Laertes");
pthread_create(&tid[6], NULL, character, "Rosencrantz");
pthread_create(&tid[7], NULL, character, "Guildenstern");
47

pthread_mutex_lock(&nalive_lock);
while (nalive > 0) {
pthread_cond_wait(&alldead_cond, &nalive_lock);
}
pthread_mutex_unlock(&nalive_lock);
for (int tid_i = 0; tid_i < NTHREADS; tid_i++) {
pthread_join(tid[tid_i], NULL);
}
file = fopen(FILENAME, "a");
fprintf(file, "The rest is silence.n");
fclose(file);
pthread_cancel(thr_reaper);
pthread_join(thr_reaper, NULL);
return 0;
}
48

void _sem_wait(sem_t *sem) {
while (sem_wait(sem) != 0) { }
}
void key_destructor(void *arg) {
printf("key destructorn");
char *name = (char *) arg;
free(name);
}
void thread_init(void) {
pthread_key_create(&key_name, key_destructor);
}
49

void cleanup_lock(void *arg) {
printf("cleanup_lockn");
pthread_mutex_t *lock = (pthread_mutex_t *) arg;
pthread_mutex_unlock(lock);
}
void cleanup_file(void *arg) {
printf("cleanup_filen");
fclose(file);
}
50

void cleanup_death(void *arg) {
printf("cleanup_deathn");
pthread_mutex_lock(&file_lock);
fprintf(file, "%s is deadn",
(char *) pthread_getspecific(key_name));
pthread_mutex_unlock(&file_lock);
if (--nalive == 0) {
printf("The last character is dead.n");
pthread_cond_signal(&alldead_cond);
}
}
51

void *character(void *arg) {
pthread_setcanceltype(PTHREAD_CANCEL_DEFERRED,
NULL);
pthread_setcancelstate(PTHREAD_CANCEL_ENABLE, NULL);
char *name = (char *) malloc(strlen(arg));
strcpy(name, arg);
pthread_setspecific(key_name, name);
nalive++;
52

pthread_cleanup_push(cleanup_death, NULL);
for (;;) {
fprintf(stderr, "I am %sn", name);
pthread_mutex_lock(&file_lock);
pthread_cleanup_push(cleanup_lock, NULL);
pthread_cleanup_push(cleanup_file, NULL);
fprintf(file, "%s was heren",
(char *) pthread_getspecific(key_name));
fclose(file);
pthread_mutex_unlock(&file_lock);
pthread_testcancel();
sleep(1);
}
pthread_cleanup_pop(0); return NULL; }
53

void *grim_reaper(void *arg)
{
for (;;) {
int signo;
int rc = sigwait(&mask, &signo);
if (rc != 0) {
fprintf(stderr, "sigwait() failed");
exit(1);
}
54

switch (signo) {
case SIGQUIT:
printf("SIGQUIT receivedn");
if (nalive > 0) {
struct drand48_data rand48_buffer;
srand48_r(time(NULL), &rand48_buffer);
int rc;
do {
long int char_id;
lrand48_r(&rand48_buffer, &char_id);
char_id %= NTHREADS;
rc = pthread_cancel(tid[char_id]);
} while (rc == ESRCH);
}
break;
default: printf("Unspec. signaln"); exit(1);
} } } /* end of the function */
55

$ ./signal_cleanup
I am Rosencrantz and I am writing to the file
I am Guildenstern and I am writing to the file
I am Polonius and I am writing to the file
I am Claudius and I am writing to the file
I am Gertrude and I am writing to the file
I am Ophelia and I am writing to the file
I am Hamlet and I am writing to the file
I am Laertes and I am writing to the file
I am Claudius and I am writing to the file
56

SIGQUIT received
cleanup_death
key destructor
pkill -SIGQUIT signal_cleanup
57

SIGQUIT received
cleanup_death
key destructor
58

SIGQUIT received
cleanup_death
key destructor
59

SIGQUIT received
cleanup_death
key destructor
SIGQUIT received
cleanup_death
The last character is dead.
key destructor
60

$ cat play
Laertes was here
Rosencrantz was here
Guildenstern was here
Polonius was here
Claudius was here
Gertrude was here
Polonius is dead
Hamlet was here
Laertes was here
…
Laertes was here
Gertrude was here
Hamlet was here
Ophelia is dead
Rosencrantz was here
61

Laertes was here
Gertrude was here
Laertes was here
Gertrude was here
Laertes was here
Gertrude was here
Laertes was here
Laertes is dead
Gertrude was here
Gertrude was here
Gertrude was here
Gertrude was here
Gertrude was here
Gertrude was here
Gertrude is dead
The rest is silence.
62

ПВТ - весна 2015 - Лекция 3. Реентерабельность. Сигналы. Локальные данные потоков. Принудительное завершение

More Related Content

ПВТ - весна 2015 - Лекция 3. Реентерабельность. Сигналы. Локальные данные потоков. Принудительное завершение