Linuxのプロセススケジューラ(Reading the Linux process scheduler)

Linuxのプロセススケジューラ
(Reading the Linux process scheduler)
Copyright Hitachi Ltd. 2014. All rights reserved.
日立製作所横浜研究所
豊岡拓 (hiraku.toyooka.gu@hitachi.com)
!
Linux 3.15.0版

プロセススケジューラに関す
るトピックの全体像
プロセススケジューラ
スケジューリング・クラス
CFS Real-time
Dead-line
ロードバランスグループ・
スケジューリング
カーネル内
プリエンプション
stop
idle
省電力
割り込み,
スピンロック
プロセス/スレッド,
時間管理,
高精度タイマ,
tick管理,
etc..
wait-queue,
セマフォ,
ミューテックス,
依存
ユーザ空間へのI/F(システムコール等) etc..
2
共通部(優先度、データ構造、関数)

プロセススケジューリングとは
• 複数のプロセスに対して、どれだけのCPU時間を、どのよう
な順序で割り当てるかを決める方法
• 目標（全部を同時には満たせない）
• 高スループット
• 低レイテンシ
• 公平性の実現
• 実時間制約を満たす
• 省電力
3

スケジューリングクラスとポリシー
• Fairクラス
• SCHED_OTHER, SCHED_BATCH, SCHED_IDLE
• Real-timeクラス
• SCHED_FIFO, SCHED_RR
• Deadlineクラス
• SCHED_DEADLINE
• (Stopクラス、Idleクラス)
• ユーザは使用できない(stop_machineやidleスレッドの実装)
4

Fairクラス(CFS)
• プロセス間の公平性を保ちつつ、CPU利用効率の最大化とイベント処理へ
のレスポンス高速化を両立
• 累積実行時間が最も少ないプロセスにCPUを割り当てる
• ただし、実行可能プロセス数が多い時にプロセス切り替えが頻繁に起こ
るのを防ぐため、最小のタイムスライスを持つ
• SCHED_OTHER: デフォルトのポリシー
• SCHED_BATCH: CPU-intensiveだと仮定してスイッチを起こしにくくする
• SCHED_IDLE: 他に動けるプロセスがいない時だけ実行される
5

Real-timeクラス
• 静的に与えられた優先度の高い順にプロセスをスケジュー
ル
• SCHED_FIFO
• 自発的にCPUを手放さない限り実行し続ける
• SCHED_RR
• 最高優先度のプロセスが複数ある場合、与えられた
タイムスライスによってラウンドロビン実行する
6

Deadlineクラス
• SCHED_DEADLINE
• 処理周期、期限、最大実行時間をプロセスに
与え、期限の早いプロセスから順番にスケ
ジュール
7

優先度
8
ポリシー優先度
（カーネル内）
優先度
優先度
（ユーザ空間） nice値(ps)
SCHED_DEADLINE -1 -
-
-101
SCHED_FIFO,
SCHED_RR
0 99 -100
1 98 -99
.
.
.
.
.
.
97 2 -3
98 1 -2
SCHED_OTHER,
SCHED_BATCH
100
0
-20 0
101 -19 1
.
.
.
.
.
.
120(default) 0 20
.
.
.
.
.
.
138 18 38
139 19 39
SCHED_IDLE - - -
高い
低い

データ構造
• プロセス構造体 (struct task_struct)
• プロセスの状態フラグ
• スケジューリング・クラス (struct sched_class)
• ランキュー (struct rq)
9

struct task_struct
• プロセスを表す構造体
• クラス固有のスケジューリング情報は各クラスの
「エンティティ」で表される
型名前説明
long state プロセスの状態フラグ
int on_rq ランキュー上にプロセスが存在するか否か
int prio プロセスの優先度
unsigned int policy プロセスのスケジューリングポリシー
struct sched_class *sched_class プロセスのスケジューリングクラス
struct sched_entity se fairクラス用のスケジューリングエンティティ
struct sched_rt_entity rt rtクラス用のスケジューリングエンティティ
struct sched_dl_entity dl deadlineクラス用のスケジューリングエンティティ
10

プロセスの状態フラグ
フラグ説明
TASK_RUNNING 実行可能状態(実行中を含む)
TASK_INTERRUPTIBLE 条件待ちによる停止中
TASK_UNINTERRUPTIBLE 同上。シグナルによる割り込み不可
EXIT_ZOMBIE 実行終了後、プロセス構造体の回収待ち
EXIT_DEAD プロセス構造体の回収開始後の状態
TASK_DEAD exit終了後の最後のプロセススイッチ時にスケ
11
ジューリング・クラス固有の処理を呼び出す
TASK_STOPPED シグナル受信による停止中
TASK_TRACED デバッガにより停止中(ptraceで監視中にシグ
ナル受信)
TASK_WAKING 起床中

プロセスの一生
(none)
fork/clone
12
RUNNING
INTERRUPTIBLE
or
UNINTERRUPTIBLE
or
STOPPED
or
TRACED
EXIT_ZOMBIE
EXIT_DEAD
exit
wait
WAKING

struct sched_class
• スケジューリングクラスを表す構造体
• クラス固有処理の関数ポインタの表
• スケジューラ共通処理からクラス固有処理への
呼び出しインタフェース
13

struct sched_class
14
struct sched_class {
const struct sched_class *next;
!
void (*enqueue_task) (struct rq *rq, struct task_struct *p, int flags);
void (*dequeue_task) (struct rq *rq, struct task_struct *p, int flags);
void (*yield_task) (struct rq *rq);
bool (*yield_to_task) (struct rq *rq, struct task_struct *p, bool preempt);
void (*check_preempt_curr) (struct rq *rq, struct task_struct *p, int flags);
struct task_struct * (*pick_next_task) (struct rq *rq, struct task_struct *prev);
void (*put_prev_task) (struct rq *rq, struct task_struct *p);
int (*select_task_rq)(struct task_struct *p, int task_cpu, int sd_flag, int flags);
void (*migrate_task_rq)(struct task_struct *p, int next_cpu);
void (*post_schedule) (struct rq *this_rq);
void (*task_waking) (struct task_struct *task);
void (*task_woken) (struct rq *this_rq, struct task_struct *task);
void (*set_cpus_allowed)(struct task_struct *p, const struct cpumask *newmask);

struct sched_class
15
!
void (*rq_online)(struct rq *rq);
void (*rq_offline)(struct rq *rq);
void (*set_curr_task) (struct rq *rq);
void (*task_tick) (struct rq *rq, struct task_struct *p, int queued);
void (*task_fork) (struct task_struct *p);
void (*task_dead) (struct task_struct *p);
void (*switched_from) (struct rq *this_rq, struct task_struct *task);
void (*switched_to) (struct rq *this_rq, struct task_struct *task);
void (*prio_changed) (struct rq *this_rq, struct task_struct *task, int oldprio);
unsigned int (*get_rr_interval) (struct rq *rq, struct task_struct *task);
void (*task_move_group) (struct task_struct *p, int on_rq);
};

struct rq
• CPUごとに存在するランキューを表す構造体
• ランキュー実体は各クラスのランキュー構造体
16
型名前説明
raw_spinlock_t lock ランキュー自体を保護するロック
unsigned int nr_running ランキュー内のTASK_RUNNING状態のプロセ
ス数
struct cfs_rq cfs fairクラスのランキュー
struct rt_rq rt rtクラスのランキュー
struct dl_rq dl deadlineクラスのランキュー
struct task_struct * curr カレントプロセス
u64 clock ランキュー操作時刻
int cpu このランキューの存在するCPU

スケジューラ関数
• scheduler_tick(void), hrtick(void)
• タイマーtick割り込み時に呼び出され、スケジューリング・
クラスごとのtick時処理（アカウンティングなど）を行う
• try_to_wake_up(p, state, wake_flags)
• プロセスpがstateの条件に合致するならpを起床させる
• schedule(void)
• 次に実行するプロセスを選択し、プロセス切り替えを行う
17

scheduler_tick()
(x86における)呼び出し経路
• smp_apic_timer_interrupt()
• local_apic_timer_interrupt()
• hrtimer_interrupt()
• __run_hrtimer()
• tick_sched_timer()
• tick_sched_handle()
• update_process_times()
• scheduler_tick()
18

void scheduler_tick(void)
{
int cpu = smp_processor_id();
struct rq *rq = cpu_rq(cpu);
struct task_struct *curr = rq->curr;
!
sched_clock_tick();
!
raw_spin_lock(&rq->lock);
update_rq_clock(rq);
curr->sched_class->task_tick(rq, curr, 0);
update_cpu_load_active(rq);
raw_spin_unlock(&rq->lock);
!
perf_event_task_tick();
!
#ifdef CONFIG_SMP
rq->idle_balance = idle_cpu(cpu);
trigger_load_balance(rq);
#endif
rq_last_tick_reset(rq);
}
（スケジューラで利用する時刻情報の
取得関数である）sched_clock()が不安
定な環境のためにsched_clock_dataを
更新
• idle中にHWカウンタが止まるケース
• 周波数の動的な変更でHWカウンタの
進む速度が変わるケース
ランキューのデータを保護するため
スピンロックを取得
(割り込みコンテキストなのでraw_)
プロセスのアカウンティングに使う
ランキュー操作時刻を更新
• さらにCPUごとの割り込み処理時
間＆仮想マシン実行時間の統計情
Copyright Hitachi Ltd. 2013. All rights reserved. 19

{
!
sched_clock_tick();
!
!
!
#ifdef CONFIG_SMP
#endif
}
カレントプロセスの属するスケジュー
リングクラスのtask_tick()メソッドを
呼び出す。
• プロセスのアカウンティング（タイ
ムスライスの更新など）
• プロセス切替え（リスケジューリン
グ）の必要性の確認
• etc.

{
!
sched_clock_tick();
!
!
!
#ifdef CONFIG_SMP
#endif
}
CPU負荷の計算
ロードバランスの開始要求
(raise_softirq(SCHED_SOFTIRQ))
tick割り込み終了後に開始される

hrtick()
• 通常のtickは1msおき（HZ=1000の場合）
• プロセス切替は、カレントプロセスがタイムスライス
を使い切った後のtickで実行される
• タイムスライスを使い切るタイミングでtickを上
げることで高精度な時分割を実現
• HRTICK機能がONの場合(/sys/kernel/debug/sched_features)
22

static enum hrtimer_restart hrtick(struct hrtimer *timer)
{
struct rq *rq = container_of(timer, struct rq, hrtick_timer);
!
WARN_ON_ONCE(cpu_of(rq) != smp_processor_id());
!
rq->curr->sched_class->task_tick(rq, rq->curr, 1);
!
return HRTIMER_NORESTART;
} task_tickの第3引数(int queue)で、
hrtick()からの呼び出しであることを
伝える(=queued tick)
• プリエンプトすべきかどうかのチェッ
クを省略する

try_to_wake_up()
• 下記の3関数から呼ばれる
• wake_up_process()
• TASK_{UN}INTERRUPTIBLEのプロセスのみ起床
• wake_up_state()
• 指定した状態のプロセスのみ起床
• default_wake_function()
• wait queue等のコールバックとして使われる
• wake_flagsを使用(今回は未調査)
24

static int
try_to_wake_up(struct task_struct *p, unsigned int state, int wake_flags)
{
unsigned long flags;
int cpu, success = 0;
!
smp_mb__before_spinlock();
raw_spin_lock_irqsave(&p->pi_lock, flags);
if (!(p->state & state))
goto out;
!
success = 1; /*we're going to change ->state*/
cpu = task_cpu(p);
!
if (p->on_rq && ttwu_remote(p, wake_flags))
goto stat;
p: 起床させるプロセス
state: pがどの状態であれば起床させ
るかの条件
wake_flags:
プロセスpが指定されたstateでない
なら終了
プロセスpがまだランキューに残ってい
る場合、ttwu_remoteを呼び出してラ
ンキュー操作の不要な軽量起床を行う
1. pと起床先CPUのカレントプロセスを
比較して必要ならプリエンプト要求
を出す
2. pの状態をTASK_RUNNINGへ戻す
3. pが起床先CPUですぐに実行できな
い場合、他CPUで実行できるか試み
る(SMPかつrt, deadlineクラスのみ)

#ifdef CONFIG_SMP
while (p->on_cpu)
cpu_relax();
起床先CPUで（ランキューから外さ
れている）プロセスpが別のプロセス
へ切り替わるのを待つ
smp_rmb();
p->sched_contributes_to_load = !!task_contributes_to_load(p);
p->state = TASK_WAKING;
!
if (p->sched_class->task_waking)
p->sched_class->task_waking(p);
プロセスpの状態をWAKING(起床中)に変更
プロセスpの所属クラスの
task_waking()メソッド呼び出し
• fairクラスのみ: 仮想実行時間
(vruntime)の補充
cpu = select_task_rq(p, p->wake_cpu, SD_BALANCE_WAKE, wake_flags);
if (task_cpu(p) != cpu) {
wake_flags |= WF_MIGRATED;
set_task_cpu(p, cpu);
}
#endif /* CONFIG_SMP */
!
ttwu_queue(p, cpu);
stat:
ttwu_stat(p, cpu, wake_flags);
out:
raw_spin_unlock_irqrestore(&p->pi_lock, flags);
return success;
}

#ifdef CONFIG_SMP
while (p->on_cpu)
cpu_relax();
smp_rmb();
!
プロセスpの所属クラスの
select_task_rq()メソッドを呼び
出し、起床先CPUを決定
}
!
ttwu_queue(p, cpu);
stat:
out:
return success;
}
プロセスpの元の動作CPUと起床
先CPUが異なる場合、pの動作CPU
を新たにセットする

#ifdef CONFIG_SMP
while (p->on_cpu)
cpu_relax();
smp_rmb();
!
基本パス
1. プロセスpをランキューへ入れる
2. pと起床先CPUのカレントプロセスを比較して必要
ならプリエンプト要求を出す
3. pの状態をTASK_RUNNINGへ戻す
4. pが起床先CPUですぐに実行できない場合、他CPU
で実行できるか試みる(SMPかつrt, deadlineクラス
のみ)
!
TTWU_QUEUE機能がON、かつ、起床元CPUと起床先
CPUがlast-levelキャッシュを共有していない場合
1. 起床先CPUランキューのwake_listへ繋ぐ
2. rescheduling IPIを起床先CPUへ送る
→CPU間でランキューのロック競合を起こさずに済む
}
!
ttwu_queue(p, cpu);
stat:
out:
return success;
}

schedule()
• 明示的な呼び出し
• ミューテックス、セマフォ、wait-queue
• プリエンプションによる呼び出し
• カレントプロセスにTIF_NEED_RESCHEDフラグが
立っている状態でチェックポイント（後述）を実行
した時
29

TIF_NEED_RESCHEDの
チェックポイント
• CONFIG_PREEMPT=y の時
• システムコールや例外中にプリエンプションが許可された時
• 割り込みハンドラ終了時
• CONFIG_PREEMPT is not set の時
• cond_resched()が呼ばれた時
• システムコール/例外/割り込みからユーザ空間へ戻る時
30

schedule()
31
asmlinkage __visible void __sched schedule(void)
{
struct task_struct *tsk = current;
!
sched_submit_work(tsk);
__schedule();
}
スリープする前にキューイングして
おいたブロックI/Oをsubmitする

static void __sched __schedule(void)
{
struct task_struct *prev, *next;
unsigned long *switch_count;
struct rq *rq;
int cpu;
!
need_resched:
preempt_disable();
cpu = smp_processor_id();
rq = cpu_rq(cpu);
rcu_note_context_switch(cpu);
prev = rq->curr;
!
schedule_debug(prev);
!
if (sched_feat(HRTICK))
hrtick_clear(rq);
!
smp_mb__before_spinlock();
raw_spin_lock_irq(&rq->lock);
プリエンプションがネストしないよ
うに無効化しておく
prev(切り替え前)プロセス
＝カレントプロセス
ランキューのロック獲得

switch_count = &prev->nivcsw;
if (prev->state && !(preempt_count() & PREEMPT_ACTIVE)) {
if (unlikely(signal_pending_state(prev->state, prev))) {
prev->state = TASK_RUNNING;
} else {
prevプロセスがTASK_RUNNINGで
ない
&&
明示的な__schedule()呼び出し
deactivate_task(rq, prev, DEQUEUE_SLEEP);
prev->on_rq = 0;
!
if (prev->flags & PF_WQ_WORKER) {
struct task_struct *to_wakeup;
!
to_wakeup = wq_worker_sleeping(prev, cpu);
if (to_wakeup)
try_to_wake_up_local(to_wakeup);
}
}
switch_count = &prev->nvcsw;
}
!
if (prev->on_rq || rq->skip_clock_update < 0)

} else {
prevプロセスにペンディング中のシ
グナルがある場合、prevを再度
RUNNING状態へ戻す
prev->on_rq = 0;
!
!
if (to_wakeup)
}
}
}
!

} else {
prev->on_rq = 0;
!
!
シグナルペンディング中でないなら、
prevプロセスをランキューから外す
if (to_wakeup)
}
}
}
!

next = pick_next_task(rq, prev);
clear_tsk_need_resched(prev);
clear_preempt_need_resched();
rq->skip_clock_update = 0;
!
if (likely(prev != next)) {
全スケジューリングクラスのプロセ
スのうち、最も優先度の高いものを
nextプロセスとして選択
prev != nextならプロセス切り替えへ入る。
カレントプロセスをnextに変更。
rq->nr_switches++;
rq->curr = next;
++*switch_count;
context_switch(rq, prev, next); /* unlocks the rq */
!
rq = cpu_rq(cpu);
} else
raw_spin_unlock_irq(&rq->lock);
!
post_schedule(rq);
!
sched_preempt_enable_no_resched();
if (need_resched())
goto need_resched;
}
プロセス間のコンテキストを切り替える。
戻ってきた時にはrq->lockはunlockされて
いる。
カーネルスタックが切り替わっているので、
ローカル変数を更新

next = pick_next_task(rq, prev);
clear_tsk_need_resched(prev);
clear_preempt_need_resched();
rq->skip_clock_update = 0;
!
if (likely(prev != next)) {
rq->nr_switches++;
rq->curr = next;
++*switch_count;
context_switch(rq, prev, next); /* unlocks the rq */
!
rq = cpu_rq(cpu);
} else
raw_spin_unlock_irq(&rq->lock);
!
post_schedule(rq);
!
sched_preempt_enable_no_resched();
if (need_resched())
goto need_resched;
}
各スケジューリングクラスのプロセス切り
替え後に実行すべき処理を実行
• rt, deadlineクラスのみ: カレントプロセ
ス以外で優先度の高いプロセスを他のCPU
で実行できないか試みる
• システム全体で優先度順になるように
プリエンプションを有効化する。
ただし、__schedule()をネストさ
せないようにプリエンプション処
理は関数内のループにより行う

Linuxのプロセススケジューラ(Reading the Linux process scheduler)

More Related Content

Linuxのプロセススケジューラ(Reading the Linux process scheduler)