Location via proxy:
[ UP ]
[Report a bug]
[Manage cookies]
No cookies
No scripts
No ads
No referrer
Show this form
Submit Search
Submit Search
Upload
はじめよう多変量解析~主成分分析編~
•
157 likes
•
161,645 views
第31回Tokyo.Rで発表した資料です。Rを用いて主成分分析について解説しています。
Read less
Read more
1 of 96
Download now
Download to read offline
More Related Content
はじめよう多変量解析~主成分分析編~
1.
第 31 回
Tokyo.R はじめよう多変量解析 ~主成分分析編~ @sanoche16
2.
About me
3.
About me ・佐野宏喜、 @sanoche16 ・現在の地位はフリーター
( システムエンジニア ) 注)ニートではありません!! ・ PHP, Python, Linux, Java, Ruby, assembler ・商学部出身 ・最近、機械学習の勉強を始めました! ・修行が終わったら起業します!
4.
agenda
5.
1、多変量解析とは 2、主成分分析の簡単なお話 3、2次元から多次元に 4、量的データから質的データに agenda
6.
1、多変量解析とは
7.
多変量解析とは? 「多数の変量を持つデータを 用いた分析」 1、多変量解析とは
8.
1、多変量解析とは 広告費 社員数 会員数
売上 A 社 12 億円 2000 人 100 万人 200 億円 B 社 2 億円 1200 人 150 万人 750 億円 C 社 10 億円 800 人 60 万人 600 億円 D 社 8 億円 1000 人 200 万人 ? 例えば・・・ 変量 デ | タ
9.
1、多変量解析とは 広告費 社員数 会員数
売上 A 社 12 億円 2000 人 100 万人 200 億円 B 社 2 億円 1200 人 150 万人 750 億円 C 社 10 億円 800 人 60 万人 600 億円 D 社 8 億円 1000 人 200 万人 ? 例えば・・・ 変量 デ | タ D 社の売上はいくらと予想出来るか!?
10.
1、多変量解析とは 広告費 社員数 会員数
売上 A 社 12 億円 2000 人 100 万人 200 億円 B 社 2 億円 1200 人 150 万人 750 億円 C 社 10 億円 800 人 60 万人 500 億円 D 社 8 億円 1000 人 200 万人 550 億円 例えば・・・ 変量 デ | タ
11.
1、多変量解析とは 広告費 社員数 会員数
売上 A 社 12 億円 2000 人 100 万人 200 億円 B 社 2 億円 1200 人 150 万人 750 億円 C 社 10 億円 800 人 60 万人 500 億円 D 社 8 億円 1000 人 200 万人 550 億円 例えば・・・ 変量 デ | タ 予測出来た!
12.
1、多変量解析とは 国語 数学 社会
理科 A 君 82 点 68 点 92 点 76 点 B 君 76 点 98 点 58 点 62 点 C 君 80 点 92 点 72 点 86 点 D 君 86 点 74 点 82 点 90 点 例えば・・・ 変量 デ | タ
13.
1、多変量解析とは 国語 数学 社会
理科 A 君 82 点 68 点 92 点 76 点 B 君 76 点 98 点 58 点 62 点 C 君 80 点 92 点 72 点 86 点 D 君 86 点 74 点 82 点 90 点 例えば・・・ 変量 デ | タ 2つのタイプに分けたい!
14.
1、多変量解析とは 例えば・・・ 文系 理系
15.
1、多変量解析とは 例えば・・・ 文系 理系 2つに分けられた!
16.
多変量解析を行うには? 1変量・2変量の分析が出来なければいけない! 必要な知識 平均・分散・共分散・相関係数・行列演算 たったこれだけ!! 1、多変量解析とは
17.
多変量解析を行うには? 1変量・2変量の分析が出来なければいけない! 必要な知識 平均・分散・共分散・相関係数・行列演算 たったこれだけ!! とは言え必要な知識 微分積分・分布(正規分布など) 1、多変量解析とは
18.
多変量解析を行うには? 1変量・2変量の分析が出来なければいけない! 必要な知識 平均・分散・共分散・相関係数・行列演算 たったこれだけ!! とは言え必要な知識 微分積分・分布(正規分布) 1、多変量解析とは 注)数式を使って統計学を学びましょう。
19.
多変量解析の例 回帰分析・主成分分析・因子分析・判別分析・・・ 1、多変量解析とは
20.
多変量解析の例 回帰分析・主成分分析・因子分析・判別分析・・・ 1、多変量解析とは 本日はこれ
21.
2、主成分分析の 簡単なお話
22.
以下の8社を企業の規模順に並べたいとする 2、主成分分析の簡単なお話 時価総額 純資産 ガンホー 1,267
32 マツモトキヨシ 137 137 旭化成 952 824 キリン 1662 1278 アオキ 139 111 資生堂 601 304 第一生命 1412 1649 シャープ 629 135 注)単位は十億円
23.
以下の8社を企業の規模順に並べたいとする 2、主成分分析の簡単なお話 時価総額 純資産 ガンホー 1,267
32 マツモトキヨシ 137 137 旭化成 952 824 キリン 1662 1278 アオキ 139 111 資生堂 601 304 第一生命 1412 1649 シャープ 629 135 どれが大企業か?? 注)単位は十億円
24.
とりあえずプロットする 2、主成分分析の簡単なお話
25.
とりあえずプロットする 2、主成分分析の簡単なお話 大企業?
26.
とりあえずプロットする 2、主成分分析の簡単なお話 大企業? 大企業?
27.
とりあえずプロットする 2、主成分分析の簡単なお話 大企業? 大企業? 大企業?
28.
とりあえずプロットする 2、主成分分析の簡単なお話 大企業? 大企業? 大企業? 大企業?
29.
2次元だと分かりにくい!! 2、主成分分析の簡単なお話
30.
2次元だと分かりにくい!! 出来れば得点をつけて1列に並べたい!! 2、主成分分析の簡単なお話
31.
2次元だと分かりにくい!! 出来れば得点をつけて1列に並べたい!! => 得点をつける方法 を考える 2、主成分分析の簡単なお話
32.
TRY IT!! 2、主成分分析の簡単なお話
33.
もう一度眺めてみる 2、主成分分析の簡単なお話
34.
もう一度眺めてみる 2、主成分分析の簡単なお話 1、線を引く(有向線分)
35.
もう一度眺めてみる 2、主成分分析の簡単なお話 1、線を引く(有向線分) 2、各点から線を降ろす
36.
もう一度眺めてみる 2、主成分分析の簡単なお話 1、線を引く(有向線分) 2、各点から線を降ろす 1位 2位 3位 4位 5位6位 7位8位
37.
もう一度眺めてみる 2、主成分分析の簡単なお話 1、線を引く(有向線分) 2、各点から線を降ろす 1位 2位 3位 4位 5位6位 7位8位 順位づけ出来た!!
38.
~まとめ~ ・主成分分析(2次元の場合)とは? 2次元データ(時価総額と純資産)を変換して1次元 (企業規模を表す得点)データに置き換えること 2、主成分分析の簡単なお話
39.
~まとめ~ ・主成分分析(2次元の場合)とは? 2次元データ(時価総額と純資産)を変換して1次元 (企業規模を表す得点)データに置き換えること 分かりやすい! 超便利!! 2、主成分分析の簡単なお話
40.
みんな大好きな数学 のお話 2、主成分分析の簡単なお話
41.
そもそも問題は。。。 「企業の規模を時価総額と純資産の両方を考慮して評価 したい」 => 重み付けして考える 企業規模を
z とおく。 時価総額を x1 、純資産を x2 とおいて という式を作り上げればよい 2、主成分分析の簡単なお話
42.
例えば 2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) x1 x2 z ガンホー 1,267 32 1,267 32 1299 マツモトキヨシ 137 137 137 137 274 旭化成 952 824 952 824 1776 キリン 1662 1278 1662 1278 2940 アオキ 139 111 139 111 250 資生堂 601 304 601 304 905 第一生命 1412 1649 1412 1649 3061 シャープ 629 135 629 135 764
43.
2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) x1 2 × x2 z ガンホー 1,267 32 1,267 64 1331 マツモトキヨシ 137 137 137 274 411 旭化成 952 824 952 1648 2600 キリン 1662 1278 1662 2556 4218 アオキ 139 111 139 222 361 資生堂 601 304 601 608 1209 第一生命 1412 1649 1412 3298 4710 シャープ 629 135 629 270 899 例えば
44.
2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) 3 × x1 x2 z ガンホー 1,267 32 3809 32 3833 マツモトキヨシ 137 137 411 137 548 旭化成 952 824 2856 824 3680 キリン 1662 1278 4986 1278 6264 アオキ 139 111 417 111 528 資生堂 601 304 1803 304 2107 第一生命 1412 1649 4236 1649 5885 シャープ 629 135 1887 135 2022 例えば
45.
一般化 2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) a1 × x1 a2 × x2 z ガンホー 1,267 32 1267a1 32a2 1267a1 + 32 a2 マツモトキヨシ 137 137 137a1 137a2 137a1 + 137a2 旭化成 952 824 952a1 824a2 952a1 + 824a2 キリン 1662 1278 1662a1 1278a2 1662a1 + 1278a2 アオキ 139 111 139a1 111a2 139a1 + 111a2 資生堂 601 304 601a1 304a2 601a1 + 304a2 第一生命 1412 1649 1412a1 1649a2 1412a1 + 1649a2 シャープ 629 135 629a1 135a2 629a1 + 135a2
46.
一般化 2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) a1 × x1 a2 × x2 z ガンホー 1,267 32 1267a1 32a2 1267a1 + 32 a2 マツモトキヨシ 137 137 137a1 137a2 137a1 + 137a2 旭化成 952 824 952a1 824a2 952a1 + 824a2 キリン 1662 1278 1662a1 1278a2 1662a1 + 1278a2 アオキ 139 111 139a1 111a2 139a1 + 111a2 資生堂 601 304 601a1 304a2 601a1 + 304a2 第一生命 1412 1649 1412a1 1649a2 1412a1 + 1649a2 シャープ 629 135 629a1 135a2 629a1 + 135a2 とおく
47.
どうやって a1, a2
を決めればよいか?? 2、主成分分析の簡単なお話
48.
一般化 2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) a1 × x1 a2 × x2 z ガンホー 1,267 32 1267a1 32a2 1267a1 + 32 a2 マツモトキヨシ 137 137 137a1 137a2 137a1 + 137a2 旭化成 952 824 952a1 824a2 952a1 + 824a2 キリン 1662 1278 1662a1 1278a2 1662a1 + 1278a2 アオキ 139 111 139a1 111a2 139a1 + 111a2 資生堂 601 304 601a1 304a2 601a1 + 304a2 第一生命 1412 1649 1412a1 1649a2 1412a1 + 1649a2 シャープ 629 135 629a1 135a2 629a1 + 135a2 z で会社の規模を判断したい =>z が最もバラつくように a1, a2 決める =>z の分散を最大化するように a1, a2 を決める!
49.
一般化 2、主成分分析の簡単なお話 z の平均: z の分散: z
の分散を最大化させるような a1, a2 を決める x1 の分散 x2 の分散 X1, x2 の共分散
50.
一般化 2、主成分分析の簡単なお話 z の分散: これだけでは a1,
a2 は決まらない(当たり前) => a1 と a2 の関係を決める必要がある => を制約条件式とする ※ これ以外の制約式を使った事がある方がいれ ばぜひ教えてください!
51.
一般化 2、主成分分析の簡単なお話 要するに の元で を最大化 => 条件付き極値問題に帰着出来た! 注)理系数学を学んでいない方はこの辺りから少々難しくなってくる かも知れませんが、実際やってみるととても簡単なお話です。
52.
一般化 2、主成分分析の簡単なお話 ラグランジュの乗数法を使って解く! から とおくと
53.
一般化 2、主成分分析の簡単なお話 よって を解けばよい! 行列を用いて表現すると 分散共分散行列
54.
一般化 2、主成分分析の簡単なお話 よって を解けばよい! 行列を用いて表現すると 分散共分散行列 固有値問題になった!
55.
一般化 2、主成分分析の簡単なお話 ところで を上式 ×a1 、下式
×a2 をして足してみると z の分散になった! λ は z の分散だった!
56.
一般化 2、主成分分析の簡単なお話 R を使って解いてみる 解けた!
57.
一般化 2、主成分分析の簡単なお話 λ = 610211.2,
98476.9 と 2 つ出てくるが、分散 (λ) の大きい方を選べばよい よって、 λ = 610211.2 のとき、 となる!
58.
一般化 2、主成分分析の簡単なお話 λ = 610211.2,
98476.9 と 2 つ出てくるが、分散 (λ) の大きい方を選べばよい よって、 λ = 610211.2 のとき、 となる! (* ∇ ̄  ̄ *) エヘヘ
59.
実際に使ってみる 2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) 0.67 × x1 0.74 × x2 z ガンホー 1,267 32 848.89 23.68 872.57 マツモトキヨシ 137 137 91.79 101.38 193.17 旭化成 952 824 637.84 609.76 1247.60 キリン 1662 1278 1113.54 945.72 2059.26 アオキ 139 111 93.13 82.14 175.27 資生堂 601 304 402.67 224.96 627.63 第一生命 1412 1649 946.04 1220.26 2166.30 シャープ 629 135 421.43 99.90 521.33
60.
実際に使ってみる 2、主成分分析の簡単なお話 時価総額 (x1) 純資産
(x2) 0.67 × x1 0.74 × x2 z ガンホー 1,267 32 848.89 23.68 872.57 マツモトキヨシ 137 137 91.79 101.38 193.17 旭化成 952 824 637.84 609.76 1247.60 キリン 1662 1278 1113.54 945.72 2059.26 アオキ 139 111 93.13 82.14 175.27 資生堂 601 304 402.67 224.96 627.63 第一生命 1412 1649 946.04 1220.26 2166.30 シャープ 629 135 421.43 99.90 521.33 主成分得点が出せた!
61.
さらに上へ 2、主成分分析の簡単なお話 もうひとつの λ =
98476.9 と とはなんだろうか??
62.
比べてみる 2、主成分分析の簡単なお話 ・固有値 λ =
610211.2 λ = 98476.9 ・固有ベクトル 直行している!!
63.
もう一度眺めてみる 2、主成分分析の簡単なお話 ← 最初に求めた主成分 =
第1主成分
64.
もう一度眺めてみる 2、主成分分析の簡単なお話 ← 最初に求めた主成分 =
第1主成分 →もう1つの主成分 =第2主成分
65.
もう一度眺めてみる 2、主成分分析の簡単なお話 ← 最初に求めた主成分 =
第1主成分 →もう1つの主成分 =第2主成分 この2つの方向ですべて の情報を表現出来る!
66.
1本だけだと 2、主成分分析の簡単なお話 ← 主成分得点
67.
1本だけだと 2、主成分分析の簡単なお話 ← 主成分得点 →情報の損失が生じる
68.
もう1本引くことで 2、主成分分析の簡単なお話 ← 主成分得点 →情報の損失 情報の損失を補って いる
69.
ふと疑問 2、主成分分析の簡単なお話 第1主成分だけでどれくらい 表現出来ているのか?
70.
寄与率 2、主成分分析の簡単なお話 ・ λ は1つの主成分得点の分散を表している ・すべての主成分の分散により、すべてのデータの分散が 表現できる ので 第1主成分の寄与率(どれくらい説明出来ているか)は で表せる!
71.
今回は 2、主成分分析の簡単なお話 ・2つの λ は
610211.2 と 98476.9 なので 第1主成分の寄与率 = 第2主成分の寄与率 =
72.
主成分の解釈 2、主成分分析の簡単なお話 ・ところで主成分とは?? ・数学的な解釈はここまでなのであとは勘と経験で解釈する z1 は時価総額・純資産共に高ければ高いほど良い =>
企業の規模を表す(はず) z2 は時価総額が低いほどよく、純資産が高いほどよい => 企業への期待の少なさを表す (はず)
73.
R を用いて 2、主成分分析の簡単なお話 ~ R
でやってみる~ ・ prcomp 関数にデータフレームを入れれば良い 第 1 主成分 第2主成分第 1 主成分 注)データを標準化して分析したい場合は prcomp 関数の引数 scale に T を指定する
74.
R を用いて 2、主成分分析の簡単なお話 個々の主成分得点は x
にアクセス 注)各々で平均が 0 になるよう調整されている
75.
R を用いて 2、主成分分析の簡単なお話 寄与率は要約でみる( λ
(分散)の平方根、寄与率、累積 寄与率を表示)
76.
R を用いて 2、主成分分析の簡単なお話 寄与率は要約でみる( λ
(分散)の平方根、寄与率、累積 寄与率を表示) 出来た!
77.
R を用いて 2、主成分分析の簡単なお話 可視化は biplot
を利用するとよい 主成分の2軸にそってデータを plot してくれる!
78.
3、2次元から 多次元へ
79.
多次元の主成分分析 3、2次元から多次元へ ・基本的に2次元の主成分分析と変わらない ・次元(軸)の数だけ主成分が出てくる ・主成分得点の形:
80.
実際にやってみる 3、2次元から多次元へ 安打 本塁打 打点
三振 四球 松本 27 3 9 19 4 山崎 10 1 6 8 1 田村 23 4 15 19 11 ブランコ 64 21 58 45 29 中村 54 7 25 23 19 後藤 7 2 4 7 2 荒波 35 0 5 26 8 鶴岡 19 0 11 13 7 6/1 に yahoo より作成
81.
データの作成 3、2次元から多次元へ
82.
結果 3、2次元から多次元へ
83.
結果 3、2次元から多次元へ 寄与率が 99% なので第
3 主成分まで考えてみる
84.
結果 3、2次元から多次元へ ・第1主成分 z =
0.44× 安打+ 0.44× 本塁打+ 0.45× 打点+ 0.44× 三振+ 0.46× 四球 => どれだけ試合に出場しているか ・第2主成分 z = 0.59× 安打- 0.57× 本塁打- 0.43× 打点+ 0.37× 三振+ 0.06× 四球 => 短打力(逆は長打力) ・第3主成分 z = 0.33× 安打- 0.18× 本塁打+ 0.10× 打点- 0.77× 三振+ 0.50× 四球 => 逃げる力(三振をとにかく回避)
85.
可視化 3、2次元から多次元へ
86.
可視化 3、2次元から多次元へ 実は中村とブランコは タイプが全然違う!!
87.
4、量的データから 質的データに
88.
これまでのもの 4、量的データから質的データに ・データはすべて量的データであった (例:売上、時価総額、点数、打数・・・) ・質的データ( R の
factor )の分析は出来ないか?? (例:美味しさ、清潔さ、香り、コク・・・) => 質的データも量的データに変換して考える
89.
例えば 4、量的データから質的データに ・アンケートをとる (問)運転をしますか? (1)する (2)しない (問)甘いものは好きですか? (1)大好き (2)好き (3)好きではない
90.
例えば 4、量的データから質的データに ・アンケートをとる (問)運転をしますか? (1)する (2)しない => 1
点、0点 (問)甘いものは好きですか? (1)大好き (2)好き (3)好きではない => 1 点、 0 点、 -1 点 それぞれを得点化する!
91.
とても良い記事 4、量的データから質的データに Markezineの Excel ビジネス統計
92.
ということで拝借 4、量的データから質的データに コク 香り 酸味 S
マルタ -0.116248 1.2456822 1.5275252 モーニング S -1.278724 -1.245682 0.0727393 BOSS 1.0462287 -0.415227 0.8001323 FIRE 1.0462287 0.4152274 -0.654654 サンタマルタ 1.0462287 1.2456822 1.5275252 BLACK 無糖 0.4649906 -0.415227 -0.654654 UCCB -1.278724 1.2456822 -1.382047 ジョージア B -1.278724 -1.245682 -1.382047 ROOT -0.697486 -1.245682 0.0727393 WANDA 1.0462287 0.4152274 0.0727393
93.
データの作成 4、量的データから質的データに
94.
結果 4、量的データから質的データに
95.
結果 4、量的データから質的データに
96.
ご清聴ありがとうございました! Thank you
Download now