ベイズ最適化によるハイパーパラメータ探索についてざっくりと解説しました。
今回紹介する内容の元となった論文
Bergstra, James, et al. "Algorithms for hyper-parameter optimization." 25th annual conference on neural information processing systems (NIPS 2011). Vol. 24. Neural Information Processing Systems Foundation, 2011.
https://hal.inria.fr/hal-00642998/
This document provides an overview of POMDP (Partially Observable Markov Decision Process) and its applications. It first defines the key concepts of POMDP such as states, actions, observations, and belief states. It then uses the classic Tiger problem as an example to illustrate these concepts. The document discusses different approaches to solve POMDP problems, including model-based methods that learn the environment model from data and model-free reinforcement learning methods. Finally, it provides examples of applying POMDP to games like ViZDoom and robot navigation problems.
機械学習の社会実装では、予測精度が高くても、機械学習がブラックボックであるために使うことができないということがよく起きます。
このスライドでは機械学習が不得意な予測結果の根拠を示すために考案されたLIMEの論文を解説します。
Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. "" Why should i trust you?" Explaining the predictions of any classifier." Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.
This document discusses Mahout, an Apache project for machine learning algorithms like classification, clustering, and pattern mining. It describes using Mahout with Hadoop to build a Naive Bayes classifier on Wikipedia data to classify articles into categories like "game" and "sports". The process includes splitting Wikipedia XML, training the classifier on Hadoop, and testing it to generate a confusion matrix. Mahout can also integrate with other systems like HBase for real-time classification.
This document discusses Python and machine learning libraries like scikit-learn. It provides code examples for loading data, fitting models, and making predictions using scikit-learn algorithms. It also covers working with NumPy arrays and loading data from files like CSVs.
Introduction of sensitivity analysis for randamforest regression, binary classification and multi-class classification of random forest using {forestFloor} package
a Japanese introduction of an R package {featuretweakR }
available from: https://github.com/katokohaku/featureTweakR
reference: "Interpretable Predictions of Tree-based Ensembles via Actionable Feature Tweaking" (https://arxiv.org/abs/1706.06691). Codes are at my Github (https://github.com/katokohaku/feature_tweaking)
Intoroduction & R implementation of "Interpretable predictions of tree-based ...Satoshi Kato
a Japanese introduction and an R implementation of "Interpretable Predictions of Tree-based Ensembles via Actionable Feature Tweaking" (https://arxiv.org/abs/1706.06691). Codes are at my Github (https://github.com/katokohaku/feature_tweaking)
Imputation of Missing Values using Random ForestSatoshi Kato
missForest packageの紹介
“MissForest - nonparametric missing value imputation for mixed-type data (DJ Stekhoven, P Bühlmann (2011), Bioinformatics 28 (1), 112-118)
13. • 情報ゲインは次式で表される。
3-1. 理論編:決定木
ΔI = P Q( )I Q( )− P Ai( )I Ai( )
i
∑
• ある質問で得る情報量を情報ゲインと呼ぶ。
質問Q
答A1
QP Q( ):
I Q( ):
前のノードからノード にくる確率
Qノード におけるエントロピー(関数)
答A2
14. 3-1. 理論編:決定木
• のバリエーション
• ②Gini係数(系の不純度の指標)
• ①エントロピー(系の取りうる状態数の指標)
ΔI = P Q( )I Q( )− P Ai( )I Ai( )
i
∑
I A( )
I Q( )= 1− P A |Q( )( )
2
A
∑
高い:乱雑な状態
低い:整理整頓された状態
高い:純度が低い状態
低い:純度が高い状態
I Q( )= − P A |Q( )logP A |Q( )
A
∑
↑大きいと純度が高い(2回続けて同じ目がでるサイコロは純度が高い!)
P k | A( ):ノードAで選択肢kが選ばれる確率※
色んな目がごっちゃにでるサイコロ
ぬるい
冷 温
☝ ️
15. 3-1. 理論編:決定木
• どちらにせよ、エントロピー関数 が低
い値を示すと、情報ゲインが増えます
ΔI = P Q( )I Q( )− P Ai( )I Ai( )
i
∑
I A( )
情報ゲインを最大にする質問を、
各ノードで見つけていく
25. 3-2. 理論編:ランダムフォレスト
・説明変数の重要度について
Ai :
N : 決定木の本数
i番目の決定木にOOBデータを使用し、正しく予想を行った時の正解率
Im =
1
N
Ai − Bm( )i( )i=1
N
∑
Bm( )i
:
OOBデータの説明変数mとなるデータをランダムに並び替え
決定木iに使用し、本来正しくないはずの予想を行った時の正解率
説明変数mの重要度Im :
Out-Of-Bag(OOB:学習に使われなかった残りのデータ)
を使って、説明変数の重要度を計算できる