Our website uses cookies to enhance your experience. By continuing to use our site, or clicking "Continue," you are agreeing to our Cookie Policy | Continue

比較は大事ですが、比較をするときには対象を吟味しなければなりません。 今回もハイビームとロービームを例に挙げましょう。車のライトをより遠くまで照らせるハイビームが交通事故を減らせるかどうかを検証するにはどうすればいいでしょうか。 「死亡事故のうち、９６％の車のライトがロービームだった」ということだけでは、ロービームが交通事故を起こす要因とは言えません。何かと比較しなければなりません。そこで、死亡事故が起きた地点を通る車のロービームの割合を調べてみて、80％がロービームだったとしましょう。96％対80％で、死亡事故中のロービームの割合のほうが対照より高いので、ロービームが交通事故を引き起こす原因の一つであることが示唆されます。 断言ではなく、「示唆」です。というのも、ロービームが交通事故の原因でなくても、このような差が生じることがあるからです。たとえば、安全運転を心掛けている人がハイビームに

今回は仕事で解析をしていて「おっと危ない」と思ったことについて書いてみます。結論からいうと「信頼区間と予測区間を混同しないように注意しましょう！」という話です*1。 課題：BODの値からTOCの値を推定したい 最近ややあってBOD（生物化学的酸素要求量）の値からTOC（全有機炭素量）の値を推定してみようと思いました*2。 試しに東京都の15地点から得られている水質データを用いてRで両者の散布図を描いてみると以下のようになりました（データはこちら：BOD-TOC.txt ）。相関はあるものの、バラツキもかなりあります。 BOD2TOC.data <- read.table("BOD-TOC.txt",sep=",") TOC <- BOD2TOC.data$TOC BOD <- BOD2TOC.data$BOD plot(BOD,TOC,type="p",xlim=c(0,6),ylim=c

cyborg0012さんによる「韓国ではスクリーニングブームが始まった2000年前後から年齢調整死亡率が低下している」という主張が正しくないことを指摘するために、前回のエントリー（■韓国において、1997年から2011年にかけて、甲状腺がんによる死亡率は低下したとは言えない）を書いた。これをわかりやすく一枚の図にまとめてみた*1。 韓国における男性の甲状腺がんの年齢調整死亡率の年次推移からは「2000年前後から年齢調整死亡率が低下している」とは言えない Y. M. Choi(2014)*2においては、5年おきのデータしか提示されていなかったので、「2000年から2010年にかけて死亡率が低下した」と誤って解釈してしまうのは仕方がない。しかし、こうして毎年度のデータを提示することで、少なくとも「韓国では2000年前後から年齢調整死亡率が低下している」という主張は取り下げていただけるものと期待

概要 世界の甲状腺癌の現状における、長崎大学名誉教授の長瀧重信氏の発言に端を発する議論についてです。その発言は、次のようです。 甲状腺癌と診断され、手術される患者の数は確実に増えているにも関わらず、甲状腺癌の死亡率は減少していません。少なくとも手術される患者の増加に比べて死亡率の減少は、はるかに緩やかです。その結果、「手術しなくても死亡しない患者」が手術されているのではないか、という考えも出てきました。 これについて、twitter上で幾人かの方が、疑問を呈していました。つまり、長瀧氏は何かおかしな事を言っているのではないか、との指摘です。その流れで、sivad氏が、次のような主張をします。 @sivad ちょっと考えればわかるけど、ここでの死亡率は無論甲状腺がんによる死亡率なので、「手術しなくても死亡しない患者を手術」して件数が増えているのであれば、その分の死亡率は確実に減るわけ。それが

現代統計学の父、ロナルド・Ａ・フィッシャーはひょんなことで、科学哲学を揺り動かし、科学で扱える対象の領域を爆発的に拡大させた「ランダム化比較実験計画法」を思いつきます。 １９２０年代のイギリスで男女が屋外のテーブルで紅茶を楽しんでいたとき、ある婦人が「紅茶を先に入れたミルクティ」か「ミルクを先に入れたミルクティ」か味が全然違うからすぐにわかると言いました。 その場にいた紳士たちは、婦人の主張を笑い飛ばしました。そのときフィッシャーは「その命題をテストしてみようじゃないか」と提案し、さっそくティカップをずらりと並べ、婦人に見えない場所で２種類の違った入れ方ミルクティを用意し、ランダムな順番で婦人にミルクティを飲ませ、婦人の答えを書き留めた後でちょっとした確率の計算をするという実験を行ないました。これが世界で最初に行なわれたランダム化比較実験だそうです。 ちなみに婦人は出されたミルクティをすべ

2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と

（R Advent Calendar １日目） こういう話がある。 花澤さんが「有意差でたよっ」っていうボイスが入手できるならすべての操作をRに持っていく— kazutan (@kazutan) 2014, 4月 19 声優の花澤香菜さんは売れっ子なのでなかなか難しい。 ということで某所で協力を募った。 http://koebu.com/koe/d86e6a87facfe52e707b73539d88f4ff1f6f48ae#boxKoeLink ありがとうももかさん。 個人的には.Rprofileに下記のように記述して楽しんでいる。 library(yeah) detayo() yeahパッケージをインストールしていない方は以下からどうぞ。 devtools::install_github("dichika/yeah") 現場からは以上です。

石井准教授の作成した「統計解析ソフトRのスクリプト集」をオンラインで公開します。名古屋大学教育学部の「心理・教育の統計学」の授業で実際に使用されている教材です。学習・研究にご活用下さい。 2016.4.5 Ver. 4.0βを公開しました。棒グラフオプション、オメガ係数、効果量、標本サイズの推定などの記述が加わりました。 2015.3.18 Ver. 3.0βを公開しました。記述統計量の算出の部分を統一的にしたのと、データ例を書籍にあわせて変えています。 2014.11.4 Ver. 2.2βを公開しました。 統計解析ソフトＲのスクリプト集 (PDF) 下記のサイトでは、シラバスと講義資料が公開されています。あわせてご活用下さい。 「心理・教育の統計学」（名大の授業） 講義資料 (PDF) ーーー はじめに　石井秀宗 この冊子は，心理学や教育学の研究でよく用いられる統計手法に関して，統計解

どもっす。林岳彦です。さいきん軽い気持ちで某国際誌の総説論文の査読を引き受けたのですが、「どんな論文だろ？」と思いつつ査読対象の原稿をいざダウンロードしてみたら本文100頁アンド全体300頁もある超長尺の総説であることに気づき、「殺す気か！」「査読テロやで！」と思いました。 いやでもまじで300頁もレビューするの？ この悲しみをどうすりゃいいの？ 誰がぼくを救ってくれるの？ この世はまさに大迷惑？？？ というかんじです。もう街のはずれでシュビドゥバーです。 いやもうホントに「レビュワー感謝の日」みたいの作ったほうが良いよね。 というわけで。 今回から、確率概念について説明していきたいと思います。 （今回も非常に長い記事になってしまいました。すみません。。。） 確率という概念の「規格」について、様相論理を経由して説明します 前回の今シリーズの概要説明の記事で書いたように、まずは、確率という概

お久しぶりです。林岳彦です。もうすぐ『愛なき世界』の日、いわゆる（マイブラッディ）バレンタインデーですね。何かと雑音が多いこの世界ですが、いつでも自分の足元を見つめて行きましょう。 さて。 今回は、以下の： そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 銀座で働くデータサイエンティストのブログ 統計学的検定に対するある拒絶反応: ニュースの社会科学的な裏側 A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT のあたりの皆様の良記事に触発されて「仮説検定」について何か書いてみようと思いました。で、書こうと思えば色々な側面から書ける気もするのですが、今回はちょっと斜めからのアプローチとして、「リスク分析の人の頭のなかで仮説検定はこんな感じに見えている」というところを書いていきたいと思います。 ここで、ひ

こんにちは。林岳彦です。はてなジョシュ（バーネット）です。今回から「はてなブログ」へ引っ越しました。今後とも引きつづきよろしくお願いします。 さて。 前回までの記事では、実験データではない調査観察データを用いた因果効果の推定における注意すべきバイアスの類型について書いてきました。 ここでなぜわざわざ「実験データではない」という但し書きをつけているのかというと、適切なデザインに基づき行われた実験（もしくは介入を伴う調査）からのデータは、処理・条件の違いによる結果の差を素直に「因果効果」とみなして解釈できるので、余り細かいことを考えなくても大丈夫だからです*1。 はい。 では、そもそも、なぜそのような実験では「結果の差を素直に因果効果とみなせる」のでしょうか？ 今回は、その背景となるロジックについて書いていきたいと思います。 （すみません今回もものすごく長いです。。。） まずは「因果効果」を定

サンプル数・母数 日本統計学会公式認定 統計検定1級対応 統計学 作者: 二宮嘉行,大西俊郎,小林景,椎名洋,笛田薫,田中研太郎,岡田謙介,大屋幸輔,廣瀬英雄,折笠秀樹,日本統計学会,竹村彰通,岩崎学出版社/メーカー: 東京図書発売日: 2013/04/08メディア: 単行本この商品を含むブログ (5件) を見るこの本のコラムに、サンプル数と母数について載っていました。 そこでは、はっきりと、標本の大きさ（サンプルサイズ）の意味でサンプル数を使うのは間違いであると書かれていました。なんでもその部分の筆者も、標本の大きさの事をサンプル数としていて訂正されたのだとか。 また、母数についても書かれていて、母集団の大きさの意味等で母数が使われる場合があるがそれは誤用だと説明されています。たとえば、有権者の意見を知りたい時に、有権者全体の数を母数と表現するのは誤りだ、という事ですね*1。尤も、母数を

Get Big Think for Your Business. Enable transformation and drive culture at your company with lessons from the biggest thinkers in the world.

隠れマルコフモデル 隠れマルコフモデルについて、細かいところ(本質だけど)はぶっとばして、実装上のポイントだけ述べます。 隠れマルコフモデルは、時系列のように、状態が徐々に変化していくようなもの、確率過程について、実際には観察されないデータ「隠れ変数hidden variable」を仮定することで推定を回しやすくしたものです（あってる？）。 「マルコフ」過程であるとは、ある状態が、一つ前の状態によって完全に説明され、過去の振る舞いは関係ないようなものです。 具体的にはこのようなモデルです。 隠れ変数の初期状態を決める。隠れ変数は観察されたデータでないのだからいろいろな可能性があり、それは確率的に表される。 ある状態から別の状態へ変化する時の確率を与える。これは移行確率transition probabilityと呼ばれる。 それぞれの過程において、隠れ変数によって表されている状態から、どの