ベイズ統計入門

岡田です。

今日のゼミでは「ベイズ統計入門 ／渡部洋」の０章から３章にかけて大まかに勉強しました。
ゼミを通してわかってきた、ベイズ統計をやるうえで重要な概念をまとめてみます。

---

・主観確率
ベイズ統計で扱われる確率は主観確率です。
それに対して、標本理論で扱われる確率は頻度論的確率です。
頻度論的確率は客観確率とも呼ばれます。

主観確率と客観確率の違いはいろいろと議論されているようです。
両者の大きな違いは、主観確率ではベイズの定理を全面的に認めるところであると言えると思います。

ベイズの定理は、事前確率と尤度から事後確率を導けることを示しています。
ここでの確率は主観確率であり、客観確率ではありません。
主観確率は不確実性を含む尤度や事後確率という概念を認めますが、客観確率ではそのような不確実性を含む概念を認めません。

この主観確率と客観確率の違いを認識することは、統計学としてのベイズ統計の理解するために非常に重要だと思われます。


・すべての判断は確率を通じて行われる
標本理論では”９０％信頼区間”という概念が出てきますが、ここで語られている９０％は確率ではありません。
つまり、標本理論では確率とは別の概念を導入して分析や判断を行います。

それに対してベイズ統計では、すべての判断が確率を通して行われます。
ベイズ統計では、基本的に事後確率を分析・判断の道具として使います。


・確率の公理（コルモゴロフの公理、レンニの公理）
上で述べているように、ベイズ統計において確率の概念はとても重要です。
レンニの確率の公理からベイズの定理が導出する過程を理解することは、確率とベイズの定理を深く理解する上で非常に重要だと思われます。


・周辺化
同時確率分布から不要な確率変数について総和をとり、変数を取り除く計算を周辺化と呼びます。
周辺化はされてえられた１つの確率変数に関する確率は周辺確率と呼ばれます。
ベイズ統計において周辺化計算は切っても切れないものなので、必ずおさえておきましょう。


・二項分布
二項分布は様々な確率分布の出発点となっている分布です。
つまり、二項分布を理解することは他の確率分布の理解の土台ともいえます。

"Bayesian Computing with R"ではベータ分布がよく登場します。
ベータ分布を事前分布とすると事後分布もベータ分布として表現できる（このような分布を自然共役分布という）ため、ベイズ推定において扱いやすいというのが理由です。

ベータ分布は二項分布によく似た分布です。
二項分布を理解することはベータ分布を理解することにつながります。
つまり、ベイズ推定をやりたいのであれば二項分布の理解は必須とも言えます。


・事前分布、モデル分布、尤度関数、事後分布
この４つの概念はベイズ統計の大黒柱です。
曖昧なままでは先に進めないので、かならず理解しておきましょう。

表面上では同じ顔をしているモデル分布と尤度関数の違いをはっきり認識しておくのも重要です。


・無情報事前分布
事前知識を事前分布として取り組める点がベイズ推定の利点でしたが、事前知識がない状況での推定も出来なければなりません。
この場合、事前知識のない事前分布 ”無情報な事前分布” として無情報事前分布を用いることで、この状況下での推定を行うことが出来ます。

無情報事前分布には一様分布が対応します。
一様分布が持つ意味 ”すべての値が同じ確からしさを持って生起する” ことを考えれば、一様分布が無情報事前分布として扱えることが理解できると思います。


・最尤推定とMAP推定
最尤推定は尤度関数L(θ|D)を最大化するθを推定量とする推定法です。
MAP推定は事後分布P(θ|D)を最大化するθを推定量とする推定法です。

両者の違いは、最大化する対象が尤度であるか事後確率であるかの違いです。

ここで、ベイズの定理より、事後分布は尤度関数と事前分布の積に比例する関数

P(θ|D) ∝ P(D|θ)P(θ) = L(θ|D)P(θ)

であることを思い出しましょう。
θの事前分布が無情報事前分布のとき、P(θ) = １ (0 < θ < 1)であるので、

P(θ|D) ∝ L(θ|D)P(θ) = L(θ|D)

となり、事後分布は尤度関数に比例したものになります。
つまり、事前分布が無情報分布の場合のMAP推定は最尤推定と等しくなります。


・ベイズ推定
ベイズ推定は未知量θを分布と考える推定方法です。
MAP推定もθを分布と考えているので広義な意味でのベイズ推定と考えていいかもしれませんが、狭義な意味でのベイズ推定ではθを分布のまま扱っていきます。
（ここでいう広義の意味と狭義の意味は一般的に使われているものではありません）

最尤推定では尤度を最大化するθ、MAP推定では事後確率を最大化するθが推定対象でしたが、
ベイズ推定では予測分布が推定の対象となります。

Xの予測分布 P(X|D) = ∫P(X|θ)P(θ|D) dθ = ∫[Xのモデル分布][θの事後分布] dθ

---

以上が、今日のゼミの僕なりのまとめです。
何か不明な点、おかしな点があったら容赦せず突っ込んでください。

次回はJim Albertさんの本の２章をやります。
担当者は野上さんです。

P.S.
資料置き場の資料は適宜更新しておきます。
今日配布した資料には数式がプリントされてませんが、資料置き場にあるPDFはカラー版ですので印刷してもちゃんと数式が見えます。