解説176 大数の法則（マルコフの不等式、サイコロ、円周率、チェビシェフの不等式、熱力学的第二法則） скачать в хорошем качестве

解説176 大数の法則（マルコフの不等式、サイコロ、円周率、チェビシェフの不等式、熱力学的第二法則）

Character: 小春六花 大数の法則でまず思い浮かぶのは、サイコロを何回も降る場合だと思います。/ 試行回数が増えるごとに、６分の１に近づく、というものです。/ これを例えば、５１パーセント、４９パーセントの偏りのあるコインの話にして、/ 最近はやりのアンサンブル学習の弱学習器の結合の論拠にもっていく場合もあります。/ 有名な例としては、乱数を使った円周率の計算です。/ こちらは、四角の範囲内で乱数を何度も生成して、/ 円周の内外の点の比率を計算していくことで、円周率を求めます。/ これは乱数で生成した値が円周内に入っている確率をｐとして、/ 試行回数を増やし言ったときに、3.14の周りに尖った分布を作る、というものです。/ こちらは、大数の法則が位置する証明のチェーンです。/ マルコフの不等式は、確率変数の値の取りうる範囲が期待値が表せる、/ チェビシェフの不等式は、分散がとりうる範囲の上限が設定できる、/ そして大数の法則は、観測、サンプリング、試行回数が増えると、確率変数はある範囲に収束する、/ 最終的に中心極限定理は、和を取ると正規分布の話になる、ということです。/ 情報理論にガウス分布の話が出てくるのはこのためです。/ 情報科学の場合は、中心極限定理は発展した話題扱いになる場合が多いです。/ 少し大げさですが、先ほどのサイコロの目の話を、熱力学第二法則と関連付けて考えてみます。/ ここでは、サイコロの目の数が６ですから、 エントロピーと共に増加するエネルギー準位の数は、６の倍数だけあるとします。/ サンプリング回数が増えるにつれ生じる変化を、空間（気体）の膨張とすると、/ 大数の法則は、熱力学第二法則と 紐づけて考えることができます。/ こちらは、分子数とエネルギー準位を関係を示したボルツマン分布です。/ サイコロを振るごとに確率が六分の一に近づく、ということは、分布形が右へ変化していくことに 対応します。/ さらに、サンプリングした標本数の増加を、気体の膨張とすると、/ エネルギー準位と分子の関係と、確率変数の収束の話とを対応付けられます。/ こちらのエネルギー準位は、各確率変数が 取りうる値の範囲だとします。/ 気体が膨張すると、各エネルギー準位の間隔がせまくなり、/ 観測された変数がどのエネルギー準位に入っているか当てることが難しくなります。/ 大数の法則は、物理、経済、情報分野での、 大量現象を扱う際の鉄板トピックです。/ データサイエンスでは、全標本とサンプル標本の期待値は、 試行を繰り返すごとに近づいていく、/ このことはイェンゼンの不等式と合わせてアンサンブル学習の論拠になっています。/ 大数の法則は、物理学、経済学、情報科学など、大量現象の法則を扱うところではたいてい出てきます。/ そのため、様々な表記方法があります。/ 下半分は、微分記号を使うもので、ここから中心極限定理の式にもっていく場合もあります。/ こちらは、サイキットラーンのプログラムです。 / ここでは、表の確率が５１％、裏の確率が４９％というパラメータを設定しました。/ 始めは、５１対４９の比率からは離れたところ からスタートしますが、/ 試行を繰り返すごとに、表のでる確率が５１％に近づきます。/ これは、サンプリングを繰り返えせば、真の確率分布の期待値などを、推定できる、/ というアンサンブル学習の始まりになっています。/ 大数の法則を証明する際に使われるのが、 チェビシェフの不等式です。/ こちらも、いろいろな解釈がありますが、/ サンプリングされたXがとりうる分散の範囲には上限、下限がある、/ 大数の法則は、サンプリングの回数が増えると、その上限、下限の範囲が狭まっていく、/ または、サンプル数が増えると、右辺の分数が小さくなっていくことが特徴です。/ この不等式に、微分記号を付けると、サンプル数が多くなったときにどうなるのか、はっきりします。/ 最終的に、このようにまとめました。/ これは、例えば、標本全体からサンプリング すれば、そのサンプルの平均は、/ 回数が増えるにつれ、必ずある範囲に落ち着く、ということです。/ 「部分は全体を反映する」と言っていいかも知れません。/ ご視聴ありがとうございました。/ 最後に、大数の法則をサイコロを使って確認してみましょう。/ ここでの大数の法則は、左辺の生起確率が右辺以下になる、というものです。/ つまり、期待値と分散が計算できれば、ある確率変数が、ある範囲内に入る確率が計算できます。/ ここでは、１の目が出る確率対象にして、/ 試行回数を６万回にした場合の、１の目が出る回数が、６万前後になる確率を計算しています。/ ６万回の場合だいたい0.98の確率で落ち着きます。/ 大数の法則は、典型系列や圧縮の話にも使われます。/