「統計学関連なんでもあり」の過去ログ--- 045

No.16841　２値の測定値の評価　　【だいちゃん】　2012/04/29(Sun) 12:28

1/0の2値の測定値が1/0の2値の理論値にどれだけ近いかを評価するにはどうしたらいいのでしょうか？　相関係数だと，10回に8回は合っていても0.6程度にしかなりません。平均二乗誤差でもいいのでしょうか？

No.16845　Re: 2値の測定値の評価　　【青木繁伸】　2012/04/29(Sun) 21:19

よくわかりません。もう少し分かりやすく説明してもらえませんか？

No.16852　Re: 2値の測定値の評価　　【だいちゃん】　2012/04/30(Mon) 12:33

例えば，理論値が(1,1,1,1,1,0,0,0,0,0)と分かっているものに対して，予想値（雨が降るか降らないかなど）が(0,1,1,1,1,0,0,0,0,1）となった場合，予想値が理論値にどれだけ近いかを評価する方法について知りたかったのです。

この場合，10回の予想で，間違ったのは2回なので，8割の確率で予想が正しかったと言えば済むことかもしれません。

No.16854　Re: 2値の測定値の評価　　【青木繁伸】　2012/05/01(Tue) 05:37

単純に相関係数を取ればよいというものではないでしょう（なお，二値データ同士のピアソンの積率相関係数は，属性相関係数のφ係数に一致します）。また，0.6 という数値を「低い」と評価するのも根拠のないことでしょう。有意な相関と言えるかを検定すべきでしょう。例に挙げられたデータでは P 値は 0.06669 となりますが。

一致率を評価するには，偶然の一致を除かねばらならないのでκ統計量がよいでしょう。κ統計量は 0.6 （95 パーセント信頼区間は 0.104164 ～ 1.095836）となり，P 値は 0.05778 ですね。（例に挙げられたデータでは，ピアソンの積率相関係数とκ統計量がたまたま同じ値になったが，いつも同じ値になるわけではない）。

No.16855　Re: 2値の測定値の評価　　【ひの】　2012/05/01(Tue) 11:14

予測がでたらめなものかどうかを検定するというだけなら，二項検定でも良いですね。
でたらめな予測なら当たる確率は0.5。
10回中8回以上当たる確率を計算すればよいのです。
P=0.0546875（片側検定）
P=0.109375（両側検定）

No.16860　Re: 2値の測定値の評価　　【だいちゃん】　2012/05/05(Sat) 12:20

青木先生，ひの様，

ありがとうございました。
その後，気象庁の降水的中率も単純な確率で示されていることを知りました。
http://www.data.jma.go.jp/fcd/yoho/kensho/explanation.html
本来なら偶然の一致を割り引いた方がいいのでしょう。