「統計学関連なんでもあり」の過去ログ--- 045

No.17089　少数サンプルサイズの問題点とは　　【心理学専攻】　2012/06/17(Sun) 12:30

いつもこちらのサイトを参考にさせていただいております。

さて本日は，掲題の点についてお伺いしたく，ご質問させていただきました。

少し統計学の勉強が進んでまいりますと，（例えば二群の平均値差の）検定とサンプルサイズの問題点についてのお話が出てきて，数式的に，サンプルサイズが大きくなると有意差が出やすくなる関係があるため，仮に手元の少数サンプルで有意差が見られなかったとしても，それは単にサンプルサイズの問題であるため（第二種の過誤），効果量や信頼区間で評価するほうが良い，という議論が出てきます。

そのお話はよく分かるのですが，ではサンプルサイズが小の場合に有意差が出た場合，それは両群の間には明確な差があるという，強い議論になりえるのでしょうか？

検定量が（効果の大きさに関係するもの）×（サンプルサイズに関係するもの），ということを考えると，サンプルサイズが小さくても有意ということは，すなわち（効果の大きさに関係するもの）の値が大きいということを意味しており，そうしますと，結果として，効果の大きさが大きい，つまり，両群の間には明確な差が見られた，という議論ができるのでしょうか？

「有意さが見られない時とサンプルサイズ」の議論はよく見るのですが，「有意さが見られる時とサンプルサイズ（およびその他の問題）」の議論はあまり見ることがなく，私自身うまく整理がつかず悶々としております。

どうかご教示いただければ幸いです。

No.17090　Re: 少数サンプルサイズの問題点とは　　【青木繁伸】　2012/06/17(Sun) 12:48

> サンプルサイズが小の場合に有意差が出た場合，
それは両群の間には明確な差があるという，強い議論になりえるのでしょうか？

これだけのサンプルサイズでも有意ということなのだから，サンプルサイズを大きくしても当然有意になるだろうという，当たり前のことです。

No.17093　Re: 少数サンプルサイズの問題点とは　　【心理学専攻】　2012/06/17(Sun) 14:42

青木先生

ご回答ありがとうございます。

＞これだけのサンプルサイズでも有意ということなのだから，
＞サンプルサイズを大きくしても当然有意になるだろう

確かにそれはそうなのですが，ではサンプルサイズ小で有意な結果が得られたことし，

（1）そのサンプルサイズが小さいこと自体にもし批判を浴びせるとすれば，
　　どういうものがありますでしょうか？
　　（例えば標準誤差が大きいということでしょうか？）

（2）（1）に反論するためには，どういう情報を示すと説得的でしょうか？
　　（例えば，信頼区間，効果量を示すなどでしょうか？）

最後になりますが，

（3）逆に「差がない」ということを何らかの形で擁護したい場合は，
　　　サンプルサイズによって有意差が規定されることを考えますと，
　　　やはり信頼区間や効果量を示すことがベストでしょうか？

お手数おかけいたしますが，ご回答いただければ幸いです。

No.17095　Re: 少数サンプルサイズの問題点とは　　【青木繁伸】　2012/06/17(Sun) 19:13

> （1）そのサンプルサイズが小さいこと自体にもし批判を浴びせるとすれば，どういうものがありますでしょうか？

ないでしょう。

> 例えば標準誤差が大きいということでしょうか？

標準誤差が大きくても，それよりも更に効果の法が大きい（だからこそ有意になっている訳なのだから）んだから，文句あるかと言い返せばよい。統計学はそう言うもんだといえばよい。

> （2）（1）に反論するためには，どういう情報を示すと説得的でしょうか？
>　　（例えば，信頼区間，効果量を示すなどでしょうか？）

「統計学をしらないのか？」といえばよい。
なお，信頼区間は，標準誤差が大きいので広くはなる。ただし，0を含まない。だからこそ有意なんだから。効果量が大きいのは，検定をする前提。実質的に意味のないようなちいさなものなら，検定すらする意味がない。
ようするに，「それが統計学なんだよ」といえばよい。

>（3）逆に「差がない」ということを何らかの形で擁護したい場合は，

いきなり出ましたが，それは今回の問題提起と関係ないでしょう。

> サンプルサイズによって有意差が規定されることを考えますと，やはり信頼区間や効果量を示すことがベストでしょうか？

どういう立場で「ベスト」というのですか？

No.17096　Re: 少数サンプルサイズの問題点とは　　【心理学専攻】　2012/06/17(Sun) 20:10

青木先生

続けてご回答いただきありがとうございました。

時折，研究を進めている最中に，サンプルサイズが小さいからもっと増やさなければ，という（根拠不明の）コメントを先輩や研究者の方からいただくことがありましたが，今回の青木先生のご回答をうけ，自分の考えていたとおりで良かったと分かり，とても安心いたしました。

また，先ほどの質問での「有意差がない場合」についての話は確かに唐突でした。失礼いたしました。

この機会に有意差とサンプルサイズの問題を整理したいと考えていたため，「差がない」場合の話題も持ち出した次第です。

さらに，私の質問の最後に「ベスト」と，不用意な言葉遣いをしてしまいました。

私が意図していたのは，上記の話とは逆に，有意差が出ない，という結果を分析者側が望んでおり，それを統計的に擁護したい場合を考えており，例えば，ある時点での結果を見ると確かに有意差が出なかったとしても，サンプルサイズを増やせば必ず有意差が出てしまうということがわかっている以上，「差がない」という結果をどうすれば統計学的に擁護できるのか，そのための最良の方策，という意味でした。

それで，これまでの話を逆に考え，

（i）効果量が小さいことを記載・報告する（有意差が出ようが，効果量が明らかに小さいのだから，実質的に差がない）

または

（ii）信頼区間を記載する（信頼区間が，例えば0を中心にした範囲になったため，差がない可能性が高い）

という2つを示すことで統計学的に擁護する，という方策が最良なのかな，と考えました。

もしこの方策が間違っているようでしたら，または，ほかにもっと有効な方策があれば，ご指摘いただますと幸いです。
（話題がずれてしまって恐縮です）