2つの成功率・成約率の差と有意差を計算する(A/Bテスト)
広告A・Bの成約率、新旧のデザインのクリック率のような2つの割合を比べ、差がどのくらいありそうか(差の信頼区間)と、偶然の差といえるかどうか(有意差の検定)を計算します。A/Bテストに必要な件数の目安も出せます。
- 2つの割合は「差の信頼区間」で比べます。区間が0をまたげば、どちらが高いかはまだ言えません(1,000件中52件と1,000件中35件では、差の95%信頼区間は−0.1〜+3.5ポイント)。
- p値は、差の大きさでも「Aのほうが良い確率」でもありません。差がないと仮定したときの、データの起こりにくさを表す数です。
- 途中で何度も結果を見て、有意になった時点で止めないでください。5回見るだけで、誤って「差あり」とする確率は約14%になります。
計算結果
検定(補助):偶然の差といえるか
信頼水準・計算方法を変えると
2×2の表と期待度数・片側のp値
計算式と計算の内訳
A/Bテストに必要な件数の目安
R の power.prop.test と同じ式(両側検定・正規分布による近似)で計算し、切り上げています。AとBに同じ件数を割り当てる場合です。検出力は、補正なしのカイ二乗検定(2つの割合のz検定)で判断する場合の目安です。フィッシャーの正確検定やイェーツの補正で判断すると、少し下がります。件数は始める前に決め、集め終わってから判断します。
2つの割合は「差の信頼区間」で比べる
広告Aは1,000回の表示で52件、広告Bは1,000回で35件の成約がありました。成約率は5.2%と3.5%で、Aのほうが1.7ポイント高く、比べると約1.49倍です。でも、件数が限られている以上、この差には「たまたま」が混じっています。同じ数だけもう一度試せば、差は縮むかもしれないし、逆転するかもしれません。
そこで、本当の成約率(長く続けたときの成約率)の差 A − B がありそうな範囲を計算します。これが差の信頼区間です。このページでは、Newcombe(1998)の方法10(それぞれの割合のWilson区間を組み合わせる方法。hybrid score法とも呼ばれます)を使います。
読み方は3通りです。
- 区間がすべて0より上……選んだ信頼水準で見ると、Aのほうが高いと考えられます。
- 区間がすべて0より下……Bのほうが高いと考えられます。
- 区間が0をまたぐ……このデータでは、どちらが高いかははっきりしません。「差がない」ことを示したわけではありません。
区間の幅は、差の大きさがどのくらい確かかも表します。区間が0より上でも、下限が0.1ポイントなら、本当の差はごく小さいかもしれません。「差があるか」だけでなく「どのくらいの差か」を一緒に見られるのが、差の信頼区間のよいところです。
計算例:広告A・Bの成約率(件数で結論が変わる)
1,000件中52件(5.2%)と1,000件中35件(3.5%)の差の95%信頼区間は−0.1〜+3.5ポイントで、わずかに0をまたぎます。この件数では、まだ「Aのほうが高い」とは言い切れません。成約率は同じまま件数だけを増やすと、次のようになります。
| 件数(成約率はどれも5.2%と3.5%) | 差の95%信頼区間 | 区間の幅 | p値フィッシャーの正確検定 |
|---|---|---|---|
| 1,000件ずつ(52件と35件) | −0.1〜+3.5ポイント | 3.6ポイント | 0.079 |
| 2,000件ずつ(104件と70件) | +0.4〜+3.0ポイント | 2.5ポイント | 0.010 |
| 4,000件ずつ(208件と140件) | +0.8〜+2.6ポイント | 1.8ポイント | 0.00023 |
2,000件ずつになると区間は0より上に移り、4,000件ずつでは幅もおよそ半分になります。区間の幅は、件数の平方根にほぼ反比例して狭くなるからです。
信頼水準によっても結論は変わります。同じ1,000件ずつのデータでも、90%信頼区間なら+0.2〜+3.2ポイントで0をまたがず、99%信頼区間なら−0.7〜+4.1ポイントです。どの水準で判断するかは、データを見る前に決めておきます。結果を見てから水準を選び直すと、都合のよい結論を選んだことになってしまいます。
p値は何を表し、何を表さないか
検定のp値は、「AとBの本当の成功率が同じ」と仮定したとき、今回と同じか、それ以上に偏った結果が出る確率です。上の1,000件ずつの例では、フィッシャーの正確検定のp値は0.079でした。「差がないとしても、これくらいの偏りは8%ほどの確率で起こる」という意味です。
アメリカ統計学会(ASA)は2016年に、p値の使い方について6つの原則を示しました(Wasserstein と Lazar, 2016)。そのうち、とくに取り違えやすいのは次の3つです。
- p値は、調べている仮説が正しい確率や、データが偶然だけで生じた確率を表すものではない。
- 結論や、ビジネス・政策の判断を、p値がある基準を下回ったかどうかだけで決めるべきではない。
- p値や「統計的に有意」は、効果の大きさや結果の重要さを表すものではない。
p値が0.05を下回っても「Aのほうが良い確率が95%」ではありませんし、0.05を上回っても「差はない」ではありません。差の大きさは、差の信頼区間で確かめます。
フィッシャーの正確検定とカイ二乗検定(イェーツの補正)
どちらも「AとBの本当の成功率が同じ」かどうかを調べる検定で、結果を2行2列の表(AとB × 成功と失敗)にまとめて計算します。
- フィッシャーの正確検定……表の縦と横の合計を固定したときに、Aの成功数がとりうる値の確率(超幾何分布)を正確に計算します。両側のp値は、観測した表の確率以下になる表の確率をすべて足したもので、Fisher–Irwin型と呼ばれ、RやSASの既定です(Fay と Hunsberger, 2021)。このページもこの型です。片側のp値を2倍にする「中心型」もあり、値が違うことがあります。
- カイ二乗検定(補正なし)……実際の件数と、差がないとしたときに期待される件数(期待度数)のずれから計算します。AとBを合わせた割合で分散を計算する「2つの割合のz検定」と同じp値になります。ExcelのCHISQ.TEST関数も、Microsoft の説明では補正のない式です。
- カイ二乗検定(イェーツの補正あり)……ずれ |実際 − 期待| から0.5を引いて計算します(Yates, 1934)。補正なしよりp値が大きくなります。このページは R の chisq.test と同じく、ずれが0.5より小さいときは、ずれの分だけ引きます。
境目に近いデータでは、方法によって判断が分かれます。400件中24件(6.0%)と400件中12件(3.0%)では、差の95%信頼区間は+0.1〜+6.1ポイントで0をまたがず、補正なしのカイ二乗検定のp値は0.041ですが、フィッシャーの正確検定は0.059、イェーツの補正ありは0.061です。こうしたときは、1つの方法で0.05を下回ったかどうかだけで決めず、差の幅を見て、必要なら新しいデータで確かめます。
期待度数に5未満のマスがあると近似が粗くなり、R の chisq.test も警告を出します。このページも注意を表示するので、そのときはフィッシャーの正確検定の値を見てください。
それぞれの信頼区間が重なっていても、差がないとは限らない
200件中30件(15.0%)と200件中50件(25.0%)を比べます。それぞれの95%信頼区間(Wilson法)は10.7〜20.6%と19.5〜31.4%で、19.5〜20.6%の部分が重なっています。しかし、差 A − B の95%信頼区間は−17.7〜−2.2ポイントで0を含まず、フィッシャーの正確検定のp値も0.017です。
2つの区間が重なるかどうかで差を判断する方法は、差を直接調べる方法より差を見落としやすいことが知られています(Schenker と Gentleman, 2001)。計算結果にも2つの区間を出しますが、判断には差の区間を使います。1つの割合の区間は、割合の信頼区間で詳しく計算できます。
途中で何度も結果を見て、有意になったら止める、はしない
A/Bテストの途中で毎日p値を確かめ、0.05を下回った日に「Aの勝ち」として止める、というやり方は危険です。本当は差がなくても、同じ基準の検定を何度もくり返すと、どこかで偶然0.05を下回る確率は、もとの5%よりかなり大きくなります(Armitage・McPherson・Rowe, 1969)。
本当は差がないとき、同じ件数ずつデータを足しながら、そのたびに両側5%の検定(件数が多いときのカイ二乗検定・z検定)をして、1回でも有意になったら止める場合の「誤って差ありとする確率」は次のとおりです。
| 結果を見る回数 | 誤って「差あり」とする確率 |
|---|---|
| 1回(最後に1回だけ) | 5.0% |
| 2回 | 8.3% |
| 3回 | 10.7% |
| 5回 | 14.2% |
| 10回 | 19.3% |
| 20回 | 24.8% |
5回見るだけで約14%、20回では約25%になります。防ぐには、必要な件数を先に決めて、そこまで集めてから1回だけ判断するのが基本です。途中で見る回数と、そのたびの基準をあらかじめ決めておく「群逐次デザイン」という方法もあります(Pocock, 1977)。
表は |z| > 1.96 になる確率を数値積分で求めた値で、件数が少ないときや、見るたびに増える件数がそろっていないときは少し変わります。
A/Bテストに必要な件数の目安
「本当の差がこれくらいなら見逃したくない」という差を決めると、1グループあたりの件数の目安を計算できます。上の必要な件数の目安は、R の power.prop.test と同じ次の式(両側検定・正規分布による近似)で計算しています。
n = ( zα/2 × √(2p̄(1−p̄)) + zβ × √(p1(1−p1) + p2(1−p2)) )² ÷ (p1 − p2)²
p̄ = (p1 + p2) ÷ 2、zα/2:有意水準5%なら1.96、zβ:検出力80%なら0.84
検出力は、本当にその差があるときに、検定で「差あり」と判断できる確率です。80%なら、本当に差があっても5回に1回は見逃すことになります。有意水準5%(両側)のときの目安は次のとおりです。
| 今の成功率 → 見つけたい成功率 | 1グループあたり検出力80% | 1グループあたり検出力90% |
|---|---|---|
| 5% → 6%(1ポイント差) | 8,158件 | 10,921件 |
| 5% → 7.5%(2.5ポイント差) | 1,471件 | 1,969件 |
| 10% → 12%(2ポイント差) | 3,841件 | 5,142件 |
| 10% → 15%(5ポイント差) | 686件 | 918件 |
| 20% → 25%(5ポイント差) | 1,094件 | 1,464件 |
成約率5%を6%にする差(1ポイント)を見つけるには、AとBにそれぞれ8,158件、合わせて16,316件が目安です。同じ5%からでも、7.5%にする大きな差なら1,471件ずつで足ります。必要な件数は、差の2乗にほぼ反比例して増えます。
AとBは同じ件数で、件数を先に決めて途中で止めないことが前提です。検出力は補正なしのカイ二乗検定(z検定)で判断する場合の値です。フィッシャーの正確検定やイェーツの補正で判断すると、検出力は少し下がります(10% → 15%を686件ずつで調べると、約80%が約78%に。二項分布での正確な計算)。また、本当の差が見つけたい差より小さければ、検出力はさらに下がります。
なぜNewcombe法か:単純な式(Wald法)の落とし穴
よく使われる単純な式は「差 ± z × √(p1(1−p1)÷n1 + p2(1−p2)÷n2)」です(p は観測した成功率、n は全体の数。Wald法。Newcombe の論文の方法1)。件数が多く、割合が0%や100%に近くなければNewcombe法とほぼ同じ値になりますが(上の1,000件ずつの例では、どちらも−0.1〜+3.5ポイント)、件数が少ないときや0件があるときは、次のようなことが起こります。
- 10件中0件と20件中0件……Wald法では区間の幅が0(0.0〜0.0ポイント)になり、「差はちょうど0」と言い切ってしまいます。Newcombe法では−16.1〜+27.8ポイントです。
- 56件中5件と29件中0件……Wald法では+1.5〜+16.4ポイントで「Aのほうが高い」となりますが、Newcombe法では−3.8〜+19.3ポイントで0をまたぎ、フィッシャーの正確検定のp値も0.161です。
Newcombe(1998)は、11の方法を比べて、単純な方法ほど区間がおかしくなったり、区間が本当の値を含む割合が低くなったりしやすいこと、Wilson区間を組み合わせる方法はよい性質を持ち、件数によらず簡単に計算できることを報告しました。結果の「信頼水準・計算方法を変えると」で、Wald法と並べて確かめられます。
この計算が扱わないこと
- 同じ人がAとBの両方を試すデータ……「対応のあるデータ」には別の方法が必要です。
- 3つ以上のグループ……A・B・C…のうちの2つずつを何度も比べると、どこかで偶然有意になる確率が上がります。
- 独立でないデータ……同じ人のくり返しや、同じ店・同じ日の結果が似やすいデータでは、区間が実際より狭く、p値が実際より小さく出ることがあります。
- 比(A ÷ B)・改善率の区間、片側検定、ベイズ流のA/Bテスト、途中で見ることを前提にした検定……計算しません(観測した比だけを参考に表示します)。
結果は、1件ずつが独立に同じ確率で成功するという数学のモデルにもとづく値です。実際の判断には、データの集め方(AとBを同じ時期に、無作為に割り当てたか)もあわせて確かめてください。
よくある質問
有意差があるかどうかは、どう判断すればいいですか?
p値が0.05より小さければ、Aのほうが良いと言えますか?
p値が0.05より大きければ、差はないということですか?
A/Bテストは何件集めればいいですか?
途中で有意差が出たら、テストを止めてもいいですか?
フィッシャーの正確検定とカイ二乗検定は、どちらを使えばいいですか?
ExcelのCHISQ.TEST(カイ二乗検定)と結果が違うのはなぜですか?
2つの信頼区間が重なっていたら、有意差はないのですか?
関連するツール
計算式と出典
- Newcombe RG. Interval estimation for the difference between independent proportions: comparison of eleven methods. Statistics in Medicine 1998;17(8):873-890. doi:10.1002/(SICI)1097-0258(19980430)17:8<873::AID-SIM779>3.0.CO;2-I(差の信頼区間の方法10)
- Lakkis H, Lakkis A. Analysis of two Binomial Proportions in Non-inferiority Confirmatory Trials. arXiv:2207.04372(式16・17。方法10の式の確認)
- Wilson EB. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association 1927;22(158):209-212. doi:10.1080/01621459.1927.10502953(Wilsonのスコア区間)
- Fay MP, Hunsberger SA. Practical valid inferences for the two-sample binomial problem. Statistics Surveys 2021;15. doi:10.1214/21-SS131(両側のフィッシャーの正確検定の2つの型)
- R の fisher.test のソース(両側のp値と相対1e-7の余裕)・chisq.test のソース(イェーツの補正の上限と、期待度数5未満の警告)・power.prop.test のソース(必要な件数の式)
- Yates F. Contingency Tables Involving Small Numbers and the χ² Test. Supplement to the Journal of the Royal Statistical Society 1934;1(2):217-235. doi:10.2307/2983604(イェーツの補正)
- Microsoft サポート CHISQ.TEST 関数(Excel のカイ二乗検定の式)
- Wasserstein RL, Lazar NA. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 2016;70(2):129-133. doi:10.1080/00031305.2016.1154108(アメリカ統計学会の発表文に6つの原則)
- Armitage P, McPherson CK, Rowe BC. Repeated Significance Tests on Accumulating Data. Journal of the Royal Statistical Society Series A 1969;132(2):235-244. doi:10.2307/2343787
- Pocock SJ. Group sequential methods in the design and analysis of clinical trials. Biometrika 1977;64(2):191-199. doi:10.1093/biomet/64.2.191
- Schenker N, Gentleman JF. On Judging the Significance of Differences by Examining the Overlap Between Confidence Intervals. The American Statistician 2001;55(3):182-186. doi:10.1198/000313001317097960
- Wichura MJ. Algorithm AS 241: The Percentage Points of the Normal Distribution. Applied Statistics 1988;37(3):477-484. doi:10.2307/2347330(標準正規分布の分位点)
- NIST Digital Library of Mathematical Functions §7.6・§7.9(7.6.2・7.9.1。カイ二乗検定のp値に使う相補誤差関数)
z(95%なら1.959964…)は Wichura の AS 241 で計算し、1.96 のような丸めた値は使っていません(Wilson区間とzは割合の信頼区間と同じ計算です)。フィッシャーの正確検定は超幾何分布の確率を1つずつ足して計算し、件数が多くても近似に切り替えません。自由度1のカイ二乗検定のp値は erfc(√(χ²/2)) です。件数は整数だけを受け付け、小数や「%」付きの値を黙って読み替えません。計算は、高精度の計算(mpmath)・SciPy・整数だけの正確な計算と照合しています。