成功率・成約率の信頼区間(誤差の幅)を計算する
「10件中3件」「問い合わせ120件中18件が成約」のような成功した数と全体の数から、本当の割合(長く続けたときの割合)がありそうな範囲=信頼区間を計算します。件数が少ないほど、たまたまの差が大きくなるので、範囲は広くなります。
- 10件中0件でも、本当の割合は0%とは限りません。95%信頼区間は0.0〜27.8%です。
- 割合が0%や100%に近くなければ、件数を4倍にすると区間の幅はおよそ半分になります(120件中18件の幅12.8ポイント → 480件中72件で6.4ポイント)。
- アンケートで誤差±5ポイント(95%)にするには約385件、±3ポイントなら約1,068件が目安です(割合が50%前後のとき)。
計算結果
信頼水準を変えると
件数を増やすと(同じ割合のまま)
「95%」の意味を確かめる(実際の包含率)
計算式と計算の内訳
アンケート・調査に必要な件数の目安
予想される割合が50%のときの必要な件数(全体の人数が十分に多い場合)
| 許せる誤差 | 90% | 95% | 99% |
|---|---|---|---|
| ±1ポイント | 6,764 | 9,604 | 16,588 |
| ±2ポイント | 1,691 | 2,401 | 4,147 |
| ±3ポイント | 752 | 1,068 | 1,844 |
| ±5ポイント | 271 | 385 | 664 |
| ±10ポイント | 68 | 97 | 166 |
正規分布で近似した目安の式(n = z² × p(1−p) ÷ E²)で計算し、切り上げています。回答者が無作為に選ばれていることが前提です。回答しなかった人の偏りや質問の仕方による偏りは、件数を増やしても減りません。
信頼区間とは:「95%」の正しい意味
10件の商談で3件が成約したら、成約率は30%です。でも、次の10件でも3件になるとは限りません。たまたま多かった(少なかった)だけかもしれないからです。信頼区間は、手元の件数から本当の割合(長い目で見た成約率や成功率)がありそうな範囲を示すものです。統計の教科書では「母比率の区間推定」と呼ばれます。
「95%信頼区間」の95%は、区間を作る方法の性質です。同じ条件で調査を何度もくり返し、そのたびにこの方法で区間を作ると、作った区間のおよそ95%が本当の値を含む、という意味です(NIST/SEMATECH e-Handbook 7.1.4)。
よく見かける「本当の値が95%の確率でこの区間に入る」という言い方は、正確ではありません。本当の値は決まった1つの値で、手元の1つの区間は、それを含むか含まないかのどちらかです。95%は、くり返したときに区間が本当の値を含む割合を表しています。結果の「『95%』の意味を確かめる」では、この割合(包含率)が実際に何%になるかを計算できます。
このページが扱うのは「成功したか、しなかったか」の割合です。売上や時間のような数値のばらつきを見たいときは、データの平均・ばらつき・分位点を使ってください。
結果の読み方(計算例)
問い合わせ120件のうち18件が成約した場合、成約率は15.0%で、95%信頼区間(Wilson法)は9.7〜22.5%です。「本当の成約率は10%くらいかもしれないし、20%を超えるかもしれない」というくらいの幅がある、と読みます。
| 件数(どれも成約率15%) | 95%信頼区間 | 区間の幅 |
|---|---|---|
| 20件中3件 | 5.2〜36.0% | 30.8ポイント |
| 120件中18件 | 9.7〜22.5% | 12.8ポイント |
| 480件中72件 | 12.1〜18.5% | 6.4ポイント |
| 1,200件中180件 | 13.1〜17.1% | 4.0ポイント |
同じ15%でも、件数が少ないと区間はとても広くなります。件数を4倍にすると、幅はおよそ半分です(120件の12.8ポイント → 480件の6.4ポイント)。幅は件数の平方根にほぼ反比例して縮むので、幅を半分にするにはおよそ4倍、10分の1にするにはおよそ100倍の件数が必要です。
ただし、これは成功した数と失敗した数がどちらもある程度あるときの目安です。0件(または全部成功)のときは、幅は件数にほぼ反比例するようになり、もっと速く縮みます。10件中0件の幅27.8ポイントは、40件中0件で8.8ポイント(約3.2分の1)、1,000件中0件で0.4ポイント(約73分の1)です。結果の「件数を増やすと」では、入力した件数での実際の縮み方を表示します。
区間は、観測した割合を中心に左右対称とは限りません。0%や100%に近いほど、反対側に長く伸びます。20件中3件(15%)なら、下には9.8ポイント、上には21.0ポイント広がります。
10件中0件でも「0%」とは言えない
10件試して1件も成功しなかったとき、観測した成功率は0%ですが、95%信頼区間(Wilson法)は0.0〜27.8%です。本当の成功率が20%あっても、10回続けて失敗する確率は0.8の10乗で約10.7%あり、めずらしいことではないからです。
0件のときの上限の目安として、医学の分野では「3の法則(rule of three)」が知られています。n件で1度も起きなかったとき、起きる確率の95%の上限をおよそ 3 ÷ n とする目安で、nが30より大きいときに使えます(Hanley と Lippman-Hand, 1983。Eypasch ら, 1995)。100件で0件なら約3%です。
3 ÷ n は、上側だけを見た95%の上限(1 − 0.051/n。100件なら2.95%)の近似です。このページの区間は上下の両側をあわせて95%なので、上限はそれより少し高く、100件で0件のときはWilson法で3.7%、Clopper–Pearson法で3.6%です。
なぜWilson法なのか:単純な式(Wald法)の落とし穴
いちばんよく使われるのは「p̂ ± 1.96 × √(p̂(1−p̂)÷n)」という式(Wald法)です(NIST/SEMATECH e-Handbook 7.2.4.1)。件数が多く、割合が50%に近いときはWilson法とほぼ同じ値になりますが、件数が少ないときや0%・100%に近いときは、次のような問題が出ます。
- 0件だと幅が0になる……10件中0件では√の中が0になり、区間は「0%ちょうど」。誤差がまったくないことになってしまいます。
- 下限がマイナスになる……10件中1件では−8.6〜28.6%。割合がマイナスになることはありません。同じ10件中1件でも、Wilson法なら1.8〜40.4%です。
- 本当の値を含む割合が低い……10件で本当の割合が1%のとき、Wald法の95%区間が本当の値を含むのは約9.6%しかありません(Wilson法は約90.4%、Clopper–Pearson法は約99.6%。このページの計算)。
Agresti と Coull(1998)は、Wald法では包含率が低すぎ、二項分布から作る「正確な」区間では高すぎる傾向がある一方、Wilson法はとても少ない件数でも選んだ水準に近いと報告しました。Brown・Cai・DasGupta(2001)は、Wald法の包含率の乱れは思われているより根強いとして、件数が少ないときはWilson法かJeffreys区間を、件数が多いときはAgresti–Coull法を勧めています。このページはWilson法を主な結果にし、比較のためにClopper–Pearson法とWald法を並べています。
ただし、Wilson法も水準ちょうどになるわけではありません。包含率は本当の割合によって95%を少し上回ったり下回ったりし(10件で本当の割合が10%なら約93.0%)、0%や100%に近いところでは大きく下回ることがあります(10件のとき、0.25%刻みに調べた中でいちばん低いのは約83.8%)。
Clopper–Pearson法(正確法)との違い
Clopper–Pearson法は、二項分布の確率をそのまま使って区間を作る方法です(Clopper と Pearson, 1934)。95%のとき、下限は「本当の割合がこの値なら、観測した件数以上になる確率がちょうど2.5%」、上限は「観測した件数以下になる確率がちょうど2.5%」になる割合です。0件のときの下限は0%で、上限は「n件すべて失敗する確率がちょうど2.5%」になる割合(1 − 0.0251/n)です。全部成功のときは、その逆になります。
「正確法」と呼ばれますが、区間が本当の値を含む割合がちょうど95%になるという意味ではありません。本当の割合がいくつでも95%以上になるように作られているので、多くの場合は95%より高く、区間は広めに出ます(10件中0件で0.0〜30.8%、120件中18件で9.1〜22.7%)。NIST の手引きは、不良の数や件数がとても少ないときの方法として紹介しています。「95%を下回ることは避けたい」という場面では、こちらを使う考え方もあります。
アンケートは何人に聞けばいい?
割合を「±E」の誤差で知りたいときの件数の目安は、n = z² × p(1−p) ÷ E² で計算できます(NIST/SEMATECH e-Handbook の旧版のページ 7.2.7.2)。z は信頼水準で決まる数(95%なら約1.96)、p は予想される割合です。p がわからないときは50%にすると、いちばん多い件数になります。
95%で誤差±5ポイントなら385件、±3ポイントなら1,068件、±1ポイントなら9,604件です。±10ポイントでよければ97件で足ります。誤差を半分にするには、件数はおよそ4倍必要です。
社員数のように全体の人数が決まっていて、その多くに聞く場合は、有限母集団の修正 n = n₀N ÷ (n₀ + N − 1) を使うと少なくて済みます(同)。全体が1,000人なら、95%・±5ポイントで278件です。上の「必要な件数の目安」で、自分の条件を入れて計算できます。
この式は正規分布で近似した目安で、回答者が無作為に選ばれていることが前提です。興味のある人だけが答えるアンケートのような偏りは、件数を増やしても直りません。また、予想される割合が0%や100%に近く、当てはまると見込まれる数が少ないときは、目安が合いません。たとえば割合1%・誤差±5ポイントでは16件と出ますが、16件中0件の95%信頼区間(Wilson法)は0.0〜19.4%で、±5ポイントには収まりません。このときは上の計算に注意を表示します。
よくある間違い
- 「%」と「ポイント」を混ぜる……成約率15%の±3ポイントは12〜18%です。「±3%」と書くと、15%の3%(±0.45ポイント)と読まれることがあります。
- 2つの区間の重なりで差を判定する……広告A(200件中12件、6.0%)の95%信頼区間は3.5〜10.2%、広告B(210件中21件、10.0%)は6.6〜14.8%で、区間は重なっています。しかし、重なっているからといって「差がない」とは言えません。重なりを見る方法は、差を確かめる標準的な方法より差を見落としやすいと報告されています(Schenker と Gentleman, 2001)。差を確かめるには、2つの割合の差の区間や検定を使ってください(このページでは計算しません)。
- 同じ人や同じ集まりを何度も数える……同じ客の購入を1件ずつ数えたり、同じ店・同じ日の結果をまとめて数えたりすると、「1件ずつが独立」という前提が崩れ、区間が実際より狭く出ることがあります。
- 集め方の偏りを件数で補えると思う……反応してくれた人だけを数えるなどの偏り(選択バイアス)は、この計算では直せません。
この計算が扱わないこと
- 独立でないデータ……同じ人のくり返しや、グループごとに結果が似るデータ(クラスタ)は補正しません。
- 全体の人数が少ないときの区間……全体の大部分を調べた場合、区間は実際より広めに出ます(区間には有限母集団の修正をしていません。必要な件数の目安では修正できます)。
- 2つの割合の差……差の信頼区間や検定は計算しません。2つの結果は並べて表示するだけです。
- 片側だけの区間やほかの方法……上限だけ・下限だけの区間、Agresti–Coull法、Jeffreys区間などは計算しません(0件のときの片側95%の上限だけは参考に表示します)。
結果は、入力した件数と、どの回も同じ確率で成功するという数学のモデルにもとづく値です。実際の判断には、データの集め方もあわせて確かめてください。
よくある質問
信頼区間95%は「95%の確率で本当の値が入る」という意味ですか?
10件中0件なら、成功率は0%と考えていいですか?
アンケートは何人に聞けば誤差±5%(±5ポイント)になりますか?
2つの成約率の信頼区間が重なっていたら、差はないと言えますか?
Wilson法とClopper–Pearson法(正確法)は、どちらを使えばいいですか?
Excelなどの式(p ± 1.96√(p(1−p)/n))と結果が違うのはなぜですか?
信頼水準は90%・95%・99%のどれを選べばいいですか?
同じお客さんが何度も買った場合も、件数に入れていいですか?
関連するツール
計算式と出典
- Wilson EB. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association 1927;22(158):209-212. doi:10.1080/01621459.1927.10502953(Wilsonのスコア区間)
- Clopper CJ, Pearson ES. The Use of Confidence or Fiducial Limits Illustrated in the Case of the Binomial. Biometrika 1934;26(4):404-413. doi:10.1093/biomet/26.4.404(Clopper–Pearson法)
- Agresti A, Coull BA. Approximate is Better than "Exact" for Interval Estimation of Binomial Proportions. The American Statistician 1998;52(2):119-126. doi:10.1080/00031305.1998.10480550
- Brown LD, Cai TT, DasGupta A. Interval Estimation for a Binomial Proportion. Statistical Science 2001;16(2). doi:10.1214/ss/1009213286
- NIST/SEMATECH e-Handbook of Statistical Methods 7.1.4 What are confidence intervals?(信頼水準の意味)
- 同 7.2.4.1 Confidence intervals(Wilson法・正確法の式と例)
- 同 7.2.7.2 Sample sizes required(旧版のページ。現在の目次からは外れていますが、公開は続いています。必要な件数の式・有限母集団の修正)
- Hanley JA, Lippman-Hand A. If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators. JAMA 1983;249(13):1743-1745. doi:10.1001/jama.1983.03330370053031(3の法則)
- Jovanovic BD, Levy PS. A Look at the Rule of Three. The American Statistician 1997;51(2):137-139. doi:10.1080/00031305.1997.10473947(「3の法則」という呼び名)
- Eypasch E, Lefering R, Kum CK, Troidl H. Probability of adverse events that have not yet occurred: a statistical reminder. BMJ 1995;311(7005):619-620. doi:10.1136/bmj.311.7005.619
- Schenker N, Gentleman JF. On Judging the Significance of Differences by Examining the Overlap Between Confidence Intervals. The American Statistician 2001;55(3):182-186. doi:10.1198/000313001317097960
- Wichura MJ. Algorithm AS 241: The Percentage Points of the Normal Distribution. Applied Statistics 1988;37(3):477-484. doi:10.2307/2347330(標準正規分布の分位点)
- NIST Digital Library of Mathematical Functions §8.17 Incomplete Beta Functions(8.17.4・8.17.5・8.17.22。Clopper–Pearson法の計算)
z(95%なら1.959964…)は Wichura の AS 241 で計算し、1.96 のような丸めた値は使っていません。Clopper–Pearson法の端は、正則化不完全ベータ関数を連分数で計算し、二分法で解いています(高精度の計算と、二項分布の確率を1つずつ足した計算で照合済み)。件数は整数だけを受け付け、小数や「%」付きの値を黙って読み替えません。結果は二項分布のモデルにもとづく数学上の値です。