確率と統計

2-1確率

相棒の返事は、問いを裏返すものでした。「10人が好みと関係なく、でたらめに札を上げたとしても、7人以上が上げることはどれくらい起こるか。まずそれを数えてみよう」。偶然でどれくらい起こるかを知るには、起こりうる場合が全部で何通りあるかを数えるところから始めます。この数を場合の数といいます。10人がそれぞれ「上げる」「上げない」の2通りを選ぶなら、2を10回掛けて、答え方は全部で1,024通りあります。

数え方には二つの型があります。試食に出す候補の新作が5種類あり、そのうち3種類を選んで、テーブルに左から順に並べるとしましょう。左端に置けるのは5通り、次は残りから4通り、右端は3通りなので、並べ方は5×4×3＝60通りです。このように、いくつかの中から選んで順に並べる並べ方を順列といいます。一方、並べる順は気にせず、どの3種類を選ぶかだけを数えるなら、同じ3種類の並べ替え（3×2×1＝6通り）を1つとみなして、60÷6＝10通りになります。こちらを組合せといいます。

ある出来事の起こりやすさを、0から1までの数で表したものが確率です。どの場合も同じ程度に起こりうるときは、「その出来事に当てはまる場合の数÷全部の場合の数」で求めます。10人がそれぞれ五分五分で札を上げるなら、1,024通りの答え方はどれも同じ確からしさです。そのうち、上げた7人の顔ぶれの選び方は組合せで120通りあるので、ちょうど7人になる確率は120÷1,024で約0.12になります。

知りたいのは「7人以上」のほうです。8人なら45通り、9人なら10通り、10人全員なら1通りなので、7人の120通りと合わせて176通り、確率は176÷1,024で約0.17です。でたらめに札を上げても、6回に1回くらいは7人以上がそろう計算になります。ミナトは考え込みました。6回に1回起きることを、新作のおかげだと言ってよいのでしょうか。

試食会の7人に戻ると、でたらめでも約0.17の確率で起こる結果でした。起こりにくいとまでは言えませんが、ありふれているとも言い切れない、半端な数です。この数をどこから「偶然とは言いにくい」と見るかには、決まった手順があります。その手順は、確率の考え方と、実際に集めた数字を調べる統計の方法を組み合わせてできています。

2-2確率分布

売れ数は毎日違います。それでも、違い方はでたらめではありません。20個前後の日が多く、5個や60個の日はめったにない、というように、どの数がどれくらいの確率で出るかには形があります。その形を知っていれば、「この数だけ焼けば、たいていの日は足りる」という見込みが立てられます。

分布の形が分かっても、何個焼くかを決めるには、実際にいろいろな日を試してみたくなります。とはいえ、本当に100日間並べて確かめるわけにもいきません。そこで、コンピュータの上で仮の100日を作ります。使うのは、決められた範囲の中のどの値も同じ確からしさで出る乱数で、これを一様乱数といいます。0以上1未満の一様乱数を来店客1人ごとに引き、0.3未満なら「買う」と決めれば、1人が買う確率0.3を再現できます。これを1日の来店人数ぶん、さらに100日ぶんくり返せば、売れ数がどう散らばるかを実際に並べたように確かめられます。このように乱数で何度も試して答えを見積もる方法は、モンテカルロ法と呼ばれます。

2-3代表値とばらつき

たくさんの数をひと目で見るには、まず整理します。売れ数を「10〜19個」「20〜29個」のような区切りに分け、それぞれに入った日数を数えた表を度数分布表、それを棒グラフにしたものをヒストグラムといいます。1週間分の売れ数なら、10個台が3日、20個台が3日、50個台が1日で、右の端に1本だけ離れた棒が立ちます。

次に、データ全体を1つの数で表します。この数を代表値といい、よく使うものが三つあります。値をすべて足して個数で割ったものが平均値（平均）です。1週間の合計168個を7日で割って24個になります。値を小さい順に並べてちょうど真ん中にくる値が中央値（メジアン）で、7日分なら4番目の20個です。データの個数が偶数のときは、真ん中の2つの平均値をとります。最も多く現れる値が最頻値（モード）で、2回現れた18個です。

同じ1週間から、24個、20個、18個と三つの答えが出ました。店長の24個が実際の売れ方より多めに出たのは、祭りの日の50個が合計を押し上げたからです。平均値は飛び離れた値（外れ値）に引っぱられやすく、中央値と最頻値はほとんど動きません。祭りの日を除いた6日で考えると、平均値は約19.7個、中央値は19個、最頻値は18個で、三つが近い所に集まります。

代表値が同じでも、散らばり方は違うことがあります。月曜から金曜までの平日5日の売れ数（小さい順に14、18、20、22、26）は、平均値が20個です。各値と平均値との差（偏差）は−6、−2、0、2、6で、そのまま足すと0になってしまうので、2乗して足します。36＋4＋0＋4＋36＝80を5で割った16が分散です。分散の単位は「個の2乗」で扱いにくいので、平方根をとって元の単位に戻した4個を標準偏差といいます。売れ数はおおむね「20個から4個くらい上下する」と読めます。

標準偏差の求め方は、手元のデータをどう見るかで二通りあります。調べたい集団の全部がそろっていて、それ全体の散らばりを知りたいなら、上のように個数（5）で割ります。こうして求めたものが母標準偏差です。一方、5日分を「これからも続く売れ数」のごく一部と見て、そこから全体の散らばりを見積もるなら、個数より1少ない数（4）で割ります。80÷4＝20の平方根で約4.47個となり、これを標本標準偏差といいます。一部だけから見積もると散らばりを小さめに見がちなので、1少ない数で割って補います。表計算ソフトでは関数が分かれていて、Excelなら母標準偏差がSTDEV.P（古い名前はSTDEVP）、標本標準偏差がSTDEV.S（古い名前はSTDEV）です。

平均値と標準偏差がそろうと、1つの値が集団の中でどのあたりにあるかを測れます。平均値が50、標準偏差が10になるように換算した値が偏差値で、50＋10×（値−平均値）÷標準偏差で求めます。平日5日の中で26個売れた日は、50＋10×6÷4＝65です。テストの偏差値と同じ計算で、「平均値より標準偏差の1.5倍だけ多かった日」という位置が分かります。

結局、店長は平日は20個を基本にし、平日5日の標準偏差4個を見込んで、売れ行きのよい日に備えて24個まで焼けるよう生地を用意することにしました。祭りの日は、例外として別に考えます。

2-4尺度

数字の形をしたデータでも、どんな計算に意味があるかは、その数字が何を表しているかで決まります。データを、その性質から4つに分けたものを尺度といいます。下の表の上から下へ進むほど、意味のある計算が増えます。

名義尺度の数字は、名前の代わりに付けた札です。食パンに1、クロワッサンに2を付けたのは区別のためで、番号を付け替えても中身は変わりません。足したり平均したりしても意味がなく、ミナトの2.4はこれにあたります。使えるのは「何人が選んだか」を数えることと、最も多い番号（最頻値）を見ることです。

順序尺度になると、大小に意味が生まれます。5段階の「4」は「3」よりおいしいと感じたことを表します。ただし、「5と4の差」と「2と1の差」が同じ大きさだとは限りません。人気の1位と2位の差が僅差でも大差でも、順位は1つしか違わないのと同じです。

間隔尺度では、目盛りの間隔がそろっているので差に意味があります。発酵室が28℃から32℃に上がったら、4℃上がったと言えます。ただ、0℃は「温度が無い」状態ではなく、目盛りの便宜上の0なので、「30℃は15℃の2倍暖かい」とは言えません。比例尺度は、0が「何も無い」ことを表す尺度です。売れ数が10個から20個になれば2倍売れたと言え、比にも意味があります。

アンケートの5段階評価は順序尺度ですが、実際の集計では平均を出すこともよくあります。それは、段階の間隔がほぼ等しいとみなして間隔尺度のように扱っている、という前提の上での計算です。ミナトは番号の列の平均を消して、パンごとに選んだ人数を数える表に作り直しました。

2-5相関

二つの量のあいだに関係があるかを調べるには、まず、横軸に気温、縦軸に売れ数をとって、1日を1つの点として打ちます。この図を散布図といいます。点が右上がりに並べば、気温が高い日ほど売れ数も多いという傾向があり、片方が増えるともう片方も増える関係を正の相関といいます。散布図や数値を使って、二つの量の関係の強さと向きを調べることを相関分析といいます。

関係の強さを1つの数で表したものが相関係数です。−1から1までの値をとり、点が右上がりの直線にぴったり並ぶほど1に近く、直線的な傾向が見られないほど0に近くなります。7月の記録では、気温と冷やしクリームパンの売れ数の相関係数は0.8ほどで、強い正の相関でした。相関係数が測るのは、直線的な関係だけです。気温が上がるほど売れ、暑すぎる日にはかえって客足が落ちる、といった山なりの関係があっても、相関係数は小さく出ることがあります。

店長の案を確かめるために、アイスコーヒーの仕入れ数と冷やしクリームパンの売れ数で散布図を作ると、やはり右上がりに並びました。けれども、二つが一緒に動くからといって、アイスコーヒーを仕入れたからクリームパンが売れた、とは言えません。片方がもう片方の原因になっている関係を因果関係といい、相関があることと因果関係があることを区別する考え方を相関と因果といいます。

この例では、二つを結ぶものの正体は気温です。暑い日には、アイスコーヒーの仕入れも、冷やしクリームパンの売れ数も、どちらも増えます。直接の因果関係がない二つの量が、共通の原因（交絡因子）に引っぱられて、見かけの上で相関して見えることを擬似相関といいます。コーヒーの隣にパンを置いても、気温が上がらなければ売れ数はそれほど変わらないはずです。

2-6回帰分析と多変量解析

相関が分かっても、「何個」という答えは出ません。答えを出すには、一方の値からもう一方の値を見積もる式を作ります。このとき、予測したい量（売れ数）を目的変数、予測の手がかりにする量（気温）を説明変数といいます。説明変数から目的変数を予測・説明する式を、データから求める方法が回帰分析です。

説明変数が気温1つだけの回帰分析を単回帰分析といいます。散布図の点の真ん中を通るように、点から直線までの縦のずれの2乗の合計が最も小さくなる直線を引きます。これを回帰直線といいます。7月の記録から求めた直線が「売れ数＝2×気温−20」だったとすると、30℃の日は2×30−20＝40個と予測できます。傾きの2は、「気温が1℃上がるごとに、売れ数がおよそ2個増える」という意味です。

売れ数を動かすのは気温だけではありません。土曜と日曜はお客さんが多く、同じ気温でも平日よりよく売れます。気温と「土日かどうか」のように、説明変数を2つ以上使って1つの目的変数を予測する方法を重回帰分析といいます。説明変数を増やせば、気温だけでは説明できなかった売れ数の違いの一部を説明できるようになります。

目的変数が数ではなく、「買う／買わない」のような2つのどちらかのときもあります。試食したお客さんが翌週また買いに来るかを、来店の回数や試食の点数から予測したいとしましょう。直線の式のままだと、予測が1を超えたりマイナスになったりして、確率として読めません。そこで、式の値を0から1のあいだに収まる曲線で変換し、「また来る確率」を予測する方法を使います。これがロジスティック回帰分析（ロジスティック回帰）です。確率が0.5を超えたら「来る」と分類するように、2つに分ける問題にも使われ、機械学習の手法としても扱われます。

翌日、こむぎ堂は予報どおり30℃になり、冷やしクリームパンは40個用意して37個が売れました。回帰直線は「売れ数がちょうどこうなる」と保証するものではなく、記録から求めた傾向をもとに見込みを立てるための式です。外れた3個ぶんのずれは、気温だけでは説明できない、ほかの何かから来ています。

2-7推定と検定

店長が本当に知りたいのは、試食した20人の答えではなく、こむぎ堂に来るお客さん全体のうち何割が「おいしい」と感じるかです。調べたい集団全体を母集団、そこから選んで実際に調べた一部を標本といいます。標本から母集団の性質を見積もることを推定といいます。

見積もり方は二つあります。20人中15人なので、母集団の割合も0.75（75％）だろう、と1つの値で示すのが点推定です。分かりやすい反面、どれくらい外れうるかが分かりません。そこで、「本当の割合はおよそこの範囲にある」と幅をもたせて示すのが区間推定です。よく使われる近似の式で95％の信頼区間を求めると、およそ56％から94％になります。この95％は、同じやり方で標本をとって区間を何度も作ると、そのうち約95％の区間が本当の割合を含む、という意味です。20人では幅がかなり広く、人数を増やすほど区間は狭くなります。

推定で幅が分かっても、ミナトの最初の問い「たまたまではないのか」には、まだ答えていません。この問いに答える手順が仮説検定です。仮説検定では、確かめたいことの逆をまず仮定します。「お客さんが『おいしい』と答える確率は1/2で、好みが半々に分かれる普通のパンだ」という仮説で、これを帰無仮説といいます。本当に主張したい「1/2より多くの人がおいしいと感じる」は対立仮説です。帰無仮説を「この結果のもとでは成り立ちにくい」として捨てる（棄却する）ことで、対立仮説を採ります。

判断の基準は、先に決めておきます。帰無仮説が正しいとしたらめったに起こらない、とみなす確率の線を有意水準といい、5％（0.05）がよく使われます。そのうえで、帰無仮説が正しいとしたときに、実際に出た結果か、それ以上に極端な結果が出る確率を計算します。これがp値（有意確率）です。今回は「多い側」だけを確かめたいので、「おいしい」がそれ以上に多くなる側だけを数えます。

日曜の試食会は、10人中7人以上になる確率なので、2-1で数えた約0.17がp値です。0.05より大きいので、帰無仮説は棄却できません。土曜の試食会では、20人中15人以上になる確率を同じように数えると約0.021です。0.05より小さいので帰無仮説を棄却し、「おいしいと答える人は半分より多い」と判断します。

同じことは、結果を見る前に線を引いておいても判断できます。20人なら、帰無仮説のもとで15人以上になる確率は約0.021、14人以上になる確率は約0.058です。0.05を下回るのは15人以上の側なので、「15人以上なら棄却する」と決められます。このように、結果がそこに入ったら帰無仮説を棄却する範囲を棄却域といいます。10人なら棄却域は9人以上で、日曜の7人は入っていませんでした。

検定の判断も、外れることがあります。本当は帰無仮説が正しいのに、たまたま極端な結果が出て棄却してしまう誤りを第1種の誤りといい、その確率は有意水準以下に抑えられています。反対に、本当は対立仮説が正しいのに、帰無仮説を棄却できない誤りを第2種の誤りといいます。対立仮説が正しいときに、正しく帰無仮説を棄却できる確率を検出力（検定力）といい、1から第2種の誤りの確率を引いた値です。

仮に、本当の割合が0.75だったとしましょう。20人に聞いて棄却域の15人以上に入る確率、つまり検出力は約0.62です。10人に聞いた場合は、棄却域の9人以上に入る確率は約0.24しかありません。日曜の試食会は、パンが本当においしくても4回に3回は「偶然と区別できない」と出る人数でした。検出力は、標本を大きくすると高くなります。

日曜の夜にミナトが抱いた「10人中7人って、信じていい数字なのかな」という問いには、二段の答えがありました。7人という結果そのものは、偶然でも6回に1回は起こるので、それだけでは判断できない。けれども、それはパンがおいしくないからではなく、10人では違いを見分ける力が足りなかったからです。人数を増やして同じ手順で確かめ直したことで、店長の勘は数字で裏づけられました。

残っている問いもあります。試食で「おいしい」と答えた15人のうち、何人が毎週買いに来てくれるかは、この検定からは分かりません。ミナトは、来月の売れ数を記録する表を、もう作りはじめています。