限られた試験の結果から不良率を予測する方法を教えてください。


参考事例(試行回数10、1超でOK)
10、9、10、8、9、10、6、10、10、9

・物理的に10が上限値
・とりうる値は0~10の整数値

たった10サンプルの中に6という結果が紛れ込んでいるため、「不良率が高いのでは?」という意見が出て、「スジが悪い」と開発終了の瀬戸際なのです。
求められている不良率は1%未満なので、上記の結果から「0か1が出る確率は1%未満」といいたいのです。確率分布が不明なので、正確な結果は出ません。しかし、一般的な仮定の下で「不良率1%未満」となれば万々歳です。
もちろん、常識的な仮定で計算した結果、不良率が1%以上になってしまうなら、残念ですが諦めがつきます。

回答の条件
  • 1人5回まで
  • 13歳以上
  • 登録:2013/02/28 12:01:01
  • 終了:2013/03/04 00:34:09
id:sample2

これは理論的に上限が決まっている試験なので、飛びぬけて高い値は絶対に出てきません。そして大半の試験結果が、上限付近となる特長があります。また低い値が出る原因は多々あって、それらを完全に制御することはできないという前提があります。

ベストアンサー

id:a-kuma3 No.4

a-kuma3回答回数4624ベストアンサー獲得回数19592013/03/01 01:00:58

ポイント500pt

提出されている数値は、ある製品の品質を表す数値(成績)だと仮定します。
満点が10点。
それなりの品質で作られているため、平均は良い方に偏っており、悪い点数はあまり観測されない。
# この辺りの仮定が違ってると、これ以降の意味が無くなっちゃうわけですが...

そこで、点数ではなく、満点からの減点に着目し、減点の出現頻度がポアソン分布に従う、と仮定する。

つまり、10 → 0、9 → 1 というふうに加工するということです。
度数分布は、以下のようになります。

得点減点測定回数
1005
913
821
730
641
550


この減点の分布が、ポアソン分布に従うかどうかを、適合度検定します。
つまり、帰無仮説は「減点の分布は、ポアソン分布に従っている」です。
対立仮説は「減点の分布は、ポアソン分布ではない」です。
標本数が少ないので、有意水準は 5% としておきます。

012345減点
531010標本の度数
032040減点×標本の度数(λの推定に使う)
0.406569660.365912690.164660720.049398210.01111460.00200063λ=0.9 のポアソン分布の確率
4.06569663.65912691.64660720.49398210.1111460.0200063ポアソン分布(λ=0.9)の期待度数


λの推定値は 0.9 です(↑の表の三行目の合計を、二行目の合計で割った値)。
ポアソン分布の確率は、こちらの表を使ってます。もちろん、表は累積確率なので、差分に読み替えてます。

んで、期待度数が 1 未満の階級を統合します。つまり、減点が 2~5 の階級をまとめています。

012-5ランク
532度数
4.06569663.65912692.2717416期待度数
0.2147043740.1187300360.032505236検定統計量


検定統計量の合計は 0.365939647 。
検定統計量は、自由度 1 (3-1-1) のχ2分布 に従う。
有意水準αを 5% としたときの検定統計量は、χ2分布表 から 3.84。
よって、対立仮説は有意水準 5% で棄却され、「標本データは、ポアソン分布に従わないとは言えない」となります。
つまり、λ=0.9 のポアソン分布っぽい、ということです。

1% 確率のランクを期待してたんですよね。
ポアソン分布表から、λ=0.9 のところを引用します。

00.40656966
10.77248235
20.93714307
30.98654128
40.99765588
50.99965651
60.99995660
70.99999518
80.99999952
90.99999996
101.00000000

累積確率が 0.99 を超えるのは、3~4 です。
減点が 4 以上の値、つまり点数が 6 以下の点数が出てくるのは 1% 未満ということが言えそうです。



でも、最終的に統計検定に使った表を見れば分かりますが、階級が三つで、それぞれの度数が 5, 3, 2 という表をポアソン分布だと推定しているわけです。
ポアソン分布は、極端な値の発生頻度が低い、離散値で観測される現象でよく使われます。
標本数が少ないので、期待度数が 1 を超えるまで階級を統合しましたが、通常はもっと大きな値で統合します。
つまり、もう少し、標本が欲しいな、というところなんです(仕方ないとは言え)。

後、「リスク」という捕え方をされた場合には、計算上の出現率よりも厳しいところを求められるのが常です。
製品の歩留まりを考えた場合、歩留まり率を 99%(100個に 1個が不良品)に抑えたければ、出現率はもっと低いところを求められます。
開発段階のようなので、この辺りはある程度の値でも良いのかもしれませんが。



後付けになりますが、ポアソン分布の適合度検定については、以下の辺りを参照ください。

id:sample2

ポアソン分布は初めて目にします。半日頑張ってみて、当たり前の結論ではありますが、付け焼刃で振り回せるものではなさそうだとは思いました。理解が追いつくまで保留させてください。

2013/03/01 03:39:49
id:sample2

ありがとうございました。

2013/03/04 00:36:10

その他の回答(5件)

id:taknt No.1

きゃづみぃ回答回数13539ベストアンサー獲得回数11982013/02/28 12:14:25

ポイント50pt

>また低い値が出る原因は多々あって、

その原因が無視できるものであるならば、6とか極端なのは無視してもよいと思います。

他3件のコメントを見る
id:taknt

不良品は検査でわかるということは、しばらくやれば、どれぐらい 不良品が出たかわかるはずです。
そこから 不良率を求めるのが 一般的かと思われますが。

2013/02/28 18:32:13
id:sample2

ですから、開発途中で数を作れないので、たった10サンプルから結果を予測しなければならないのです。いま説得できなければ、ここで終わりなんです。
高級品なので、最終的な生産数も数百台程度です。数百台しか生産しないもののために試作品を10台作るだけでもたいへんなのです。1%未満の不良率というのは、実質的に不良が1つも出ないことを期待するということを意味しています。

2013/02/28 18:41:43
id:sample2

質問文を編集しました。詳細はこちら

id:ttakato No.2

★champion★回答回数93ベストアンサー獲得回数72013/02/28 17:09:19

ポイント100pt

ああ、そういう意味でしたか。じゃあ、普通に考えて6の確率10%だから、1以下が出る確率はだいだい5%です。なので、安全率は99,5%ですね。

他1件のコメントを見る
id:sample2

「不良率を予測したい」というのが真意です。サンプルはこれ以上、増やせません。「10サンプルやって、全部OKだった」が私の報告で、それに対して「6~10というと、けっこう値がばらついている。この調子だと、0や1も高い確率で出てしまうのではないか。この製品は筋が悪いから辞めよう」という意見が出ているわけです。私としては「計算上、0や1はこんなに出にくい」と反論したいのです。

2013/02/28 18:50:54
id:sample2

どうもありがとうございます。

2013/03/01 03:40:21
id:sample2

質問文を編集しました。詳細はこちら

id:oil999 No.3

oil999回答回数1728ベストアンサー獲得回数3202013/02/28 18:56:15

ポイント100pt

母集団が正規分布にしたがっていると仮定した場合、6に着目すると、確率0.1で出ているため、確率0.05で1以下が出る可能性があります。
よって、安全率は99.5%となります。

正規分布表

http://www.biwako.shiga-u.ac.jp/sensei/mnaka/ut/normdisttab.html

他3件のコメントを見る
id:sample2

問題の製品は、不良が発見されたら全損になります。

もともとサンプルは10しか作れない前提で、試験結果を見て結論を得ることになっており、現状では「こりゃダメだ。リスクが高すぎる」となっているのです。そこで「結論を出すのは明日の夕方まで待ってください」と。
統計に無知な者同士なので、こちらが少しお勉強したら何か反論できるのではないかと思ったのです。しかし無知な状態からWebページをパラ見しても何だかよくわからない。それで人力検索に頼ってみた次第です。

ともあれ、正規分布表を見ると、10個作って全て基準値の何倍といった数字でも、運悪く基準値を下回る確率ってけっこう高いのですね……。

2013/02/28 22:54:10
id:a-kuma3

別の質問でも書きましたが、ポアソン分布を想定した方が良いと思います。
明日の夕方までだったら、もうちょっと時間はありますよね。
回答できるところまで行けるかどうか、分からないですけど、ちょっとやってみます。

2013/02/28 23:19:57
id:a-kuma3 No.4

a-kuma3回答回数4624ベストアンサー獲得回数19592013/03/01 01:00:58ここでベストアンサー

ポイント500pt

提出されている数値は、ある製品の品質を表す数値(成績)だと仮定します。
満点が10点。
それなりの品質で作られているため、平均は良い方に偏っており、悪い点数はあまり観測されない。
# この辺りの仮定が違ってると、これ以降の意味が無くなっちゃうわけですが...

そこで、点数ではなく、満点からの減点に着目し、減点の出現頻度がポアソン分布に従う、と仮定する。

つまり、10 → 0、9 → 1 というふうに加工するということです。
度数分布は、以下のようになります。

得点減点測定回数
1005
913
821
730
641
550


この減点の分布が、ポアソン分布に従うかどうかを、適合度検定します。
つまり、帰無仮説は「減点の分布は、ポアソン分布に従っている」です。
対立仮説は「減点の分布は、ポアソン分布ではない」です。
標本数が少ないので、有意水準は 5% としておきます。

012345減点
531010標本の度数
032040減点×標本の度数(λの推定に使う)
0.406569660.365912690.164660720.049398210.01111460.00200063λ=0.9 のポアソン分布の確率
4.06569663.65912691.64660720.49398210.1111460.0200063ポアソン分布(λ=0.9)の期待度数


λの推定値は 0.9 です(↑の表の三行目の合計を、二行目の合計で割った値)。
ポアソン分布の確率は、こちらの表を使ってます。もちろん、表は累積確率なので、差分に読み替えてます。

んで、期待度数が 1 未満の階級を統合します。つまり、減点が 2~5 の階級をまとめています。

012-5ランク
532度数
4.06569663.65912692.2717416期待度数
0.2147043740.1187300360.032505236検定統計量


検定統計量の合計は 0.365939647 。
検定統計量は、自由度 1 (3-1-1) のχ2分布 に従う。
有意水準αを 5% としたときの検定統計量は、χ2分布表 から 3.84。
よって、対立仮説は有意水準 5% で棄却され、「標本データは、ポアソン分布に従わないとは言えない」となります。
つまり、λ=0.9 のポアソン分布っぽい、ということです。

1% 確率のランクを期待してたんですよね。
ポアソン分布表から、λ=0.9 のところを引用します。

00.40656966
10.77248235
20.93714307
30.98654128
40.99765588
50.99965651
60.99995660
70.99999518
80.99999952
90.99999996
101.00000000

累積確率が 0.99 を超えるのは、3~4 です。
減点が 4 以上の値、つまり点数が 6 以下の点数が出てくるのは 1% 未満ということが言えそうです。



でも、最終的に統計検定に使った表を見れば分かりますが、階級が三つで、それぞれの度数が 5, 3, 2 という表をポアソン分布だと推定しているわけです。
ポアソン分布は、極端な値の発生頻度が低い、離散値で観測される現象でよく使われます。
標本数が少ないので、期待度数が 1 を超えるまで階級を統合しましたが、通常はもっと大きな値で統合します。
つまり、もう少し、標本が欲しいな、というところなんです(仕方ないとは言え)。

後、「リスク」という捕え方をされた場合には、計算上の出現率よりも厳しいところを求められるのが常です。
製品の歩留まりを考えた場合、歩留まり率を 99%(100個に 1個が不良品)に抑えたければ、出現率はもっと低いところを求められます。
開発段階のようなので、この辺りはある程度の値でも良いのかもしれませんが。



後付けになりますが、ポアソン分布の適合度検定については、以下の辺りを参照ください。

id:sample2

ポアソン分布は初めて目にします。半日頑張ってみて、当たり前の結論ではありますが、付け焼刃で振り回せるものではなさそうだとは思いました。理解が追いつくまで保留させてください。

2013/03/01 03:39:49
id:sample2

ありがとうございました。

2013/03/04 00:36:10
id:takejin No.5

たけじん回答回数1495ベストアンサー獲得回数1942013/03/01 10:24:17スマートフォンから投稿

ポイント50pt

たぶん統計的に処理できるほどのサンプル数じゃない。
6って数値と頻度が微妙すぎる。
8と大きく隔たってないし、10%の確率だし。
無視できないと思う。
それぞれの数値に言い訳ができるなら(ということは、同一条件じゃないことでもあり、このサンプルには意味が無い)検討の余地ありだけど。

6が出た時点で、実験?計画の見直しです。

他1件のコメントを見る
id:takejin

1未満になる技術的要因、を掘り下げた方がいいのでは?
確率などで予測できます?
1と6と10の要因が違うと、複合分布で解析不能です。

気持ち的には、1が不良で最低6なんだから、全然問題ありません、ですけどねぇ。

2013/03/01 10:35:56
id:sample2

どうもありがとうございました。

2013/03/04 00:30:25
id:akagi_paon No.6

akagi_paon回答回数143ベストアンサー獲得回数132013/03/01 17:02:29

ポイント500pt

質問文のデータから、
 平均=9.1
 標準偏差=1.28
が求められます。
まず、0 か 1 が出る確率  P(X ¥leq 1) について
  P(X ¥leq 1) ¥leq P(|X - 9.1| ¥geq 8.1)
が成り立ちます。
ここで、チェビシェフの不等式
  P(|X - 9.1| ¥geq 1.28 k) ¥leq ¥frac{1}{k^2}
が成り立つので、 1.28 k = 8.1 より、
  k = 7.1
とおくと、
  P(X ¥leq 1) ¥leq P(|X - 9.1| ¥geq 8.1) ¥leq 0.02
が成り立ちます。
従って、0 か 1 が出る確率は 0.02 以下と考えられます。

id:akagi_paon

ブートストラップで k の 95%信頼区間を求めると (4.13,18.0) となり、
0 か 1 が出る確率は 0.06 以下である可能性が非常に高いです。

x <- c(10,9,10,8,9,10,6,10,10,9)
n <- length(x)

ks <- replicate(100000, {
  tmp <- sample(x, size=n, replace=TRUE)
  (mean(tmp) - 1) / sd(tmp)
})
k <- quantile(ks, probs=c(0.025, 0.975))
1/k^2
2013/03/01 19:27:21
id:sample2

どうもありがとうございました。

2013/03/04 00:31:00
  • id:karuishi
    >・とりうる値は0~10の整数値
    検査の結果が離散値になっているのは何故?
    本当にこの精度だったら有効桁数1桁未満です。

    真の値が、切り上げまたは切り捨てられて
    この値として出ているという事でしょうか?
  • id:sample2
    申し訳ありませんが、回答は控えさせてください。

この質問への反応(ブックマークコメント)

トラックバック

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません