ABCDの4段階評価をしてくれる公開テストがあります。ある人が受験して各設問に解答をすると、総合評価として4段階判定を与えるものです。

その結果発表前に受験生の解答内容をあつめて、私が4段階評価をしてみました。そして結果発表後、自分の評価と結果の差異がどの程度あるのか統計的に評価しようと考えております。

相関係数を使おうと考え、A=4/B=3/C=2/D=1と評価を数値に置き換えてExcel・CORREL関数で試算しました(N=約100)
すると、この数値置き換えは失敗と気づきました。というのも私がC評価とした場合、結果がB評価かD評価でも差異は±1ランクということで同評価としたいのに、B評価だと相関係数が高く出て、D評価だと低く出るのです。

どのようにして評価すべきか適切かを教えていただければと思います。よろしく尾根会いいたします。

回答の条件
  • 1人2回まで
  • 13歳以上
  • 登録:2011/01/07 11:00:51
  • 終了:2011/01/14 11:05:03

回答(5件)

id:windofjuly No.1

うぃんど回答回数2625ベストアンサー獲得回数11492011/01/07 19:16:41

ポイント20pt

誤差ゼロ/誤差1/誤差2/誤差3それぞれの該当数を求めて全体に占める比率を出す方法が順当だと思われます

  A B C D
1 設問 ご自身の評価 結果 誤差
2 設問1 4 3 -1
3 設問2 3 3 0
4 設問3 2 4 2
101 設問100 1 2 1
102 誤差ゼロ     =COUNTIF(D2:D101,0) / 100
103 誤差1     =COUNTIF(D2:D101,1) / 100
104 誤差2     =COUNTIF(D2:D101,2) / 100
105 誤差3     =COUNTIF(D2:D101,3) / 100
id:nashirox

ご解答ありがとうございます。

私のレベルではこれくらいが良いかなと思いました。ありがとうございました。

2011/01/11 10:51:49
id:hathi No.2

hathi回答回数204ベストアンサー獲得回数462011/01/07 22:28:50

ポイント20pt

windofjulyさんが回答されているので、もう回答の必要はないと思うのですが、自分の回答と後で見比べるために回答します。

CORREL(配列1,配列2)で、

配列1を 結果発表をA=4、B=3、C=2、D=1で数値化したものとします。

配列2を 結果発表4段階評価の数値化+|結果発表4段階評価の数値化ーあなたの4段階評価の数値化|とします。

つまり 配列2を(結果発表4段階評価の数値化)に(あなたの4段階評価の狂いの絶対値)を加えたものにする

このような相関を採ると、あなたがBやCに偏った評価をすると相関が高く出るようなことになる気がします。

単純に(A=A、B=B、C=C、D=Dとなったものの数÷全評点の数)=評点がぴったり一致した比率でも良いのではないですか。

id:nashirox

ご解答ありがとうございます。

>このような相関を採ると、あなたがBやCに偏った評価をすると相関が高く出るようなことになる気がします。

おっしゃるとおり、無難な評価(BC中心)をすると相関が高く出るため、思い切った判断ができなくなります。

その点、windofjulyさんが回答されたように比率で評価する方法が良いかなと思いました。

ありがとうございました。

2011/01/11 10:51:13
id:hathi No.3

hathi回答回数204ベストアンサー獲得回数462011/01/07 23:43:26

ポイント20pt

すみません。追加です。

エクセルでスピアマンの相関係数を計算する方法です。

http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1330888...

 

スピアマンの順位相関係数も、ケンドールの順位相関係数でも計算してくれるところです。

http://www.gen-info.osaka-u.ac.jp/testdocs/tomocom/spea.html

アドイン

http://homepage2.nifty.com/statdograilroad/stat/MyAddIns.html

id:nobnob3 No.4

考え中回答回数324ベストアンサー獲得回数292011/01/08 15:49:06

ポイント20pt

http://aoki2.si.gunma-u.ac.jp/lecture/Kappa/kappa.html

普通は、一致率の検定としてkappaを使うんではないかと思いました。

ExcelよりもRとかを使ったほうがいいと思います。

http://cse.naro.affrc.go.jp/takezawa/r-tips/r.html

id:a-kuma3 No.5

a-kuma3回答回数4463ベストアンサー獲得回数18412011/01/08 12:26:53

ポイント20pt

こういうのは、統計的検定の適合度検定というのを使います。

Excel でやってるページがあったので、参考まで。

http://software.ssri.co.jp/statweb2/sample/example_5.html

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません