人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

ABCDの4段階評価をしてくれる公開テストがあります。ある人が受験して各設問に解答をすると、総合評価として4段階判定を与えるものです。
その結果発表前に受験生の解答内容をあつめて、私が4段階評価をしてみました。そして結果発表後、自分の評価と結果の差異がどの程度あるのか統計的に評価しようと考えております。

相関係数を使おうと考え、A=4/B=3/C=2/D=1と評価を数値に置き換えてExcel・CORREL関数で試算しました(N=約100)
すると、この数値置き換えは失敗と気づきました。というのも私がC評価とした場合、結果がB評価かD評価でも差異は±1ランクということで同評価としたいのに、B評価だと相関係数が高く出て、D評価だと低く出るのです。

どのようにして評価すべきか適切かを教えていただければと思います。よろしく尾根会いいたします。

●質問者: nashirox
●カテゴリ:学習・教育 科学・統計資料
✍キーワード:Excel テスト ランク 受験 受験生
○ 状態 :終了
└ 回答数 : 5/5件

▽最新の回答へ

1 ● うぃんど
●20ポイント

誤差ゼロ/誤差1/誤差2/誤差3それぞれの該当数を求めて全体に占める比率を出す方法が順当だと思われます

A B C D
1 設問 ご自身の評価 結果 誤差
2 設問1 4 3 -1
3 設問2 3 3 0
4 設問3 2 4 2
101 設問100 1 2 1
102 誤差ゼロ =COUNTIF(D2:D101,0) / 100
103 誤差1 =COUNTIF(D2:D101,1) / 100
104 誤差2 =COUNTIF(D2:D101,2) / 100
105 誤差3 =COUNTIF(D2:D101,3) / 100
◎質問者からの返答

ご解答ありがとうございます。

私のレベルではこれくらいが良いかなと思いました。ありがとうございました。


2 ● hathi
●20ポイント

windofjulyさんが回答されているので、もう回答の必要はないと思うのですが、自分の回答と後で見比べるために回答します。

CORREL(配列1,配列2)で、

配列1を 結果発表をA=4、B=3、C=2、D=1で数値化したものとします。

配列2を 結果発表4段階評価の数値化+|結果発表4段階評価の数値化ーあなたの4段階評価の数値化|とします。

つまり 配列2を(結果発表4段階評価の数値化)に(あなたの4段階評価の狂いの絶対値)を加えたものにする

このような相関を採ると、あなたがBやCに偏った評価をすると相関が高く出るようなことになる気がします。

単純に(A=A、B=B、C=C、D=Dとなったものの数÷全評点の数)=評点がぴったり一致した比率でも良いのではないですか。

◎質問者からの返答

ご解答ありがとうございます。

>このような相関を採ると、あなたがBやCに偏った評価をすると相関が高く出るようなことになる気がします。

おっしゃるとおり、無難な評価(BC中心)をすると相関が高く出るため、思い切った判断ができなくなります。

その点、windofjulyさんが回答されたように比率で評価する方法が良いかなと思いました。

ありがとうございました。


3 ● hathi
●20ポイント

すみません。追加です。

エクセルでスピアマンの相関係数を計算する方法です。

http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1330888...

スピアマンの順位相関係数も、ケンドールの順位相関係数でも計算してくれるところです。

http://www.gen-info.osaka-u.ac.jp/testdocs/tomocom/spea.html

アドイン

http://homepage2.nifty.com/statdograilroad/stat/MyAddIns.html


4 ● 考え中
●20ポイント

http://aoki2.si.gunma-u.ac.jp/lecture/Kappa/kappa.html

普通は、一致率の検定としてkappaを使うんではないかと思いました。

ExcelよりもRとかを使ったほうがいいと思います。

http://cse.naro.affrc.go.jp/takezawa/r-tips/r.html


5 ● a-kuma3
●20ポイント

こういうのは、統計的検定の適合度検定というのを使います。

Excel でやってるページがあったので、参考まで。

http://software.ssri.co.jp/statweb2/sample/example_5.html

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ