はてなアンケートをなるべくきちんとした統計資料として用いる際に留意すべき点を以下、A・B・Cいずれかの観点から答えてください。(複数答えていただいてもOKです)

 いずれも可能な限り、実例を挙げつつ指摘していただければベターです。

【A】.アンケートをとる際に留意すべき点:
 「このアンケートはこういった質問項目を入れておくべきだった」「質問の仕方をこうすべき」など

【B】.アンケートとり終わった後、結果を提示する際に留意すべき点:
 「はてなユーザーという母集団のバイアスがかかっている」「答えたい人だけに偏りやすいアンケートとなっている」「××という属性がわからない」など

【C】.はてなアンケートが他の調査方法と比べてすぐれている点:
 ただし、「はやい、手軽、安い」というのではなく、なるべくなら調査方法としての妥当性・正確性といった観点からお願いします。

回答の条件
  • URL必須
  • 1人2回まで
  • 登録:2005/08/13 21:29:14
  • 終了:--

回答(8件)

id:myogab No.1

M回答回数61ベストアンサー獲得回数22005/08/13 21:59:58

ポイント20pt

http://www.hatena.ne.jp/1123936154

人力検索はてな -  はてなアンケートをなるべくきちんとした統計資料として用いる際に留意すべき点を以下、A・B・Cいずれかの観点から答えてください。(複数答えていただいてもOKです)  ..

【A】.アンケート開始時間

どの時間帯に余暇時間があるかによって、かなり回答者を選別できる。

【B】.アンケート開始時間

Aと同じ理由。アンケート終了時間や受付時間も。

【C】.該当アンケートや電話アンケートと違い、表情や声のトーンによって、回答を誘導し難い。


悪い理由として、ポイント目的の無思慮な回答が集中しやすい。設問を読みもしないでランダムに近い選択をする可能性。選択しやすい場所に集中しやすい。

意味が判りにくい問題の場合、同調性バイアスがかかって最初に回答した者の意見に大きく左右されやすい(結果を順次表示する場合)

id:hiyokoya

ありがとうございます。

●余暇時間帯というのは確かに僕も考えたことがありましたが、あまり実践はしてませんね…

昼間に質問したら主婦・大学生・無業者などの回答が多く

夜7時〜12時ぐらいなら社会人・高校生なども答えられるといったことでしょうか。

●ポイント目的の回答については「ポイントゲット」という回答項目をつけるというのが手法として広まりつつありますが、あれをつければ全て解決、という話でもないですしね…

●「選択しやすい場所に集中しやすい」というのはははてな意外にも多くのアンケートで見られるバイアスですね。たしかにはてなアンケートでも注意すべきことです。

●結果を順次表示する/しないというのは大きな意味がありますね。僕は可能なかぎりいつも「結果は最後まで表示しない」ことにしてます。

2005/08/13 22:23:35
id:baythemoon No.2

baythemoon回答回数103ベストアンサー獲得回数02005/08/13 22:03:01

ポイント20pt

【A】

単なる「ポイントゲット」という項目を入れるべきかどうか考慮する余地があると思われます。

あと、複数回答で3つまでなどの設定は確かできないと思いますのでその辺りも工夫が必要でしょうか。

【B】

例そのままですが「はてなユーザーという母集団のバイアスがかかっている」という点は留意する必要があると思われます。少なくとも、大部分の人は「日常的にインターネットを利用している」層ではないでしょうか。

属性については性別・年齢のみなので、職業とか家族構成を知りたい場合は向かないかもしれません。クロス集計を取りたい場合もちょっと手間ですかね。

【C】

WEB上でのアンケートということで処理がしやすいということはあると思いますが、はてなアンケートに限るとなれば感覚的な付加価値(例えば、はてなユーザーはネットに詳しいとか?)を強調する必要があるのかも。

妥当性・正確性は現状では厳しいかもしれません。誰が答えたか分かるようにして最低ポイントを5ポイントにするなどの改善がなされない限り…。

id:hiyokoya

>複数回答で3つまでなどの設定は確かできない

そうですね。そのぐらいはなんとか実装していただけないか、と思いますね…はてなスタッフの方々にとってコーディングが大変であろうことは予想がつきますが…

>クロス集計を取りたい場合もちょっと手間ですかね。

そうですよねー。本当にそれが取れたら、はてなアンケートの価値が僕の中で確実に二倍以上になるのですが

>感覚的な付加価値(例えば、はてなユーザーはネットに詳しいとか?)

なるほど。感覚的な付加価値ですが。それは考えていませんでしたが、たしかにそういう点で少し優れているといえる…かもしれせんね。

>誰が答えたか分かるようにして最低ポイントを5ポイントにするなどの改善がなされない限り…。

ですよね。

いまのアンケートでも「5ポイント」を設定できますが、現状だと「5ポイント」にする意味ってほとんど皆無といっていい状況ですよね。単にポイントを多く放出しているだけで、何の意味があるのかちょっとあれは理解できませんね。

2005/08/13 22:29:24
id:sokyo No.3

sokyo回答回数1372ベストアンサー獲得回数952005/08/13 22:12:00

ポイント20pt

こんにちは。URLダミー気味。


A

一般論になりますが、

・「ポイントゲット」の項目を最初につけるべき。

・「その他」の項目を最初につけるべき。

です。

あとは、

http://www.hatena.ne.jp/1121687509

のような設問の場合は、2つごとに別々の質問にするのが理想です。

そうするとお金がかかるのは承知の上ですが。


B

ちょっとよくわからないのでパスします。


C

調査方法としての妥当性はあまりありません(^^;)。

なにしろ、答えたい人だけが答えているわけですから。

ですが優れている点もあります。たとえば、

・集計上のミスは起こりえない。

とか。あとは、年齢・性別ごとに回答者を制限できるので、

・年齢・性別ごとの傾向を把握するのは、楽。

というメリットもあります。

実際の調査でこれをやろうとすると、

母集団を選び出すのが結構大変になるはずです。

id:hiyokoya

http://www.hatena.ne.jp/1121687509

のような設問の場合は、2つごとに別々の質問にするのが理想です。

たしかに。

1000ポイントも使うのであれば、500ポイントずつで二回聞いたほうがいいでしょうね。

●B ちょっとよくわからないのでパスします。

 わかりにくくてすみません…

 言いたいことは「アンケートをとり終わった後、結果を分析・検討する際に考慮しておかなければならない点」といったことです。

●調査方法としての妥当性はあまりありません(^^;)。なにしろ、答えたい人だけが答えているわけですから。

 おっしゃるとおりです。

 ただ、最近チラリと思うのですが、他のネットリサーチ会社のやっていることも回答者の属性項目を細かく設定できる、という点をのぞけば、結局はその手のネット調査に付き合っている人というのも「答えたい人だけが答えている」状況は、はてなとあまり変わらないのではないかと思うのです。

 結局は他の会社だって一回の回答者に対して1円〜高くて20円程度の報酬しか与えていない場合が多いようですから、そこのところで回答に協力する人は余暇時間の多い人や、質問項目に興味のある人に集中しやすいといった傾向性はなかなか避けられていないのではないでしょうか。ネットリサーチ会社に発注すると、一回の質問で軽く数万を取られますが、質問によってははてなでじゅうぶん代用できる部分も結構あるのではないか、という気がしています。

 …いや、単に僕が知らないだけでネットリサーチをやっている会社はもっといろいろと頑張っているのかもしれませんが、何をやっているのか見えないもので。

●集計上のミスは起こりえない。

●年齢・性別ごとの傾向を把握するのは、楽

結局は年齢・性別ごとに別々に質問しなければならないのは若干手間だな、と感じることもありますが、確かに実際の調査とは比べものにはなりませんね(笑)

2005/08/13 22:45:39
id:myogab No.4

M回答回数61ベストアンサー獲得回数22005/08/13 23:32:30

リンクに深い意味はありませんが。

3のCに対する回答へ補足

>「答えたい人だけが答えている」状況は、はてなとあまり変わらないのでは


新聞社等のアンケートでは、1500人に聞いて987人に回答を得ました…というように、回答率が明らかにされてますよね。何人が答え難いと感じたかが逆に判る。はてなでは、それが全く判らない。何人が回答を拒絶したのか。それを加えたら、どの程度アンケート結果に変位が生じるのかの類推の幅が。


例えば、政治的なアンケートの場合、権力者の裏の圧力を(妄想的であれ)怖れて、与党に都合の悪い回答を腹に持つ者は、答えなかったり偽りの回答結果を出したりする。戦う意思のある者や、怖れの無い者が正直に回答する…など。

昨今の公安の横暴。ボランティアのビラ配りでも、政治的に邪魔ならば不当逮捕を厭わない…を見て、私は大きな会社のアンケートや、街頭アンケートに誘われても、断るか正直に答えないと思う。

id:hiyokoya

 なるほど。ありがとうございました。

 確かにそのような形で明示されているアンケートがあるのは存じております。うろ覚えですが、そういったアンケートの場合はネット調査よりも、街頭アンケートや、質問紙を送りつけている場合かと思います。

 もっともネットアンケートをする場合でも、質問項目をいきなりメールなどのようなもので送信している場合はそのような形で、「回答率」を出すことができると思いますが、私の知っているいくつかの有料ネットリサーチ会社の取っている方法では、「メールを送る」「ログインする」「人数分集まったら終わり」という方法を取っているところがほとんどでした。そのような場合、回答率を算出することは難しい…というか、そのメールに気づけた人+ログインするヒマのあった人が答えるという感じで、回答率を取るということはネット調査系ではあまりやられていないのではないでしょうか?(間違っていたらすみません)

 また、政治的なアンケートについてですが、id:myogabさんのような理由で答えないという人は一部だという気がします。単に面倒だったり、答えるほどの意見がない、などといった人も大勢いたりするのではないでしょうか。

2005/08/13 23:56:20
id:hottokei No.5

hottokei回答回数178ベストアンサー獲得回数132005/08/13 23:46:21

ポイント20pt

asahi.com WEB投票には、こうあります:この投票は統計的な手法に基づくものではなく、結果が世論を正確に反映しているものではありません。


 ”統計的な手法”による標本調査を行うためには、母集団から無作為に標本を抽出することが基本です。はてなアンケートは、その基本の担保がされているものではありません。


【A】

 その無理を承知で言えば、回答者の偏りを把握するために、回答者の基本属性、例えば、性別、年齢階級、就業状況などを質問項目に入れるべき。


【B】

 留意点は、「はてなアンケートであること」にほかなりません。簡潔に言い換えれば、インターネットによる意見募集型の投票の結果、と表現できるでしょうか。

【C】

 調査方法としての妥当性・正確性という点について、はてなアンケートの優位性を探すことは困難です。


 Yahoo!リサーチが自身のバイアスについてどう分析しているか、ご覧下さい。

id:hiyokoya

●”統計的な手法”による標本調査を行うためには、母集団から無作為に標本を抽出することが基本です。はてなアンケートは、その基本の担保がされているものではありません。

もちろん、hottokeiさんのおっしゃるとおりだと思います。無理を承知で答えていただきありがとうございます。

●回答者の偏りを把握するために、回答者の基本属性、例えば、性別、年齢階級、就業状況などを質問項目に入れるべき。

それもまったくもってその通りだと思います…が、システム的にそれが可能であるのは、性別と年齢のみなのですよね。残念なことに。その他は全て「自己申告」を信じるほかないというのが、はてなアンケートの現状だといえます。

「階級」というか年収などから操作的に定義した「階層」を限定するであるとか、「職業」の部分を限定できたらいいのですが…

●Yahoo!リサーチ - 品質について

たいへん興味深く読ませていただきました。

「Yahoo!リサーチの回収率は、プレ調査なしの本調査の場合で60%から65%、プレ調査後の本調査では80%前後と、高水準でかつ安定」というのはすごいですね。どうやっているのかホントに知りたいところです。

「回答者先着順方式」の際に発生する初期回答者バイアスに対しての対策もよくできてますね。

本人確認は…まあ、はてなにそこまで求めるのは酷ですね。

2005/08/14 00:11:06
id:borin No.6

borin回答回数2053ベストアンサー獲得回数02005/08/15 01:15:55

ポイント3pt

Aについて。

私はどちらかというと「ポイントゲット」という項目はいらないと思います。

だってアンケートをとりたいのに、

どうして関係ない「ポイントゲット」欄があるんですか?と思いませんか。


そしてアンケートは年齢・性別など、何かを制限すべきです。

ただ単にだらだらアンケートをとっても無駄ですから。


それと終了時間と集計人数を明記するのも大事。

はてなアンケートはそのほとんどがいつ終わってしまうのか、

何人まで回答を受け付けているのかがわかりません。

だから回答者は「終わってしまう前にどれでも適当なものを回答してポイントをもらおう」と考えるわけです。


Bについて。

「かならずしも信用できる結果ではない」ということを考慮すべきでしょう。


何度も同じアンケートを行って、その集計をすれば、

多少信頼できる結果が得られるかもしれません。


Cについて。

「多くの人が見ている」という点は優れています。

街頭でのアンケートは、ほんの一部の人だけで、

テレビで放送されて始めて「あ、そんなアンケートやってたんだ」と知るものばかり。

それに比べ、”はてな”という世界の人には、

はてなアンケートの項目だけでも知ることができます。


もう一つ。

クリックで応えるわけですから、世間体や相手の様子を伺う必要がなく、

自分の素直な気持ちで選ぶことができるのも優れている点ですね。


長々と書いてしまいましたが、参考になりましたでしょうか?

id:hiyokoya

ありがとうございます

●どうして関係ない「ポイントゲット」欄があるんですか?と思いませんか。

 わたしもポイントゲットについては、かならずしも全面的にいいとは思えません…そもそも、はてなアンケートをよく知らない人には何を意味する項目なのかすらわかりませんしね。

 ただ、どのような場合に「ポイントゲット」をつけること/つけないことが有効なのか、という使い分けがあればいいのではないか、と思います。

●何度も同じアンケートを行って、その集計をすれば、多少信頼できる結果が得られるかもしれません。

たしかに。質問する時間帯などをかえたりしながら質問すれば多少はよくなるでしょうね。

-----

【広報】

 なるべく実例を挙げて、論じていただけると幸いです。

2005/08/15 08:57:03
id:nankichi No.7

nankichi回答回数562ベストアンサー獲得回数22005/08/15 12:02:39

ポイント80pt

http://www.hatena.ne.jp/1099531169

人力検索はてな - 内容の同じアンケートを短時間に質問文を変えて行うという実験をしました。統計学や心理学に詳しい方教えてください。この結果から「人は質問文の内容には左右されない」と..

まずは過去の質問から。

今回提示したurl、それぞれ読み込んでください。


最後の方は大変ですが、あなたの疑問点に答えられるurlです。

http://www.hatena.ne.jp/1077689724

人力検索はてな - 「アンケートの特殊性」という言葉の意味を理解している方にお聞きします。アンケートはてなに回答するユーザにはどのような偏りがあると考えられますか?引用・URLの提..

http://www.hatena.ne.jp/1087127876

人力検索はてな - はてなアンケートを募集したが、信頼できない結果になりがっかりした、という具体例をなるべくたくさん示してください。(アンケートを募集した方だけに回答してほしいです..

http://www.hatena.ne.jp/1085065551

人力検索はてな - 正直に答えてください:はてなアンケートで「xxxの方にお伺いします」と書いてあるものをみかけます。ポイント目当てで自分は当てはまらなくても答えたことはありますか..

去年この方がよくまとめています。

>はてなアンケートをなるべくきちんとした統計資料として用いる

残念ながら、そんなことは不可能です。

何でwebの調査会社、普通の調査会社が成立するか、ちょっと考えればわかると思うのですが。

>【A】.アンケートをとる際に留意すべき点:

単なるポイントゲットを省く回答選択肢があったほうがよいでしょう。


>【C】.はてなアンケートが他の調査方法と比べてすぐれている点:

手軽(作るのが簡単)・安い以外何のメリットもありません。

一つの質問の単純集計しかできないので、統計的に云々というレベルではありません。

しかし、100円でアンケートが採れる。それだけで十分ではないでしょうか?


>調査方法としての妥当性・正確性

urlはネット調査が他の調査手法と比べて云々という話の日本の研究事例。

http://hyperws1.ism.ac.jp/new-survey.html

�����‹��̕ω��ɑΉ������V���Ȓ����@�̌���

http://www.jil.go.jp/institute/reports/2005/017.html

独立行政法人 労働政策研究・研修機構/研究成果/労働政策研究報告書

http://mnri.macromill.com/index.html

ネットリサーチ総合研究所

ネット調査会社がやっていること。

id:hiyokoya

nankichiさん、充実した回答をいただきありがとうございます。

いずれも大変興味深い内容でした。

それと…私は自分が無知であることははじめから認めていますので、もう少し棘々しくない記述をしていただければ助かります。もちろん、nankichiさんが私のような無知が不愉快だというのならばそれは甘受するしかないことなのでしょうが…。

2005/08/16 18:15:45
id:rootx No.8

rootx回答回数129ベストアンサー獲得回数02005/08/16 01:43:52

ポイント3pt

http://counter.hatena.ne.jp/

はてなカウンター

【A】.アンケートをとる際に留意すべき点:

ポイントゲット項目は必ず入れておくべきです。ポイントゲット目的の回答者をそこに集めることができます。※回答枠の一番上に入れるのがベスト。

アンケートの途中経過表示はやめたほうがよい。結果に左右されやすい。

id:hiyokoya

ありがとうございます。

----------------------

これにて回答を締め切りたいと思います。

ご回答いただいたみなさん、ありがとうございました。

改めて感謝いたします。

2005/08/16 18:16:58

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません