人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

はてなアンケートの信憑性についてお聞きします。
はてなアンケートで調査をすると、非常に偏った結果になることがあります。
気になるのは、実質同一人物が複数のはてなIDを所持し、いっせいに回答を行っていないか?
そのようなことに関して情報があれば教えてほしいのです。
WEBおよびはてなに関して初心者なので、そのあたり暗黙に行われていそうな実情がわかりません。
なにか情報ありませんでしょうか?

●質問者: alonso27
●カテゴリ:コンピュータ インターネット
✍キーワード:Web はてな はてなID はてなアンケート 初心者
○ 状態 :終了
└ 回答数 : 24/24件

▽最新の回答へ

[1]偏ります Newswirl

?終了後公開を選ばない場合は、わりと偏る性質が作用することが多いです。?質問者の提示した質問文や選択肢、質問の量によって一方に偏ることも考えられます。?投票の結果をどこかで利用したり、不特定多数に知らしめるときには、同一人物が一方の選択肢に投票し続けるというのは考えられますね。?ネット上で"祭り"になっている事情を背景としたとき、それを支持する選択肢に票が集りやすいです。

終了後公開にして、集計数を多く求めれば誤差は免れることができるでしょう。


[2]ある意味仕方ないかと gonzu

ポイント稼ぎにアンケートを利用する人がいるとその事に詳しくなくても答える人が出た場合

途中経過が見えていると多い方をとりあえず選択しておけというのが出ると思います

そうなると偏るんじゃないでしょうか

たとえば車を持っていないのにどんな車に乗っていますかという質問があった場合、それに答えられるのが

はてなのアンケートなのです

ポイントを得るために複数で答えるのにはアンケートは相当効率が相当悪いと思います、せいぜい数ポイントのために

多数が必死で切り替えてるとは思えませんので影響は少ないと思われます

人力検索で複数答えてポイントを得るのならまだ分かりますが


[3]三つほど Reiaru

1)

メインアカウントを複数持たない限り (← 規約違反)、同一ユーザーが同じアンケートに回答する事はできません。

規約云々を置いておいたとしても、アンケートの為に複数のメインアカウントを取得するのは手間が掛かりすぎる様に思われます。


2)

「どれにも該当しない」「どれも知らない」「買わない」といった選択肢は必ず用意すべきです。

「それならば最初から回答しないで欲しい」というのは通用しないと考えた方が良いでしょう。特にアンケートは匿名ですので。

(例えば「どの芸能人が好きですか?」といったアンケートだった場合、「どの芸能人も私は知らない」という選択肢を用意する必要があります)


3)

回答者数は 500 名以上でないとあまりまともな結果が得られていない様です。

回答枠が少ない場合、急いでいい加減な回答をする回答者が増える事も考えられますし、

いわゆるポイントゲッターによる回答が多数含まれる傾向がある様に思われます。


[4]>1 はてな人力検索ユーザー自体偏ってる b-wind

母集団が偏ってるからねぇ。


>?終了後公開を選ばない場合は、わりと偏る性質が作用することが多いです

同意。日本人の典型的パターンとして人と同じ物を選ぶ傾向が強い。


実質同一人物が複数のはてなIDを所持し、いっせいに回答を行っていないか?

無いとは言わないけど考えにくいね。

複数IDは利用規約違反だし、アンケートではポイント稼ぎにもならない。

たいした広告効果もないのだからやる側としてメリットがほぼ無い。


[5]はてな で聞いている以上 hiko3karasu

回答者を無作為抽出しているのではなく、

「はてなで回答するような人」

の意見なので偏る可能性は高いと思います。

例えば、ここで今流行しているブランドファッションについても、正確に回答できるとは思えません。


[6]信憑性と言えば…セアガーラがどうとか(笑) Reiaru

はてな人力検索のアンケートは、利用するだけ無駄です。 - ペン君流ことわさ日記。


これは質問が行われた時から笑ってしまったのですが、結構と興味深いお話かもしれません。

私が書いた記事ではありませんが是非一読してみて下さい。


[7]>6 信憑性はゼロですよ doumoto

はてな村に医者が200人も居るとは思えない( ̄ー ̄)ノ。

http://q.hatena.ne.jp/1254089092

かなり特殊な要因が付いてても(特定のオンラインゲームのユーザー、特製の製品の愛用者等々)、母数が100以下だと1時間足らずで終了のパターンが多いので、少なくとも100名程度はポイントゲッターが居るかと( ̄ー ̄)。


[8]>4 「母集団」と「標本」 JULY

母集団が偏ってるからねぇ。

ん? ちょっと違ってません?

「母集団」は調査対象全体のことで、母集団全部を調べないで、無作為抽出した「標本」を調べることで、母集団を推定する、ですよね。

で、調査対象となる母集団が「はてなユーザ」であれば、アンケートの答えてくれた「標本」から、はてなユーザ全体を推定することは、あながち間違いじゃない(でも、終了まで 24 時間は空いてないと、時間帯での偏りはあると思いますが)。

問題は、調査対象の母集団が、はてなユーザに限らず、それこそ世論調査のように、老若男女を対象としているのに、はてなユーザしか答えられないアンケートで、母集団を推定できるか、となると、はてなユーザ全体が調査対象の母集団に対して「偏り」が大きくて使えない、ということですよね。

はてなに限らず、インターネットを使ったアンケートサイトは他にもありますが、そもそも最初から

に限ってしまうので、調べたい母集団と実際にそのサービスを使って調査できる集合との「偏り」を把握していないと、統計的に意味のある数字はでないでしょう。

「話のネタの参考値」といった程度でしょう。


[9]>3 2) についての具体例です Reiaru

F1ファンの方にお聞きします この場合、


Q01

F1 には興味が無い、知らない


Q02

F1 には興味が無い、知らない


Q03

分からない


という選択肢が項目の「一番上」に必要です。

一番下にあるケースはよく見かけますが、一番上にあった方がより信憑性は高まると思います。


[10]>8 視点の違いかな b-wind

自分の言いたいのは標本の偏りじゃなく母集団(この場合はてなユーザの中でも人力検索ユーザーにほぼ限定される)の

意見が偏ってるん(もしくは同じ方向性をもってる)じゃないのって事で。

母集団が推定できるほどの標本が集まってるかどうかとか統計的な話はしていなくて。

元質問が「回答が偏る」と言う疑問だったからね。「母集団は一般的な人」とかの想定なら、君の言ってることの方が的確。


「話のネタの参考値」といった程度でしょう。

人力検索ユーザーがどの程度いるか分からんけど結局はそうなるわな。

回答数 100 程度だと数分からせいぜい数時間で上限に達することもあるし、

統計的に有意な数字を出すのは殆ど無理。

この秋、はてなパーカー2009を販売する予定です。そこでご質問です。 - 人力検索はてな

こういったはてなユーザーのみを対象としているようなアンケートならそこそこ意味もあるだろうけど。


[11]>1 同一人物が一方の選択肢に投票し続ける手口は? alonso27

「同一人物が一方の選択肢に投票し続ける」が起こっている場合、

手口などはどのようなものなのでしょうか?

↓にいただいた回答ですと、複数IDで作為的な回答をしている可能性が低いとのお答えでしたが、同一ID,同一IPアドレスでの複数回答を作為的にやっている方がいらっしゃる可能性はありそうでしょうか?


[12]>9 大変勉強になりました alonso27

ありがとうございます。

「はてなアンケートは回答者スクリーニングが回答者自信の良心にゆだねられている」という視点が抜けておりました。

例えば「F1ファンの方にお聞きします」と書いてあっても

F1を知らない単なるポイントゲッターなる方々がいらっしゃり、

回答数の多い回答(もしくは聞いたことがありそうな回答)に、

回答されてしまっている可能性があるということですね。

いただいた例のような回答を用意し、さらにサンプル数を増やすことで

対策とするべきということが分かりました。

ありがとうございます。


[13]>11 私も Newswirl

ほとんど無いと思います。一つのアンケートに、そこまでするメリットはありませんからね。

一方で、あり得る可能性としては、"同一人物"というのが会社である場合ですかね。

アンケートの中には製品の評判や感想をアンケートする方もいらっしゃるようです。終了後公開を行わずに、サクラを使って評判を偏らせるのは可能です。集計する数にたいして1割に満たないサクラを動員しても、結果を操作することは可能かもしれません。


[14]>7 まあ daichan330

「特定の職業の人にお尋ねします」というアンケートを見かけますが、実質アンケートの縛りは年代と性別しかない訳で、「職業」等々の詳細な設定で縛ることはできませんから仕方ないかと思いますよ。その手のは確かに信憑性には欠けるとは思います。


[15]>2 同意します。 haruta-hizasi

『途中経過が見えていると多い方をとりあえず選択しておけ』と言うのは、自分がはてなに来た当初の頃から、このアンケートは信頼性にかけるのでは?とか、ちゃんとした人ばかりでは無いだろうな?とか思っていました。


[16]>5 アンケートは偏るもの AmaiSaeta

嘘には 3 つの種類がある。 嘘、真っ赤な嘘、そして統計である。

これは、イギリスの政治家Benjamin Disraeliの言葉です。ここでは『統計』となっていますが、これは各種アンケートにも当てはまります。

例えば、 id:hiko2karasu さんが指摘している通り、『はてなで回答する人』というのは偏っていると言えます。『PCでのweb閲覧をプライベートで行う』『アンケートに積極的に答える』層が主となる事が予想されます。具体的なデータは持ち合わせていませんが、『はてな利用者には技術者が多い』という話も聞いた事がありますし。

はてなに限らずとも、例えば新聞だとしても同様の事が言えます。(参考: 越えられない壁( ゚д゚):「新聞はこれからも必要」が90%、「新聞の報道を信頼できる」も85%:読売世論調査)

id:alonso27 さんの言うように、一人で複数回答を寄せる事もあるでしょう。しかし、そもそも統計/アンケートというもの自体が、偏りを含んでしまうものだ。その結果として、信憑性に疑問のあるものとなるものだ、という事を、肝に銘じておく必要があります。


[17]>16 「はてなユーザー」という偏り、そして意図的な偏り matsunaga

確かに、はてなユーザーというのは非常に偏った集団です。

まず、インターネットを日常的に使っている層が日本人の極めてごく一部でしかありません。

その中で、Yahoo!じゃなくてはてなというサイトを使い、登録し、回答する時点でかなりのヘビーユーザーです。

しかも、はてなブックマークの人気ブックマークをみてわかるとおり、JavaScriptの裏技が人気に入るなど、かなり技術系のユーザーに偏っています。

そうなると、母集団自体が非常に偏っているといえます。逆に、「インターネットのヘビーユーザーを中心とした人たち」に聞きたいことであれば、かなり正確といえるかもしれません。


また、こちらの記事にも書いたのですが、

http://www.kotono8.com/2008/08/13googlestreetview2.html

ここでは「関東在住の20代男性」のみが他の層と大きく異なる回答を寄せており、意図的な行為があったのか、それとも何か特殊な現象があったのか、ともかく300人という母集団では偏りが出たのは事実です。


ただ、1000人対象のアンケートを2回取ったことがありますが、1回目は800人、2回目は801人で打ち止めとなりました。アンケートに回答するユーザー数が800人くらいということで、これもまた母集団の少なさを表わしていると思います。


[18]>10 はてなユーザーのためのアンケート sidewalk01

として使うには良さそうですね。汎用性のある傾向だとかそんなものを類推できるようなツールじゃないですよね。


[19]回答受付時間が theresia57

きわめて短いことも、母集団が偏る原因と考えます。


[20]はてな登録情報に基づく信憑性はゼロです。 doriaso

住所、性別、年齢くらいでしたっけね、デタラメ入れても登録できるの。

質問時にいくら条件付けしたところで、そもそもの登録内容に信憑性がないんですよ。


[21]>20 あと、複数アカウントについてですが、 doriaso

要はメアドがあればいくらでもIDは取得できますから(ただし、利用規約違反)。

全ての条件で回答できるように、さまざまな年代、性別、住んでる場所なんかを変えたIDをたくさん持っている人がいないとは言えないでしょうね。

ただ、それが偏りの原因とも思えませんけどね。


[22]>18 最初の人がどう答えるか takaya927

によって、回答が偏る傾向があると思う


[23]>11 1 ID 1回答 b-wind

同一ID,同一IPアドレスでの複数回答を作為的に

同一ID の時点で複数回答はそもそも出来ないから。

回答後も選択肢は可変のままだけどそれは既存の回答を上書きするだけ。


[24]>22 無回答が許されない theresia57

ことも、偏る原因かと思う。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ