人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

グーグルで検索できない情報を検索する方法を教えてください。


グーグルでは管理者からの依頼があったページを検索対象から外したり、いわゆるグーグル八分の問題があったり、またもしかすると不都合な情報のを意図的に外している可能性がありますよね。

しかし世の中には全く恣意的でない検索エンジンもあるのではないか、と思いました。
さらにあるいはひたすらキャッシュを貯めこんで、大昔に削除されたページも参照できる検索エンジンすらあるのではないか、と。
実際グーグルでは公開していないだけで、そのような情報を持っていますよね。


もしもグーグルだけが、独占して情報を持っているとすると怖過ぎるので、安心させてください。

●質問者: jun
●カテゴリ:インターネット ウェブ制作
✍キーワード:けが キャッシュ グーグル グーグル八分 恣意
○ 状態 :終了
└ 回答数 : 9/9件

▽最新の回答へ

1 ● rsc
●10ポイント

検索エンジンはグーグルだけじゃないようです。Yahoo!Japan、msn.、excite、Ask.jp、百度などは独自のようです。

・検索エンジン比較

http://plaza.harmonix.ne.jp/~ma0011/engin.htm

・検索エンジン集

http://www.kooss.com/senden/kensakuengine.html

◎質問者からの返答

いやまあ、それはそうなんですけど、ね・・・


2 ● なぜなに
●20ポイント

グーグルも更新・消去してしまった過去の自動キャッシュは、

「InternetArchive Wayback Machine」に残ってることが多いです。

もちろん検索可能です。:

http://www.archive.org/web/web.php


また、手動でキャッシュが消される前に保存して残しておく

「ウェブ魚拓」という無料サービスもあります。

誰かの過去の魚拓をここでも検索可能。:

http://megalodon.jp/


あと、キャッシュでない現行のページでも、グーグルでは、

外部リンクされている数で検索上位に来たりもしますが、

http://www.altavista.comでは、時々、誰もリンクしていない

ログイン後のページや書きかけファイルみたいなのにも辿りついたりします。

ロボットよけや掲載の仕組みがグーグルとはちょっと違うのかな?

グーグルではめったにCGIが参照するdat/txtファイルなどは

出て来ませんが、ここでは出てくる時もありました。


あとP2Pのファイル検索専門のhttp://isohunt.com/などのファイルは、

拡張子がhtmlやpdfなどではないので、それらからリンクされていないと

Google検索では見つからなかったりします。

◎質問者からの返答

「InternetArchive Wayback Machine」にいくつか適当なURLを入れてみました。

その中ではヤフージャパンがまったく見れず、2ちゃんねるも掲示板の中身は見れませんでした。

これは権利者からの異議申し立てによるものでしょうか?

だとするとやはり恣意的でなくキャッシュを保存している検索エンジンはないのでしょうか?

またhttp://www.altavista.comでは、試しに昔に悪評のあった法人を検索してみましたが、やはり該当情報にはたどり着けませんでした。


3 ● pahoo
●20ポイント

個人的には goo の偏りが少ないように感じます。それでも、公序良俗に反するサイトはヒットしませんから、「全く恣意的でない」とは言えませんね。

まだリリースされていませんが、Nutchがご質問の要望に合うような検索エンジンを開発しようとしています。


大昔に削除されたページも参照できる検索エンジン

目的のURLが分かっていれば、「Internet Archive」から検索できます。画面中程の「TakeMeBack」をクリックしてみてください。

◎質問者からの返答

どうしたら、私のサイトに対する Nutch からのクローリングを止めることができますか?

ウェブマスター向け情報ページをご覧ください。

http://nutch.sourceforge.net/docs/en/bot.html


という説明があるので、Nutchもやはりアンタッチャブルな検索エンジンを提供してくれるわけではなさそうです。


「公序良俗に反するサイト」を排除するのは、ポピュラーな検索エンジンなら良いでしょうが、抑止力的に一切の恣意がない検索エンジンもないと、言論統制や情報の恣意的コントロールをされる恐れを感じます。


例えば2番でお返事した法人の悪評は、確実に事実でしたが、現在では検索する事ができません。

政治的な事柄でも同じようなケースはきっとあるでしょう。

このような事態の方がよほど「公序良俗に反」していると僕には思えます。


4 ● pahoo
●20ポイント

#3のコメントを拝読して――。

そうなると、「一切の恣意がない検索エンジン」というものは、原理的に成立しません。

GoogleのPageRankが良い例ですが、検索エンジンが提示する順位が恣意的であり、探索方法そのものが恣意的であるためです。


「Internet Archive」も、たしかに削除依頼があれば過去情報を削除しています。

これを「恣意的」と呼ぶなら、恣意的でないインターネット・アーカイブも存在しないでしょう。


ただし、こうした恣意の有無は、「言論統制」や「情報の恣意的コントロール」とは次元が違う問題と考えます。

国内のインターネット網を掌握することは不可能な話ではありませんし、そこにある情報を抹殺することも難しいことではないでしょう。

しかし、言論や情報を媒介するのはインターネットだけではありません。

国内では、テレビというメディアの伝搬力は無視できませんし、(携帯)電話の存在も日々大きくなっています。


「グーグルで検索できない情報を検索する方法」の1つとして、マスメディアを利用するという考え方もあるのではないでしょうか。

◎質問者からの返答

>検索エンジンが提示する順位が恣意的であり、探索方法そのものが恣意的である

この部分は同意します。

しかし

>「Internet Archive」も、たしかに削除依頼があれば過去情報を削除しています。

これを「恣意的」と呼ぶなら、恣意的でないインターネット・アーカイブも存在しないでしょう。


は理解できません。

削除依頼に応じない検索エンジンが原理的に存在しない、という事はないでしょうから、運営ポリシーの問題か、あるいはそのような存在を認めない圧力があると考えれば良いのでしょうか。

ネットには既存メディアの拘束を離れた自由な情報空間を期待していました。

それはテレビなどでは代替のきかないものです。

携帯電話は従来のネット以上に統制の取り易いものでしょう。

そうなると結局答えは「無い」という事になりますかね。

絶望的に残念です。


5 ● pahoo
●20ポイント ベストアンサー

削除依頼に応じない検索エンジンが原理的に存在しない、という事はないでしょうから

「削除依頼に応じない」ということは、もちろん可能です。しかし、そのような検索エンジンに価値を見いだす人はいないでしょう。

Google自身が「集合知」を重視しているように、検索エンジンの情報の品質は、結局、ヒトからの情報に頼っています。


現行のロボット型検索エンジンの場合、ロボットが情報を集め、それを恣意的な篩にかけて順位を決め、ヒトからの申告によって不要な情報を削除することで、その品質を保っています。

もしドメイン所有者からの「そのドメインのその情報は間違っているから削除してほしい」という削除依頼に応じないとしたら、人々(集合知の主体)は、その検索エンジンに登録されている情報の信頼性が低いと感じることでしょう。そうなると、その検索エンジンは存在していても、集合知を得ることができなくなり、さらに情報の品質が低下していくという悪循環に陥ります。


junmk2さんが懸念されているのは、当局によって検索エンジンの情報の削除申請や管理が行われ得るのではないかということでしょうか。だとしたら、私は YES と答えます。


インターネットも、所詮は法律の支配下にあります。

プロバイダー責任法(特定電気通信役務提供者の損害賠償責任の制限及び発信者情報の開示に関する法律)を強化することで、すべてのネット情報の検閲・管理は可能でしょう。たとえ国外のサーバ/プロバイダであっても、国内通信のすべてを検閲・管理するという内容にすれば、管理可能です。(中国では実際に行われています)

通信傍受という点で憲法に抵触する可能性がありますが、テロ防止法のように公共の福祉を優先するという言い訳を付ければ、通信の傍受を妨げる理由はなくなります。


というわけで、junmk2さんの不安を増してしまったようでしたら申し訳ありません。

私は、もし有事になったら、自分の立ち位置を守るために、ネット以外の情報伝達手段――たとえば、気の許せる友達による口コミ――というのが重要になるのではないかな、と思います。


1-5件表示/9件
4.前の5件|次5件6.
関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ