人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

検索エンジンの仕組みを簡単に教えてください。自サイトのリンク元統計を見たら、googleからの訪問とかあるのですが、これは何故ですか?掲示板などCGIのワードも対象になるのですか?

●質問者: misacchi
●カテゴリ:コンピュータ
✍キーワード:CGI Google サイト リンク元 掲示板
○ 状態 :終了
└ 回答数 : 4/4件

▽最新の回答へ

1 ● tokenring
●20ポイント

http://partners.dhw.co.jp/html_mail/newslink/030917/030917sugiya...

DIGITAL HOLLYWOOD PARTNERS / 今さら聞けないITビジネス用語入門

こちらの説明が分かりやすいと思います。

掲示板の文章も、検索対象になります。

http://www.math.tohoku.ac.jp/~kuroki/keijiban/Robots.html

ロボット対策

検索エンジンのロボット避けには、こちらが参考になります。

◎質問者からの返答

ありがとうございます。分かりやすくて助かります。


2 ● masaomix
●20ポイント

http://www.google.com/intl/ja/webmasters/index.html

Google Webmaster Central

検索エンジンにも色々な種類がありますが、

Googleの場合は、自動でサイトを回りページ情報を取得して、

さらにそのページからリンクを見つけるとそちらにも行って・・・・

というような動作を繰り返すロボット型のデータ収集を行っています。

Googleのロボットはリンクをたどってどこまでも新しいサイトを探していきますから、

どんなサイトでもどこかからリンクされていれば、

ロボットはいつかそれを探し出してデータベースに加えます。

ですから、misacchiさんのサイトにも、おそらくGoogleは来ているわけです。

アクセス解析に「HTTP_USER_AGENT」というのが見られるようになっていたら、

Googlebotという名前のものがそのロボットです。

もちろん掲示板のようなCGIで出力されるページも

Googleは回って取得していきますよ。

ただ、そうしたアクティブに構成されるページは

リンクを深く潜って同じサーバにアクセスを繰り返すと

相手先サーバに多大な負荷をかけてしまいますから、

ちょこっとアクセスしてあとは深入りしない、

といった動作をさせています。

ですから、普通のhtmlで書かれたページは

巡回を拒否する指定がなされていないかぎり全て回っていきますが、

CGIで書かれたページは表面的な部分だけを回っていく、

と考えてください。

◎質問者からの返答

丁寧なコメントありがとうございます。分かりやすく助かりました。


3 ● mozuyama
●20ポイント

http://www.google.co.jp/intl/ja/why_use.html

http://www.hicat.ne.jp/home/tomcre/search/kind/kind_r.html

http://www.searchdesk.com/view/vptb705.htm

googleなどのロボット型検索エンジンでは、基本的にアンカーによるリンクがあれば、ファイルの拡張子名にかかわらずたどろうとします。

ですから、cgiやaspなどの動的なページでも検索結果に含まれることになります。

◎質問者からの返答

ありがとうございます。じっくり読んでみます。


4 ● masi
●10ポイント

http://www.google.co.jp/intl/ja/help.html

Google ヘルプ

GOOGLEはURLを検索するもので、ページ内での各キーワードの位置を重視し、入力した用語を含むページのみを返します。検索結果から訪問されたとおもわれます。CGIやPHPも返します

◎質問者からの返答

そうなるまでの手順が知りたかったのです。質問が分かりづらくてすみません。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ