Googleのクローラーの動作について教えて下さい。

ブログのページをクローラーが見たとアクセスログに記録があるのにインデックス化されないページがあります。
Google WebMaster Toolではインデックス数がsitemapで登録したurl数の1割ほどしかありません。

・インデックス化されるページ/されないページの違いは何でしょうか
・インデックス化に関し、Googleのクローラーは何をやっているのでしょうか

回答の条件
  • 1人5回まで
  • 13歳以上
  • 登録:2011/08/12 19:34:10
  • 終了:2011/08/19 19:35:03

回答(6件)

id:km1981 No.1

km1981回答回数429ベストアンサー獲得回数492011/08/12 21:23:10

次のガイドラインに沿ってサイトを作成すると、Google のインデックスに登録されやすくなります。

ガイドラインの提案項目を導入しないサイトでも、Google の検索結果から削除されるなどのペナルティが課せられる可能性のある不正行為について記述されている「品質に関するガイドライン」には目を通されますよう、お願い致します。

ペナルティが課せられたサイトは、Google.co.jp や Google のパートナー サイトの検索結果に表示されなくなることがあります。

http://www.google.com/support/webmasters/bin/answer.py?hl=ja&answer=35769

id:dachikan

Googleの公式説明をお尋ねしたわけではありません。

2011/08/15 12:19:09
id:monoton No.2

mnt回答回数30ベストアンサー獲得回数22011/08/12 21:27:00

インデックス化されたページからバックリンクが貼られているかという違いがあると思います。

SEO対策のブログによれば、ディープリンク対策を行い、複数の下層ページにリンクを集めることで、サイト全体のインデックスを促進することができるそうです。

http://ameblo.jp/tokimichikonno/

id:dachikan

主張の根拠に説明がありません。

2011/08/15 12:22:19
id:mdfmk No.3

mdfmk回答回数981ベストアンサー獲得回数1972011/08/12 21:30:31

ポイント150pt

http://bingoall.net/google/googlebot.html

全般的な情報はこちらが詳しかったです。


インデックスされる場合、されない場合についてはこちらが参考になりそうです。

http://aurasoul.mb2.jp/wiki/forum/%A5%A4%A5%F3%A5%C7%A5%C3%A5%AF%A5%B9%A4%B5%A4%EC%A4%CA%A4%A4+-+Google+%A5%A6%A5%A7%A5%D6%A5%DE%A5%B9%A5%BF%A1%BC

http://affiliate.moo.jp/up-afirieito-akusesuappu-google-googlekuroru.html

id:dachikan

データに基づき仮説を立て検証すると言う態度は好感が持てます。

しかし、2003年の情報は今のgoogleクローラに当てはまらない点が残念です。

2番目のURLはアクセスできませんでした。

3番目のURLの指摘する問題点は該当するものの、根拠のないあいまいな結論です。

「動的ページであると一度クローラーが来たぐらいではインデックスされないことも多いです。」

2011/08/15 12:49:08
id:mirakurutoshiki No.4

mirakurutoshiki回答回数157ベストアンサー獲得回数32011/08/12 22:02:14

http://q.hatena.ne.jp/1290417487

同じ質問ありました

id:dachikan

既に同じ回答をいただきました。

2011/08/15 12:50:17
id:IwstsI No.5

IwstsI回答回数61ベストアンサー獲得回数92011/08/12 22:24:50

一部のレンタルサーバーは、一定時間にある程度以上botアクセスがあると、拒否をする設定になっています。

google webmaster tool の サイト設定 設定 クロール速度 カスタム クロール速度を設定 からgoogle botのアクセス数を変更するとインデックスされる場合があるようです。

id:dachikan

仮説なのか経験則なのか噂なのか不明です。

逆効果になる懸念もあり、根拠のない方法は参考にできません。

2011/08/15 12:35:18
id:chinchin-kozou No.6

chinchin-kozou回答回数198ベストアンサー獲得回数72011/08/14 06:10:58

ポイント150pt

1.Google WebMaster Toolではインデックスされてないと表示されていても実際にはインデックスされてる場合がある。

Google検索で「link:URL」で調べてみるのもよいでしょう

2.時間の問題

 そのうちすべてインデックスされるようになる

3.ブログならサイドバーに過去記事の一覧などをつけて、相互に内部リンクが張られている状態にする

4.コンテンツの内容

 極端に文字数がすくないなど

http://www.google.com/support/forum/p/webmasters/thread?tid=39df96656c431012&hl=ja

5.Googleのクローラーは何をやっているのでしょうか

動作は、企業秘密

id:dachikan

自分で気が付くことは試しています。

「そのうちインデックスされるようになる」は先週末から本日で少し増えていることは確認していますがアクセス数に比べて数%にも達しません。しかし、「そのうちすべて」と言えるのでしょうか?

巡回とインデックスは別にやっているということでしょうか。

なお、Googleからのちゃんとした説明がないことは承知です。

「xxであることからxxと推測できます」との仮説を期待しています。

2011/08/15 13:07:20

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません