クローラーの動作について教えてください。


記事を頻繁に更新するサイトの場合、記事が記事一覧に登録され、半日ほどで
記事一覧から脱落します。
ここで、脱落した記事は消滅するわけではありませんが、どこからのリンクも
なくなります。
このような記事は検索エンジンでアクセスできない可能性が高いのでしょうか。

回答の条件
  • 1人2回まで
  • 13歳以上
  • 登録:2010/11/22 18:18:09
  • 終了:2010/11/29 18:20:02

回答(4件)

id:tasklight No.1

tasklight回答回数323ベストアンサー獲得回数402010/11/22 18:38:03

ポイント23pt

「クローラー」と言われても様々な種類のものがあるので何とも言えませんが、たとえばgooglebotの場合、一度クロールしたURLは何らかの理由で手動削除しない限り、Google検索エンジン上に残ります。

id:dachikan

googlebotについて答えていただければ十分です。

クロールされる前にリンクがなくなってしまった場合についてお尋ねしました。

2010/11/22 19:29:33
id:rafting No.2

ラフティング回答回数2652ベストアンサー獲得回数1762010/11/22 18:38:34

ポイント23pt

>このような記事は検索エンジンでアクセスできない可能性が高いのでしょうか。

上記のご質問は、インデックス化されない可能性が高いということでしょうか?

どこからもリンクがない場合には、インデックス化されない可能性は高くなりますが、XML形式のサイトマップを作成するなどで補完できる可能性はあります。

http://www.xml-sitemaps.com/

id:dachikan

ありがとうございます。

記事が生成された後、しばらく後にどこからもリンクがなくなってしまった場合、

その間にクローラーの訪問がないとインデックス化されず、検索できなくなる

ということですね。

対策として、記事一覧から脱落しない仕組みが必要ですね。

2010/11/22 19:27:41
id:a-kuma3 No.3

a-kuma3回答回数4524ベストアンサー獲得回数18802010/11/23 11:11:16

ポイント22pt

「記事」というのはブログ?

ブログのトップページを、google にログインした状態で site を指定して検索をしたら、結果にひっかかるんじゃないだろうか。

一度、検索に引っかかったら、google の検索履歴に残るので、そこからクロールしてくれるんじゃないか、という予感。

id:tama213 No.4

tama213回答回数486ベストアンサー獲得回数302010/11/23 11:36:26

ポイント22pt

記事一覧になくても、トップページから「間接的」でも良いのでリンクだけでそのページに

たどりつけるのなら、クロールされます。

そんなに頻繁に記事があがるのに、過去の記事を参照するようなUIを持たないんでしょうか?

そんなサイトありえないと思うのですが・・・。

過去の記事を参照するようなUIがないのなら、クロールされないです。

人間が、トップページから過去の記事を参照できるのなら、クロールされます。

RSSとかsitemap.xmlとかも、普通のものは自動生成されますけど、これもないとかですか?

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません