人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

クローラーの動作について教えてください。

記事を頻繁に更新するサイトの場合、記事が記事一覧に登録され、半日ほどで
記事一覧から脱落します。
ここで、脱落した記事は消滅するわけではありませんが、どこからのリンクも
なくなります。
このような記事は検索エンジンでアクセスできない可能性が高いのでしょうか。


●質問者: DachikanJ
●カテゴリ:インターネット
✍キーワード:アクセス クローラー サイト リンク 半日
○ 状態 :終了
└ 回答数 : 4/4件

▽最新の回答へ

1 ● tasklight
●23ポイント

「クローラー」と言われても様々な種類のものがあるので何とも言えませんが、たとえばgooglebotの場合、一度クロールしたURLは何らかの理由で手動削除しない限り、Google検索エンジン上に残ります。

◎質問者からの返答

googlebotについて答えていただければ十分です。

クロールされる前にリンクがなくなってしまった場合についてお尋ねしました。


2 ● ラフティング
●23ポイント

>このような記事は検索エンジンでアクセスできない可能性が高いのでしょうか。

上記のご質問は、インデックス化されない可能性が高いということでしょうか?

どこからもリンクがない場合には、インデックス化されない可能性は高くなりますが、XML形式のサイトマップを作成するなどで補完できる可能性はあります。

http://www.xml-sitemaps.com/

◎質問者からの返答

ありがとうございます。

記事が生成された後、しばらく後にどこからもリンクがなくなってしまった場合、

その間にクローラーの訪問がないとインデックス化されず、検索できなくなる

ということですね。

対策として、記事一覧から脱落しない仕組みが必要ですね。


3 ● a-kuma3
●22ポイント

「記事」というのはブログ?

ブログのトップページを、google にログインした状態で site を指定して検索をしたら、結果にひっかかるんじゃないだろうか。

一度、検索に引っかかったら、google の検索履歴に残るので、そこからクロールしてくれるんじゃないか、という予感。


4 ● tama213
●22ポイント

記事一覧になくても、トップページから「間接的」でも良いのでリンクだけでそのページに

たどりつけるのなら、クロールされます。

そんなに頻繁に記事があがるのに、過去の記事を参照するようなUIを持たないんでしょうか?

そんなサイトありえないと思うのですが・・・。

過去の記事を参照するようなUIがないのなら、クロールされないです。

人間が、トップページから過去の記事を参照できるのなら、クロールされます。

RSSとかsitemap.xmlとかも、普通のものは自動生成されますけど、これもないとかですか?

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ