人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

ページ数が10万ページを越える.htmlのサイトを管理していますが、多すぎるためか、
一年近くたっても検索エンジンで全ページインデックスされていなかったり、
SEO対策で内容を変えてもロボットのクロールが追いつかず結果がすぐに知ることが出来なかったり
と悪いことだらけです。(1サイトをインデックスする上限数があるのでしょうか)
そこである種類のページ(全体の95%の数のファイル)をMETAタグにてnoindexしてインデックス
しないように記述しようと思っています。
noindexなどに従わないロボットもあるそうですので、主要エンジンについてだけ知りたいですが、
一旦インデックスされているページも、このMETAタグを次回のクロールで認識されれば、そのページはインデックスされなくなるのでしょうか?
もし無理なら、元はPHPなので、ロボットの場合だけ該当ページへのリンクをはずしたり、(すでにインデックスされているのがあるので)404エラーを装ったりしようと考えています。
全部インデックスされるに越したことはないのですが。。

●質問者: kyoko55
●カテゴリ:ウェブ制作
✍キーワード:HTML PHP SEO インデックス エラー
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● iketerummo
●35ポイント

1.検索エンジンのインデックスは、登録サイトの全ページのインデックスを作成しません。クロールはするのかも知れません。

上限は無いと思いますが、インデックス数を増やすのもSEOの一つですよ。

2.ロボットのクロールは申請から数週間かかります。よって、すぐ反映されたときはタイミングが良いだけかと。

3.大手検索エンジンからのインデックス削除

↓を参考にすれば削除できますが、巡回周期に合わないと削除まで時間がかかることが多いです。

http://help.yahoo.co.jp/help/jp/search/indexing/indexing-12....

http://www.google.co.jp/intl/ja/remove.html

http://search.msn.co.jp/docs/help.aspx?t=SEARCH_PROC_ClearYo...

4.404でもURLはインデックス作成されますので、対処は3を参考に。

◎質問者からの返答

一旦インデックスしていても、METAタグで拒否すれば、次回からは削除されるんですね。

なるほど、404を出力しても、リンクが張られ一旦インデックスしているのでインデックス削除の対策が必要ということですね。

ありがとうございます。

追記ですが、アクセスを解析すると、クロールは大体のページでしてくれている(一日平均300のペースでも全ページ完了まで一年近くかかる)んですが、Googleの検索結果のキャッシュが異常に古かったり、インデックス数を調べる方法(site:www.hoge.com)で検索すると5千ぐらいしかヒットしなくて、ページランクが影響するのかとも考えます。


2 ● ToMmY
●35ポイント

http://c-moon.jp/robots.shtml

次クロール時にはインデックスされなくても、わざわざデータベースからは削除しないと思います。

削除することによってエラーを招く場合もありますし、検索ユーザーにとっては多くの情報があるほうがいいわけですから、ストックすると思います。新たに行わないだけでしょう。

ロボットについてのことがあるので読んでみてはいかがでしょうか。

◎質問者からの返答

データベースからは削除しないけども、検索結果が表示されなくなるだけということでしょうか。

URLをじっくり読んでみます。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ