人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

トップページだけインデックスされない。前回の質問はこちらです。
http://q.hatena.ne.jp/1291863156

ある回答者の方から
http://www.eizu.org/のURLはクローラー巡回が拒否されてるようです。あるSEOツールで確認しましたらこのようなエラーメッセージが出ます。
↓ここから
URLの取得ができませんでした。
500 Can't connect to www.eizu.org:80 (connect: timeout)

どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?


自分としては、DNSの設定などで拒否はしていないつもりです。また、.htaccessなども設定していません。

先ほど、robots.txtだけアップしました。内容は、
User-Agent: *
Allow: /
です。

グーグルウェブマスターツールでクロール エラーを見ると、ウェブで
URL
http://www.eizu.org/
詳細
robots.txt にアクセスできません
最終検出
2010/12/06
と書かれています。

また、サイトマップ も
URL
http://www.eizu.org/
詳細
robots.txt にアクセスできません
リンク元
利用できません
となっています。




●質問者: hamazakianimaru
●カテゴリ:インターネット ウェブ制作
✍キーワード:.htaccess CONNECT DNS Robots.txt URL
○ 状態 :終了
└ 回答数 : 4/4件

▽最新の回答へ

1 ● hanako393
●10ポイント

Googleにクロールされても、全ページがインデックスされるわけではありません。

ページが1ページでもインデックスされてるということはクロールされてるはずです。

トップがクロールされるに、そのページにたどり着くのは無理だと思うので

クロールされてないとは考えにくいです。

いつから開設されてるのか不明ですが、ある程度時間がかかる場合もあります。

トップのURLが拒否されていたら、それ以下のページは絶対にインデックスされません。


念のため、Googleにサイト登録依頼をしておくとよいでしょう。

http://www.google.com/addurl/?hl=ja&continue=/addurl

クロールはされてるけど、インデックスされないだけです。

インデックスするかどうかは、Googleのシステムの判断です。

GoogleAdsenseもトップページだけ、公共広告になってますから

なにか理由があるのかもしれません。

GoogleAdsenseの公共広告が1週間も消えないのでしたら、

内容に問題があるのかもしれません。

◎質問者からの返答

GoogleAdsenseの広告は、昔からトップページだけ公共広告でした。何か問題あるようです。


2 ● ue3ue3ue33
●5ポイント

robots.txtを使われているという事は、検索結果に表示したくないページがサイト内になるという事ですよね?

というか、robots.txtの存在やエラーと、トップページのみがインデックスされない…というのは別問題ではないでしょうか?

一般的には、過剰なSEOによるペナルティが考えられると思うのですが、お心当たりはありませんか?

◎質問者からの返答

過剰なSEOはしていないと思います。というか、あまりSEOの知識がないです(汗)


3 ● deflation
●1ポイント

ドメインウェブの設定が行われていません。

CORE SERVERのドメインウェブの設定を行ってください。

◎質問者からの返答

していると思いますが・・・


4 ● koutarou
●74ポイント ベストアンサー

サイトを拝見しました。

現状ですが、

本サイトは「検索エンジンスパム行為」とみなされ、ペナルティ(罰則)が課されている状態。と見受けられます。


一般的なペナルティとしては、以下のようなものが主にあります。軽いものから順に3つが大多数だと思います。

(1)検索結果の大きな順位の低下。

(2)検索エンジンのインデックスから除外される。

(3)スパム行為をしたサイト(ドメイン)全体が禁止される。



質問にありました、

・サイト自体がグーグルからインデックスされない状態。

・長期にわたってページが表示されない状態が続いた。

・トップページだけグーグルからインデックスされません。

・再度、サーバーにファイルをアップロード。次第にページがインデックスされるようになってきた。


この状態は、上記のペナルティ(2)(3)に該当します。

検索エンジンのインデックスデータベースからスパムページとみなされたページが削除、検索してもヒットしなくなっているのです。

特にトップページは、スパム行為を行っている可能性が少なくないです。



解決方法

・どのようにすれば、トップページをグーグルにインデックスさせることができるのでしょうか?

・どのようにすれば、クローラー巡回の拒否を解除できるでしょうか?


スパム行為と判断される要因をサイトから除去して、検索エンジン(クローラー)の信頼を回復することが必要です。

特にトップページです。


まず、サイト内で使用している「エイズ初期症状が出たのでHIV検査」というキーフレーズを変更する。

そして、その文字の色を背景の白と近い灰色ではなく、濃い色、ゴシックにしてキーワードフレーズとして強調する。

なぜならば、このフレーズは、既に以下のサイトで使われています。


(下位のページ)

http://www.hivconsumercouncil.org/archives/16

エイズ初期症状が出たのでHIV検査

(トップページ)

http://www.hivconsumercouncil.org/

エイズ初期症状が出たのでHIV検査


「エイズ初期症状が出たのでHIV検査」で検索すると、上記URLのトップページではなく、下位のページが上位に

表示されます。それは、下位のページの「エイズ初期症状が出たのでHIV検査」が「赤文字、ゴシック」で強調され、

重要なキーフレーズとして認識されているからです。


また、ページ全体を拝見したところ、スパムと見られかねない要因、クローラーの精度を低下させる要因があります。


例えば

・文字(うすい灰色)と背景(白)、近似色を利用している。(隠し文字とみなされかねない)

・URL(eizu)やディレクトリー名(kensa、zetubou、youseihannou、kansenkeiro)に、過剰にキーワードを埋め込んでいる。

・上位に表示されているサイトのキーフレーズ(エイズ初期症状が出たのでHIV検査)、文章(HIVに感染すると、初期症状として・・・2週間後くらいいインフルエンザのような風邪の症状がでてきます。・・・)を使用している。(フェイスコピーリスティングの恐れあり)

・サイトマップがない。

・登録申請時のURLトリック(http://www.eizu.org/)、(http://www.eizu.org/index.html)を申請。?

・リンクスパムの可能性。


などがあります。


クローラーは各ページをそれぞれ独立した単位とみなして、ページ毎に登録していきます。

上記などを意識しながら、ページ毎にオリジナルな内容性を意識して改善するといいと思います。


もっとも、全て改善していくと、作業、クローラーの訪問など、時間がかかります。

そこで、無料のWebテンプレートを使ってサイトをリニューアル(URLも含め)するのもありだと思います。


書籍「おしゃれなホームページのデザイン テンプレート・コレクション」もサイトのトップから下層まであり、

容易にカスタマイズでき、お勧めです。


時間的に短縮できます。

◎質問者からの返答

丁寧に回答ありがとうございます!同じ名前のサイトがあるのには、びっくりしました!!

参考にしながら作り変えていきたいと思います。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ