あれから２年が過ぎました。ある日クラブの会員から、公開にして欲しいと言われました。けれどもどうやって検索ロボットが入らないようにしたのか、全く覚えていません。どうすれば公開にして、検索ロボットに入ってきてもらって、サーチエンジンに登録してもらえるのでしょうか。
なお、HPビルダーでHTMLで記述されたのを見てもそれらしい記述の行は見あたりません。また、クラブも社会的にある程度有名なところですし、HPの構成もそれなりにできていると（？）思いますので、サーチエンジンには登録されて当然と考えています。
対処を教えてください。
No.2
168
4
14pt
http://www.math.tohoku.ac.jp/~kuroki/keijiban/Robots.html
$B%m%\%C%HBP:v(B
ロボットをアクセス拒否する方法はいくつかありますが、
メタタグを使う。
robots.txt使う。
サーバーで設定する。
検索サイトに削除以来をする。
等がありますが、もしソース内にそれらしいタグがない時はrobots.txtか検索サイトにまわってこない様に依頼してしまっているかもしれませんね。
お答えありがとうございます。やはり私のところには、robots.txtはおいてありませんねえ。
お答えの、“サーバーで設定する”、“検索サイトに依頼”この意味はわかりません。
No.3
842
14pt
最初に考えられるのはMETAタグのROBOTSですが、
例：<META name=”ROBOTS” contet=”NOFOLLOW,NOINDEX”>
adati1さんはそこは確認したようですね。
次に考えられるのはrobots.txtです。
ページがあるディレクトリにrobots.txtがありませんか？
あればそれを削除するといいと思います。
robots.txtは、「どこどこのフォルダはクローラ立ち入り禁止」とか書かれているものです。これがあるとクロールされません。
それが無ければ、.htaccessでホスト名でdenyしているのかもしれません。
.htaccessは他の設定も入っている場合もあるので、テキストエディタで開いて、
deny from hogehoge.com
(hogehoge.comは例です）の行を削除して下さい。
また、Googleにクロールしてもらうようにするには下記リンク一番目を、Yahooは二番目を参照して下さい。
http://add.yahoo.co.jp/docs/include.html
Yahoo!カテゴリ - Yahoo!カテゴリ掲載ガイド
お答えありがとうございます。
さて、.htaccess，，，，この数行の意味は全然わかりません。どこに書いてある話なのでしょうか。
No.4
1160
14pt
http://www.robot-search.com/search_04.htm
METAタグ編−ロボット型検索エンジン攻略でアクセスアップ−検索結果上位表示、検索エンジン一発登録（一括登録）、一発検索メタサーチの検索エンジン対策情報サイト
検索可否はMETAタグの設定だと思います。
一括登録も便利なので参考URLに入れておきます。
サーチエンジン一発登録・一発太郎[IPPATSUTARO]
回答ありがとうございます。
HTMLをみてみましたが、METAの記述のところに、robotsの記述はありませんでした。
No.5
120
14pt
No Need Robot Club�@���{�b�g�^�����G���W���ւ̑Ή����@
こちらに書かれているいずれかの記述がされているのではないかと思います。
私の場合は <META NAME=”ROBOTS” CONTENT=”NONE”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>
の記述をしていますし一般的なものと思います。
あまり詳しくなくてすみません。
回答ありがとうございます。HPビルダーでhtmlを調べましたが、やはりMETA NAME=”ROBOTS”、この記述はありませんでした。
No.6
111
14pt
登録されたくないディレクトリにrobots.txtというファイルを置いていませんか？
これに設定を記述することで検索エンジンに対して指示をすることができます。
(悪質なものはこの設定を無視してしまうものも存在しますが。)
もしそうなら単にこのファイルを消してしまえばよいです。
回答ありがとうございます。robots.txtのファイルはありませんでした。
No.7
230
100pt
http://www.google.co.jp/webmasters/index.html
Google Webmaster Central
<HEAD>～</HEAD>の間に
<META NAME=”robots” CONTENT=”NOINDEX,NOFOLLOW,NOARCHIVE”>
とかいう記載や、それに類する記載はありますか？
これはページを登録させないし、リンクもたどらせないといった意味になります。
それを
<META NAME=”robots” CONTENT=”index,follow”>
というような記載にすれば「ページをどうぞクロールしてください。」という意味になります。
でなければ、ディレクトリにrobots.txt というのはありませんか？ロボットを制御できるテキストです。
もしあったら削除しましょう。
ＵＲＬは、代表的な（と私が思っている）検索サイトGoogleのＵＲＬ登録の方法のページと、ある程度の検索エンジンに一斉に登録できるサービスを行っているサイトのＵＲＬです。ご参考にどうぞ。
http://ippatsu.net/TARO/IPPATOU.HTM?NEW
サーチエンジン一発登録・一発太郎[IPPATSUTARO]
回答ありがとうございます。
どの方もmeta robotsの記述、およびrobots.txt、この２点を教えてくださいます。しかし、調べましたが、ありませんでした。
No.8
230
13pt
ＨＰを公開しているサーバーで、アクセスできる最も上位のディレクトリに「robots.txt」というファイルはありませんか？これを削除すれば検索ロボットが巡回してくれるようになります。
回答ありがとうございます。
調べましたが、robots.txtはありませんでした。
No.9
130
13pt
おそらくrobot.txtというファイルでクロールを禁止しているはずですのでそれを削除されてみてはどうでしょうか。
またもしかしたらHTMLのmetaタグで指定している可能性間ありますので
<meta name=”ROBOTS” content=”NOINDEX”>
<meta name=”ROBOTS” content=”NOFOLLOW”>
等も調べてみてください。
回答ありがとうございます。
２点に着いてみましたが、ありませんでした。
No.10
60
13pt
http://www.tohoho-web.com/html/meta.htm
<meta> - メタ
html中の一番上をチェックしてください。
<meta name=”robots” content=”noindex,nofollow”>
以上のようなものは書かれていないでしょうか
ロボット検索を除外するときに記述するタグです
こちらを削除してから検索エンジンが巡回して再度検索するのには時間がかかります。
もし早めの登録を望んでいるのであれば以上のリンク先より登録申請をしてみてはいかがでしょうか？
yahoo!などのカテゴリーに登録する場合は別途申請、審査が必要になりますので気をつけてくださいね。
http://help.yahoo.co.jp/help/jp/url/
Yahoo! ヘルプ - サイトの登録
回答ありがとうございます。まずは、申請をしてみるのがいいですね。さっそくやってみたいと思います。
No.11
150
100pt
http://submit.search.yahoo.co.jp/add/request
ログイン - Yahoo!検索
検索エンジンに登録されない方法としては、robots.txtやmetaタグを使ったものが一般的だと思います。
しかし、ロボット型の検索エンジンの場合は基本的に、そのWebサイトが登録されるためには、
「検索エンジンに登録されているWebサイトからリンクされている」か、
「その検索エンジンへ行きURLを登録する」
かをしなければなりません。
どこからもリンクされておらず、登録したことに記憶がなければ、「非公開」に近い状態になっているかと思います。
robots.txtやmetaタグにそれらしい記述がない場合、一度検索エンジンからURLを登録してみるのがよいと思います。
参考URLには、代表的な検索エンジンのURLの登録のアドレスをのせておきました。
ただ、検索結果に反映するのに遅い場合は数週間、また確実にのせてくれるわけではないことも知っておいてください。
あと考えられる事は、所属するクラブのHPということなので、もしかしたらインターネット上ではなく、イントラネットなどで学内などからしかアクセスできない状態も考えられます。この場合は、どこかでサーバを借りてそこで公開することになります。
他には、非常に特殊なサーバを使っていたりする場合ですが、その場合も新しくサーバを借りてみたほうがよいでしょう。
HTMLテキストにおかしな部分がないのでみれば、どこか別のサーバを借りて、そこにファイルを移し変えるほうが早いかもしれません。
http://www.google.co.jp/addurl/
サイトの登録 / 削除
http://search.msn.co.jp/docs/submit.aspx
Live サーチ URL の登録
回答ありがとうございました。一番最後の「そこにファイルを移し変えて」これを考えています。友人にも、もう一度、貼り付けではなく、きちんと同じ内容を打直して作ってみれば、と、言われました。
それから、他の方にも言われたように、いつくかのものに、登録をしてみようと思っています。
89
88
3
1
2
回答ありがとうございます。metaの記述、robots.txt両方とも確認しましたが、該当するところはありませんでした。