.htaccess に AddHandler cgi-script txt とすると、Googlebot などが robots.txt を読めない（ステータス：500）閲覧者にはrobots.txtを見せず、robotにはrobots.txtを読ませるには？

Question

4

40pt

回答の条件

※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

	回答者	回答	受取	ベストアンサー	回答時間
1	xnissy	1029回	377回	203回	2003-11-15 23:15:54
1	xnissy

コメントはまだありません

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません

xnissy · Answer 1 · 2003-11-15T23:14:13+09:00

mod_setenvifを使えばできそうです．

.htaccess ファイルに以下のように書きます．

BrowserMatch Googlebot is_a_robot

BrowserMatchNoCase Robot is_a_robot

Order deny,allow

deny from all

allow from env!=is_a_robot

<FILES>

robotがどのようなUserAgentを送ってくるかをあらかじめ調べて列挙する必要があります．（これはどのような手法を使うにしても必要ですよね）

Apache module mod_rewrite

mod_rewiteを使う方法もあるようです．

Apacheの設定

設定例が載ってますので参考になります．

回答（2件）