人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

検索エンジン各社のクローラーのIPアドレス帯域をたくさん教えて下さい。(ユーザエージェントは把握済みですのでいりません)
携帯向けも含め、国内で使える検索エンジンであればOKです。

●質問者: kuverawalk
●カテゴリ:インターネット ウェブ制作
✍キーワード:IPアドレス エージェント クローラー ユーザ 国内
○ 状態 :終了
└ 回答数 : 3/3件

▽最新の回答へ

1 ● sinsuke3
●20ポイント

モバイルgoo

http://help.goo.ne.jp/help/article/1142/

クローラのIPアドレス

210.150.10.32/27

◎質問者からの返答

OKです。

このような感じでぜひお願いします。


2 ● room_of_brian
●20ポイント

livedoorモバイル

203.104.254.0/24

http://www.sin-news.com/archives/2007/09/post_120.html

参考までに

http://q.hatena.ne.jp/1176866063

google

66.249.70.45

↓重いので注意 解析ページです

http://www.seiren-udoku.com/analyzeCrawler?op=list&se_id=2&a...

yahoo

数が多い

↓重いので注意同じく解析ページです

http://www.seiren-udoku.com/analyzeCrawler?op=list&se_id=1&a...

その他のタブで

ある程度のものがみつかるかと思います。


3 ● j1960
●40ポイント ベストアンサー

ログから抽出したIPアドレスリストです。

Google

$ cat analog* | grep Googlebot | cut -d ' ' -f1 | sort | uniq

66.249.16.211

66.249.70.141

66.249.70.213

Yahoo

$ cat analog* | grep Yahoo-MMCrawler | cut -d ' ' -f1 | sort | uniq

68.142.212.160

68.142.212.165

68.142.212.175

68.142.212.180

68.142.212.199

68.142.212.226

68.142.212.229

$ cat analog* | grep "Yahoo! Slurp" | cut -d ' ' -f1 | sort | uniq

202.160.179.173

202.160.179.51

68.180.250.102

68.180.251.19

72.30.226.134

74.6.19.105

74.6.19.112

74.6.19.114

74.6.19.115

74.6.19.116

74.6.19.117

74.6.19.118

74.6.19.119

74.6.19.120

74.6.19.122

74.6.19.123

74.6.19.126

74.6.19.137

74.6.19.139

74.6.19.141

74.6.19.143

74.6.19.145

74.6.19.148

74.6.19.152

74.6.19.157

74.6.19.158

74.6.19.161

74.6.19.162

74.6.19.164

74.6.19.167

74.6.19.168

74.6.19.171

74.6.19.173

74.6.19.198

74.6.19.209

74.6.19.210

74.6.19.213

74.6.19.214

74.6.19.215

74.6.19.218

74.6.19.225

74.6.19.226

74.6.19.229

74.6.19.230

74.6.19.233

74.6.19.234

74.6.19.236

74.6.19.237

74.6.19.71

74.6.19.73

74.6.19.75

74.6.19.76

74.6.19.77

74.6.19.79

74.6.19.80

74.6.19.82

74.6.20.11

74.6.20.110

74.6.20.116

74.6.20.117

74.6.20.125

74.6.20.126

74.6.20.135

74.6.20.14

74.6.20.140

74.6.20.141

74.6.20.144

74.6.20.145

74.6.20.146

74.6.20.154

74.6.20.159

74.6.20.161

74.6.20.162

74.6.20.165

74.6.20.169

74.6.20.170

74.6.20.198

74.6.20.199

74.6.20.202

74.6.20.205

74.6.20.206

74.6.20.207

74.6.20.209

74.6.20.210

74.6.20.212

74.6.20.213

74.6.20.214

74.6.20.22

74.6.20.222

74.6.20.223

74.6.20.226

74.6.20.227

74.6.20.232

74.6.20.236

74.6.20.26

74.6.20.40

74.6.20.44

74.6.20.45

74.6.20.70

74.6.20.73

74.6.20.81

74.6.22.13

74.6.22.14

74.6.22.17

74.6.22.201

74.6.22.209

74.6.22.211

74.6.22.212

74.6.22.213

74.6.22.215

74.6.22.216

74.6.22.218

74.6.22.219

74.6.22.22

74.6.22.222

74.6.22.224

74.6.22.23

74.6.22.230

74.6.22.233

74.6.22.237

74.6.22.30

74.6.22.32

74.6.22.33

74.6.22.34

74.6.22.35

74.6.22.37

74.6.22.39

74.6.22.40

74.6.22.47

74.6.23.102

74.6.23.105

74.6.23.106

74.6.23.111

74.6.23.112

74.6.23.115

74.6.23.119

74.6.23.121

74.6.23.134

74.6.23.135

74.6.23.139

74.6.23.140

74.6.23.141

74.6.23.144

74.6.23.145

74.6.23.15

74.6.23.150

74.6.23.152

74.6.23.153

74.6.23.155

74.6.23.158

74.6.23.16

74.6.23.163

74.6.23.166

74.6.23.169

74.6.23.17

74.6.23.170

74.6.23.198

74.6.23.201

74.6.23.203

74.6.23.209

74.6.23.210

74.6.23.216

74.6.23.217

74.6.23.220

74.6.23.221

74.6.23.225

74.6.23.228

74.6.23.230

74.6.23.233

74.6.23.235

74.6.23.236

74.6.23.24

74.6.23.26

74.6.23.30

74.6.23.31

74.6.23.34

74.6.23.45

74.6.23.70

74.6.23.71

74.6.23.73

74.6.23.81

74.6.24.10

74.6.24.100

74.6.24.101

74.6.24.104

74.6.24.108

74.6.24.110

74.6.24.111

74.6.24.112

74.6.24.113

74.6.24.114

74.6.24.116

74.6.24.118

74.6.24.119

74.6.24.121

74.6.24.122

74.6.24.123

74.6.24.136

74.6.24.140

74.6.24.141

74.6.24.144

74.6.24.150

74.6.24.152

74.6.24.153

74.6.24.157

74.6.24.16

74.6.24.161

74.6.24.162

74.6.24.166

74.6.24.168

74.6.24.169

74.6.24.17

74.6.24.170

74.6.24.173

74.6.24.198

74.6.24.199

74.6.24.204

74.6.24.205

74.6.24.212

74.6.24.213

74.6.24.218

74.6.24.221

74.6.24.222

74.6.24.224

74.6.24.225

74.6.24.228

74.6.24.229

74.6.24.23

74.6.24.232

74.6.24.235

74.6.24.31

74.6.24.33

74.6.24.38

74.6.24.39

74.6.24.41

74.6.24.42

74.6.24.44

74.6.24.48

74.6.24.49

74.6.24.72

74.6.24.73

74.6.24.74

74.6.25.100

74.6.25.101

74.6.25.102

74.6.25.104

74.6.25.105

74.6.25.107

74.6.25.108

74.6.25.116

74.6.25.117

74.6.25.118

74.6.25.120

74.6.25.124

74.6.25.125

74.6.25.137

74.6.25.140

74.6.25.144

74.6.25.147

74.6.25.150

74.6.25.152

74.6.25.153

74.6.25.154

74.6.25.160

74.6.25.162

74.6.25.163

74.6.25.169

74.6.25.17

74.6.25.18

74.6.25.198

74.6.25.199

74.6.25.202

74.6.25.203

74.6.25.206

74.6.25.208

74.6.25.211

74.6.25.212

74.6.25.216

74.6.25.217

74.6.25.219

74.6.25.220

74.6.25.221

74.6.25.223

74.6.25.225

74.6.25.229

74.6.25.230

74.6.25.232

74.6.25.233

74.6.25.25

74.6.25.26

74.6.25.31

74.6.25.33

74.6.25.38

74.6.25.39

74.6.25.42

74.6.25.43

74.6.25.45

74.6.25.49

74.6.25.71

74.6.25.77

74.6.26.100

74.6.26.103

74.6.26.104

74.6.26.108

74.6.26.109

74.6.26.11

74.6.26.112

74.6.26.117

74.6.26.118

74.6.26.12

74.6.26.122

74.6.26.123

74.6.26.125

74.6.26.135

74.6.26.137

74.6.26.139

74.6.26.143

74.6.26.147

74.6.26.148

74.6.26.15

74.6.26.152

74.6.26.155

74.6.26.156

74.6.26.157

74.6.26.16

74.6.26.160

74.6.26.161

74.6.26.164

74.6.26.166

74.6.26.171

74.6.26.199

74.6.26.203

74.6.26.207

74.6.26.21

74.6.26.210

74.6.26.211

74.6.26.213

74.6.26.215

74.6.26.218

74.6.26.222

74.6.26.224

74.6.26.229

74.6.26.230

74.6.26.231

74.6.26.232

74.6.26.234

74.6.26.237

74.6.26.24

74.6.26.25

74.6.26.26

74.6.26.29

74.6.26.35

74.6.26.37

74.6.26.40

74.6.26.42

74.6.26.70

74.6.26.71

74.6.26.72

74.6.26.73

74.6.26.76

74.6.26.82

74.6.27.101

74.6.27.102

74.6.27.104

74.6.27.106

74.6.27.109

74.6.27.114

74.6.27.118

74.6.27.120

74.6.27.122

74.6.27.124

74.6.27.15

74.6.27.17

74.6.27.19

74.6.27.20

74.6.27.207

74.6.27.22

74.6.27.23

74.6.27.26

74.6.27.29

74.6.27.30

74.6.27.31

74.6.27.32

74.6.27.33

74.6.27.40

74.6.27.42

74.6.27.45

74.6.27.46

74.6.27.47

74.6.27.49

74.6.27.73

74.6.27.76

74.6.27.80

74.6.27.81

74.6.28.10

74.6.28.101

74.6.28.102

74.6.28.109

74.6.28.111

74.6.28.114

74.6.28.116

74.6.28.118

74.6.28.119

74.6.28.123

74.6.28.125

74.6.28.136

74.6.28.137

74.6.28.138

74.6.28.139

74.6.28.148

74.6.28.151

74.6.28.156

74.6.28.16

74.6.28.160

74.6.28.165

74.6.28.17

74.6.28.172

74.6.28.173

74.6.28.19

74.6.28.198

74.6.28.201

74.6.28.202

74.6.28.203

74.6.28.204

74.6.28.205

74.6.28.206

74.6.28.209

74.6.28.211

74.6.28.214

74.6.28.217

74.6.28.22

74.6.28.220

74.6.28.226

74.6.28.23

74.6.28.231

74.6.28.234

74.6.28.235

74.6.28.237

74.6.28.27

74.6.28.28

74.6.28.29

74.6.28.30

74.6.28.32

74.6.28.33

74.6.28.35

74.6.28.36

74.6.28.40

74.6.28.45

74.6.28.46

74.6.28.48

74.6.28.70

74.6.28.72

74.6.28.74

74.6.28.75

74.6.28.76

74.6.28.79

74.6.28.81

74.6.29.11

74.6.29.12

74.6.29.13

74.6.29.15

74.6.29.17

74.6.29.18

74.6.29.21

74.6.29.25

74.6.29.28

74.6.29.30

74.6.29.31

74.6.29.36

74.6.29.37

74.6.29.38

74.6.29.41

74.6.29.43

74.6.29.45

74.6.29.48

MSN

$ cat analog* | grep "msnbot-media" | cut -d ' ' -f1 | sort | uniq

65.55.212.163

65.55.212.165

65.55.212.27

65.55.212.93

65.55.212.94

65.55.213.100

65.55.213.37

65.55.213.57

65.55.213.63

65.55.235.204

65.55.235.205

◎質問者からの返答

なるほど…

ここまで来ると

http://www.anzai.net/~akinori/cgi/blog/blog.cgi/permalink/200612...

に書かれてる

order allow,deny

#google bot

allow from 216.239.0.0/16

allow from 64.68.80.0/22

allow from 64.233.0.0/16

allow from 72.14.0.0/16

allow from 66.102.0.0/16

allow from 66.249.0.0/16

allow from 209.85.0.0/16

#Yahoo!

allow from 74.6.0.0/16

#msn

allow from 65.52.0.0/14

でも充分な気がしてきました…

ありがとうございます

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ