検索エンジン各社のクローラーのIPアドレス帯域をたくさん教えて下さい。(ユーザエージェントは把握済みですのでいりません)

携帯向けも含め、国内で使える検索エンジンであればOKです。

回答の条件
  • 1人1回まで
  • 登録:2007/10/27 11:51:04
  • 終了:2007/11/03 09:23:46

ベストアンサー

id:j1960 No.3

j1960回答回数322ベストアンサー獲得回数212007/10/27 16:32:33

ポイント40pt

ログから抽出したIPアドレスリストです。

Google

$ cat analog* | grep Googlebot | cut -d ' ' -f1 | sort | uniq

66.249.16.211

66.249.70.141

66.249.70.213

Yahoo

$ cat analog* | grep Yahoo-MMCrawler | cut -d ' ' -f1 | sort | uniq

68.142.212.160

68.142.212.165

68.142.212.175

68.142.212.180

68.142.212.199

68.142.212.226

68.142.212.229

$ cat analog* | grep "Yahoo! Slurp" | cut -d ' ' -f1 | sort | uniq

202.160.179.173

202.160.179.51

68.180.250.102

68.180.251.19

72.30.226.134

74.6.19.105

74.6.19.112

74.6.19.114

74.6.19.115

74.6.19.116

74.6.19.117

74.6.19.118

74.6.19.119

74.6.19.120

74.6.19.122

74.6.19.123

74.6.19.126

74.6.19.137

74.6.19.139

74.6.19.141

74.6.19.143

74.6.19.145

74.6.19.148

74.6.19.152

74.6.19.157

74.6.19.158

74.6.19.161

74.6.19.162

74.6.19.164

74.6.19.167

74.6.19.168

74.6.19.171

74.6.19.173

74.6.19.198

74.6.19.209

74.6.19.210

74.6.19.213

74.6.19.214

74.6.19.215

74.6.19.218

74.6.19.225

74.6.19.226

74.6.19.229

74.6.19.230

74.6.19.233

74.6.19.234

74.6.19.236

74.6.19.237

74.6.19.71

74.6.19.73

74.6.19.75

74.6.19.76

74.6.19.77

74.6.19.79

74.6.19.80

74.6.19.82

74.6.20.11

74.6.20.110

74.6.20.116

74.6.20.117

74.6.20.125

74.6.20.126

74.6.20.135

74.6.20.14

74.6.20.140

74.6.20.141

74.6.20.144

74.6.20.145

74.6.20.146

74.6.20.154

74.6.20.159

74.6.20.161

74.6.20.162

74.6.20.165

74.6.20.169

74.6.20.170

74.6.20.198

74.6.20.199

74.6.20.202

74.6.20.205

74.6.20.206

74.6.20.207

74.6.20.209

74.6.20.210

74.6.20.212

74.6.20.213

74.6.20.214

74.6.20.22

74.6.20.222

74.6.20.223

74.6.20.226

74.6.20.227

74.6.20.232

74.6.20.236

74.6.20.26

74.6.20.40

74.6.20.44

74.6.20.45

74.6.20.70

74.6.20.73

74.6.20.81

74.6.22.13

74.6.22.14

74.6.22.17

74.6.22.201

74.6.22.209

74.6.22.211

74.6.22.212

74.6.22.213

74.6.22.215

74.6.22.216

74.6.22.218

74.6.22.219

74.6.22.22

74.6.22.222

74.6.22.224

74.6.22.23

74.6.22.230

74.6.22.233

74.6.22.237

74.6.22.30

74.6.22.32

74.6.22.33

74.6.22.34

74.6.22.35

74.6.22.37

74.6.22.39

74.6.22.40

74.6.22.47

74.6.23.102

74.6.23.105

74.6.23.106

74.6.23.111

74.6.23.112

74.6.23.115

74.6.23.119

74.6.23.121

74.6.23.134

74.6.23.135

74.6.23.139

74.6.23.140

74.6.23.141

74.6.23.144

74.6.23.145

74.6.23.15

74.6.23.150

74.6.23.152

74.6.23.153

74.6.23.155

74.6.23.158

74.6.23.16

74.6.23.163

74.6.23.166

74.6.23.169

74.6.23.17

74.6.23.170

74.6.23.198

74.6.23.201

74.6.23.203

74.6.23.209

74.6.23.210

74.6.23.216

74.6.23.217

74.6.23.220

74.6.23.221

74.6.23.225

74.6.23.228

74.6.23.230

74.6.23.233

74.6.23.235

74.6.23.236

74.6.23.24

74.6.23.26

74.6.23.30

74.6.23.31

74.6.23.34

74.6.23.45

74.6.23.70

74.6.23.71

74.6.23.73

74.6.23.81

74.6.24.10

74.6.24.100

74.6.24.101

74.6.24.104

74.6.24.108

74.6.24.110

74.6.24.111

74.6.24.112

74.6.24.113

74.6.24.114

74.6.24.116

74.6.24.118

74.6.24.119

74.6.24.121

74.6.24.122

74.6.24.123

74.6.24.136

74.6.24.140

74.6.24.141

74.6.24.144

74.6.24.150

74.6.24.152

74.6.24.153

74.6.24.157

74.6.24.16

74.6.24.161

74.6.24.162

74.6.24.166

74.6.24.168

74.6.24.169

74.6.24.17

74.6.24.170

74.6.24.173

74.6.24.198

74.6.24.199

74.6.24.204

74.6.24.205

74.6.24.212

74.6.24.213

74.6.24.218

74.6.24.221

74.6.24.222

74.6.24.224

74.6.24.225

74.6.24.228

74.6.24.229

74.6.24.23

74.6.24.232

74.6.24.235

74.6.24.31

74.6.24.33

74.6.24.38

74.6.24.39

74.6.24.41

74.6.24.42

74.6.24.44

74.6.24.48

74.6.24.49

74.6.24.72

74.6.24.73

74.6.24.74

74.6.25.100

74.6.25.101

74.6.25.102

74.6.25.104

74.6.25.105

74.6.25.107

74.6.25.108

74.6.25.116

74.6.25.117

74.6.25.118

74.6.25.120

74.6.25.124

74.6.25.125

74.6.25.137

74.6.25.140

74.6.25.144

74.6.25.147

74.6.25.150

74.6.25.152

74.6.25.153

74.6.25.154

74.6.25.160

74.6.25.162

74.6.25.163

74.6.25.169

74.6.25.17

74.6.25.18

74.6.25.198

74.6.25.199

74.6.25.202

74.6.25.203

74.6.25.206

74.6.25.208

74.6.25.211

74.6.25.212

74.6.25.216

74.6.25.217

74.6.25.219

74.6.25.220

74.6.25.221

74.6.25.223

74.6.25.225

74.6.25.229

74.6.25.230

74.6.25.232

74.6.25.233

74.6.25.25

74.6.25.26

74.6.25.31

74.6.25.33

74.6.25.38

74.6.25.39

74.6.25.42

74.6.25.43

74.6.25.45

74.6.25.49

74.6.25.71

74.6.25.77

74.6.26.100

74.6.26.103

74.6.26.104

74.6.26.108

74.6.26.109

74.6.26.11

74.6.26.112

74.6.26.117

74.6.26.118

74.6.26.12

74.6.26.122

74.6.26.123

74.6.26.125

74.6.26.135

74.6.26.137

74.6.26.139

74.6.26.143

74.6.26.147

74.6.26.148

74.6.26.15

74.6.26.152

74.6.26.155

74.6.26.156

74.6.26.157

74.6.26.16

74.6.26.160

74.6.26.161

74.6.26.164

74.6.26.166

74.6.26.171

74.6.26.199

74.6.26.203

74.6.26.207

74.6.26.21

74.6.26.210

74.6.26.211

74.6.26.213

74.6.26.215

74.6.26.218

74.6.26.222

74.6.26.224

74.6.26.229

74.6.26.230

74.6.26.231

74.6.26.232

74.6.26.234

74.6.26.237

74.6.26.24

74.6.26.25

74.6.26.26

74.6.26.29

74.6.26.35

74.6.26.37

74.6.26.40

74.6.26.42

74.6.26.70

74.6.26.71

74.6.26.72

74.6.26.73

74.6.26.76

74.6.26.82

74.6.27.101

74.6.27.102

74.6.27.104

74.6.27.106

74.6.27.109

74.6.27.114

74.6.27.118

74.6.27.120

74.6.27.122

74.6.27.124

74.6.27.15

74.6.27.17

74.6.27.19

74.6.27.20

74.6.27.207

74.6.27.22

74.6.27.23

74.6.27.26

74.6.27.29

74.6.27.30

74.6.27.31

74.6.27.32

74.6.27.33

74.6.27.40

74.6.27.42

74.6.27.45

74.6.27.46

74.6.27.47

74.6.27.49

74.6.27.73

74.6.27.76

74.6.27.80

74.6.27.81

74.6.28.10

74.6.28.101

74.6.28.102

74.6.28.109

74.6.28.111

74.6.28.114

74.6.28.116

74.6.28.118

74.6.28.119

74.6.28.123

74.6.28.125

74.6.28.136

74.6.28.137

74.6.28.138

74.6.28.139

74.6.28.148

74.6.28.151

74.6.28.156

74.6.28.16

74.6.28.160

74.6.28.165

74.6.28.17

74.6.28.172

74.6.28.173

74.6.28.19

74.6.28.198

74.6.28.201

74.6.28.202

74.6.28.203

74.6.28.204

74.6.28.205

74.6.28.206

74.6.28.209

74.6.28.211

74.6.28.214

74.6.28.217

74.6.28.22

74.6.28.220

74.6.28.226

74.6.28.23

74.6.28.231

74.6.28.234

74.6.28.235

74.6.28.237

74.6.28.27

74.6.28.28

74.6.28.29

74.6.28.30

74.6.28.32

74.6.28.33

74.6.28.35

74.6.28.36

74.6.28.40

74.6.28.45

74.6.28.46

74.6.28.48

74.6.28.70

74.6.28.72

74.6.28.74

74.6.28.75

74.6.28.76

74.6.28.79

74.6.28.81

74.6.29.11

74.6.29.12

74.6.29.13

74.6.29.15

74.6.29.17

74.6.29.18

74.6.29.21

74.6.29.25

74.6.29.28

74.6.29.30

74.6.29.31

74.6.29.36

74.6.29.37

74.6.29.38

74.6.29.41

74.6.29.43

74.6.29.45

74.6.29.48

MSN

$ cat analog* | grep "msnbot-media" | cut -d ' ' -f1 | sort | uniq

65.55.212.163

65.55.212.165

65.55.212.27

65.55.212.93

65.55.212.94

65.55.213.100

65.55.213.37

65.55.213.57

65.55.213.63

65.55.235.204

65.55.235.205

id:kuverawalk

なるほど…

ここまで来ると

http://www.anzai.net/~akinori/cgi/blog/blog.cgi/permalink/200612...

に書かれてる

order allow,deny

#google bot

allow from 216.239.0.0/16

allow from 64.68.80.0/22

allow from 64.233.0.0/16

allow from 72.14.0.0/16

allow from 66.102.0.0/16

allow from 66.249.0.0/16

allow from 209.85.0.0/16

#Yahoo!

allow from 74.6.0.0/16

#msn

allow from 65.52.0.0/14

でも充分な気がしてきました…

ありがとうございます

2007/11/03 09:23:00

その他の回答(2件)

id:sinsuke3 No.1

sinsuke3回答回数482ベストアンサー獲得回数252007/10/27 12:15:31

ポイント20pt

モバイルgoo

http://help.goo.ne.jp/help/article/1142/

クローラのIPアドレス

210.150.10.32/27

id:kuverawalk

OKです。

このような感じでぜひお願いします。

2007/10/27 14:32:03
id:room_of_brian No.2

room_of_brian回答回数410ベストアンサー獲得回数02007/10/27 14:51:12

ポイント20pt

livedoorモバイル

203.104.254.0/24

http://www.sin-news.com/archives/2007/09/post_120.html

参考までに

http://q.hatena.ne.jp/1176866063

google

66.249.70.45

↓重いので注意 解析ページです

http://www.seiren-udoku.com/analyzeCrawler?op=list&se_id=2&a...

yahoo

数が多い

↓重いので注意同じく解析ページです

http://www.seiren-udoku.com/analyzeCrawler?op=list&se_id=1&a...

その他のタブで

ある程度のものがみつかるかと思います。

id:j1960 No.3

j1960回答回数322ベストアンサー獲得回数212007/10/27 16:32:33ここでベストアンサー

ポイント40pt

ログから抽出したIPアドレスリストです。

Google

$ cat analog* | grep Googlebot | cut -d ' ' -f1 | sort | uniq

66.249.16.211

66.249.70.141

66.249.70.213

Yahoo

$ cat analog* | grep Yahoo-MMCrawler | cut -d ' ' -f1 | sort | uniq

68.142.212.160

68.142.212.165

68.142.212.175

68.142.212.180

68.142.212.199

68.142.212.226

68.142.212.229

$ cat analog* | grep "Yahoo! Slurp" | cut -d ' ' -f1 | sort | uniq

202.160.179.173

202.160.179.51

68.180.250.102

68.180.251.19

72.30.226.134

74.6.19.105

74.6.19.112

74.6.19.114

74.6.19.115

74.6.19.116

74.6.19.117

74.6.19.118

74.6.19.119

74.6.19.120

74.6.19.122

74.6.19.123

74.6.19.126

74.6.19.137

74.6.19.139

74.6.19.141

74.6.19.143

74.6.19.145

74.6.19.148

74.6.19.152

74.6.19.157

74.6.19.158

74.6.19.161

74.6.19.162

74.6.19.164

74.6.19.167

74.6.19.168

74.6.19.171

74.6.19.173

74.6.19.198

74.6.19.209

74.6.19.210

74.6.19.213

74.6.19.214

74.6.19.215

74.6.19.218

74.6.19.225

74.6.19.226

74.6.19.229

74.6.19.230

74.6.19.233

74.6.19.234

74.6.19.236

74.6.19.237

74.6.19.71

74.6.19.73

74.6.19.75

74.6.19.76

74.6.19.77

74.6.19.79

74.6.19.80

74.6.19.82

74.6.20.11

74.6.20.110

74.6.20.116

74.6.20.117

74.6.20.125

74.6.20.126

74.6.20.135

74.6.20.14

74.6.20.140

74.6.20.141

74.6.20.144

74.6.20.145

74.6.20.146

74.6.20.154

74.6.20.159

74.6.20.161

74.6.20.162

74.6.20.165

74.6.20.169

74.6.20.170

74.6.20.198

74.6.20.199

74.6.20.202

74.6.20.205

74.6.20.206

74.6.20.207

74.6.20.209

74.6.20.210

74.6.20.212

74.6.20.213

74.6.20.214

74.6.20.22

74.6.20.222

74.6.20.223

74.6.20.226

74.6.20.227

74.6.20.232

74.6.20.236

74.6.20.26

74.6.20.40

74.6.20.44

74.6.20.45

74.6.20.70

74.6.20.73

74.6.20.81

74.6.22.13

74.6.22.14

74.6.22.17

74.6.22.201

74.6.22.209

74.6.22.211

74.6.22.212

74.6.22.213

74.6.22.215

74.6.22.216

74.6.22.218

74.6.22.219

74.6.22.22

74.6.22.222

74.6.22.224

74.6.22.23

74.6.22.230

74.6.22.233

74.6.22.237

74.6.22.30

74.6.22.32

74.6.22.33

74.6.22.34

74.6.22.35

74.6.22.37

74.6.22.39

74.6.22.40

74.6.22.47

74.6.23.102

74.6.23.105

74.6.23.106

74.6.23.111

74.6.23.112

74.6.23.115

74.6.23.119

74.6.23.121

74.6.23.134

74.6.23.135

74.6.23.139

74.6.23.140

74.6.23.141

74.6.23.144

74.6.23.145

74.6.23.15

74.6.23.150

74.6.23.152

74.6.23.153

74.6.23.155

74.6.23.158

74.6.23.16

74.6.23.163

74.6.23.166

74.6.23.169

74.6.23.17

74.6.23.170

74.6.23.198

74.6.23.201

74.6.23.203

74.6.23.209

74.6.23.210

74.6.23.216

74.6.23.217

74.6.23.220

74.6.23.221

74.6.23.225

74.6.23.228

74.6.23.230

74.6.23.233

74.6.23.235

74.6.23.236

74.6.23.24

74.6.23.26

74.6.23.30

74.6.23.31

74.6.23.34

74.6.23.45

74.6.23.70

74.6.23.71

74.6.23.73

74.6.23.81

74.6.24.10

74.6.24.100

74.6.24.101

74.6.24.104

74.6.24.108

74.6.24.110

74.6.24.111

74.6.24.112

74.6.24.113

74.6.24.114

74.6.24.116

74.6.24.118

74.6.24.119

74.6.24.121

74.6.24.122

74.6.24.123

74.6.24.136

74.6.24.140

74.6.24.141

74.6.24.144

74.6.24.150

74.6.24.152

74.6.24.153

74.6.24.157

74.6.24.16

74.6.24.161

74.6.24.162

74.6.24.166

74.6.24.168

74.6.24.169

74.6.24.17

74.6.24.170

74.6.24.173

74.6.24.198

74.6.24.199

74.6.24.204

74.6.24.205

74.6.24.212

74.6.24.213

74.6.24.218

74.6.24.221

74.6.24.222

74.6.24.224

74.6.24.225

74.6.24.228

74.6.24.229

74.6.24.23

74.6.24.232

74.6.24.235

74.6.24.31

74.6.24.33

74.6.24.38

74.6.24.39

74.6.24.41

74.6.24.42

74.6.24.44

74.6.24.48

74.6.24.49

74.6.24.72

74.6.24.73

74.6.24.74

74.6.25.100

74.6.25.101

74.6.25.102

74.6.25.104

74.6.25.105

74.6.25.107

74.6.25.108

74.6.25.116

74.6.25.117

74.6.25.118

74.6.25.120

74.6.25.124

74.6.25.125

74.6.25.137

74.6.25.140

74.6.25.144

74.6.25.147

74.6.25.150

74.6.25.152

74.6.25.153

74.6.25.154

74.6.25.160

74.6.25.162

74.6.25.163

74.6.25.169

74.6.25.17

74.6.25.18

74.6.25.198

74.6.25.199

74.6.25.202

74.6.25.203

74.6.25.206

74.6.25.208

74.6.25.211

74.6.25.212

74.6.25.216

74.6.25.217

74.6.25.219

74.6.25.220

74.6.25.221

74.6.25.223

74.6.25.225

74.6.25.229

74.6.25.230

74.6.25.232

74.6.25.233

74.6.25.25

74.6.25.26

74.6.25.31

74.6.25.33

74.6.25.38

74.6.25.39

74.6.25.42

74.6.25.43

74.6.25.45

74.6.25.49

74.6.25.71

74.6.25.77

74.6.26.100

74.6.26.103

74.6.26.104

74.6.26.108

74.6.26.109

74.6.26.11

74.6.26.112

74.6.26.117

74.6.26.118

74.6.26.12

74.6.26.122

74.6.26.123

74.6.26.125

74.6.26.135

74.6.26.137

74.6.26.139

74.6.26.143

74.6.26.147

74.6.26.148

74.6.26.15

74.6.26.152

74.6.26.155

74.6.26.156

74.6.26.157

74.6.26.16

74.6.26.160

74.6.26.161

74.6.26.164

74.6.26.166

74.6.26.171

74.6.26.199

74.6.26.203

74.6.26.207

74.6.26.21

74.6.26.210

74.6.26.211

74.6.26.213

74.6.26.215

74.6.26.218

74.6.26.222

74.6.26.224

74.6.26.229

74.6.26.230

74.6.26.231

74.6.26.232

74.6.26.234

74.6.26.237

74.6.26.24

74.6.26.25

74.6.26.26

74.6.26.29

74.6.26.35

74.6.26.37

74.6.26.40

74.6.26.42

74.6.26.70

74.6.26.71

74.6.26.72

74.6.26.73

74.6.26.76

74.6.26.82

74.6.27.101

74.6.27.102

74.6.27.104

74.6.27.106

74.6.27.109

74.6.27.114

74.6.27.118

74.6.27.120

74.6.27.122

74.6.27.124

74.6.27.15

74.6.27.17

74.6.27.19

74.6.27.20

74.6.27.207

74.6.27.22

74.6.27.23

74.6.27.26

74.6.27.29

74.6.27.30

74.6.27.31

74.6.27.32

74.6.27.33

74.6.27.40

74.6.27.42

74.6.27.45

74.6.27.46

74.6.27.47

74.6.27.49

74.6.27.73

74.6.27.76

74.6.27.80

74.6.27.81

74.6.28.10

74.6.28.101

74.6.28.102

74.6.28.109

74.6.28.111

74.6.28.114

74.6.28.116

74.6.28.118

74.6.28.119

74.6.28.123

74.6.28.125

74.6.28.136

74.6.28.137

74.6.28.138

74.6.28.139

74.6.28.148

74.6.28.151

74.6.28.156

74.6.28.16

74.6.28.160

74.6.28.165

74.6.28.17

74.6.28.172

74.6.28.173

74.6.28.19

74.6.28.198

74.6.28.201

74.6.28.202

74.6.28.203

74.6.28.204

74.6.28.205

74.6.28.206

74.6.28.209

74.6.28.211

74.6.28.214

74.6.28.217

74.6.28.22

74.6.28.220

74.6.28.226

74.6.28.23

74.6.28.231

74.6.28.234

74.6.28.235

74.6.28.237

74.6.28.27

74.6.28.28

74.6.28.29

74.6.28.30

74.6.28.32

74.6.28.33

74.6.28.35

74.6.28.36

74.6.28.40

74.6.28.45

74.6.28.46

74.6.28.48

74.6.28.70

74.6.28.72

74.6.28.74

74.6.28.75

74.6.28.76

74.6.28.79

74.6.28.81

74.6.29.11

74.6.29.12

74.6.29.13

74.6.29.15

74.6.29.17

74.6.29.18

74.6.29.21

74.6.29.25

74.6.29.28

74.6.29.30

74.6.29.31

74.6.29.36

74.6.29.37

74.6.29.38

74.6.29.41

74.6.29.43

74.6.29.45

74.6.29.48

MSN

$ cat analog* | grep "msnbot-media" | cut -d ' ' -f1 | sort | uniq

65.55.212.163

65.55.212.165

65.55.212.27

65.55.212.93

65.55.212.94

65.55.213.100

65.55.213.37

65.55.213.57

65.55.213.63

65.55.235.204

65.55.235.205

id:kuverawalk

なるほど…

ここまで来ると

http://www.anzai.net/~akinori/cgi/blog/blog.cgi/permalink/200612...

に書かれてる

order allow,deny

#google bot

allow from 216.239.0.0/16

allow from 64.68.80.0/22

allow from 64.233.0.0/16

allow from 72.14.0.0/16

allow from 66.102.0.0/16

allow from 66.249.0.0/16

allow from 209.85.0.0/16

#Yahoo!

allow from 74.6.0.0/16

#msn

allow from 65.52.0.0/14

でも充分な気がしてきました…

ありがとうございます

2007/11/03 09:23:00

コメントはまだありません

この質問への反応(ブックマークコメント)

トラックバック

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません