携帯向けも含め、国内で使える検索エンジンであればOKです。
ログから抽出したIPアドレスリストです。
$ cat analog* | grep Googlebot | cut -d ' ' -f1 | sort | uniq
66.249.16.211
66.249.70.141
66.249.70.213
Yahoo
$ cat analog* | grep Yahoo-MMCrawler | cut -d ' ' -f1 | sort | uniq
68.142.212.160
68.142.212.165
68.142.212.175
68.142.212.180
68.142.212.199
68.142.212.226
68.142.212.229
$ cat analog* | grep "Yahoo! Slurp" | cut -d ' ' -f1 | sort | uniq
202.160.179.173
202.160.179.51
68.180.250.102
68.180.251.19
72.30.226.134
74.6.19.105
74.6.19.112
74.6.19.114
74.6.19.115
74.6.19.116
74.6.19.117
74.6.19.118
74.6.19.119
74.6.19.120
74.6.19.122
74.6.19.123
74.6.19.126
74.6.19.137
74.6.19.139
74.6.19.141
74.6.19.143
74.6.19.145
74.6.19.148
74.6.19.152
74.6.19.157
74.6.19.158
74.6.19.161
74.6.19.162
74.6.19.164
74.6.19.167
74.6.19.168
74.6.19.171
74.6.19.173
74.6.19.198
74.6.19.209
74.6.19.210
74.6.19.213
74.6.19.214
74.6.19.215
74.6.19.218
74.6.19.225
74.6.19.226
74.6.19.229
74.6.19.230
74.6.19.233
74.6.19.234
74.6.19.236
74.6.19.237
74.6.19.71
74.6.19.73
74.6.19.75
74.6.19.76
74.6.19.77
74.6.19.79
74.6.19.80
74.6.19.82
74.6.20.11
74.6.20.110
74.6.20.116
74.6.20.117
74.6.20.125
74.6.20.126
74.6.20.135
74.6.20.14
74.6.20.140
74.6.20.141
74.6.20.144
74.6.20.145
74.6.20.146
74.6.20.154
74.6.20.159
74.6.20.161
74.6.20.162
74.6.20.165
74.6.20.169
74.6.20.170
74.6.20.198
74.6.20.199
74.6.20.202
74.6.20.205
74.6.20.206
74.6.20.207
74.6.20.209
74.6.20.210
74.6.20.212
74.6.20.213
74.6.20.214
74.6.20.22
74.6.20.222
74.6.20.223
74.6.20.226
74.6.20.227
74.6.20.232
74.6.20.236
74.6.20.26
74.6.20.40
74.6.20.44
74.6.20.45
74.6.20.70
74.6.20.73
74.6.20.81
74.6.22.13
74.6.22.14
74.6.22.17
74.6.22.201
74.6.22.209
74.6.22.211
74.6.22.212
74.6.22.213
74.6.22.215
74.6.22.216
74.6.22.218
74.6.22.219
74.6.22.22
74.6.22.222
74.6.22.224
74.6.22.23
74.6.22.230
74.6.22.233
74.6.22.237
74.6.22.30
74.6.22.32
74.6.22.33
74.6.22.34
74.6.22.35
74.6.22.37
74.6.22.39
74.6.22.40
74.6.22.47
74.6.23.102
74.6.23.105
74.6.23.106
74.6.23.111
74.6.23.112
74.6.23.115
74.6.23.119
74.6.23.121
74.6.23.134
74.6.23.135
74.6.23.139
74.6.23.140
74.6.23.141
74.6.23.144
74.6.23.145
74.6.23.15
74.6.23.150
74.6.23.152
74.6.23.153
74.6.23.155
74.6.23.158
74.6.23.16
74.6.23.163
74.6.23.166
74.6.23.169
74.6.23.17
74.6.23.170
74.6.23.198
74.6.23.201
74.6.23.203
74.6.23.209
74.6.23.210
74.6.23.216
74.6.23.217
74.6.23.220
74.6.23.221
74.6.23.225
74.6.23.228
74.6.23.230
74.6.23.233
74.6.23.235
74.6.23.236
74.6.23.24
74.6.23.26
74.6.23.30
74.6.23.31
74.6.23.34
74.6.23.45
74.6.23.70
74.6.23.71
74.6.23.73
74.6.23.81
74.6.24.10
74.6.24.100
74.6.24.101
74.6.24.104
74.6.24.108
74.6.24.110
74.6.24.111
74.6.24.112
74.6.24.113
74.6.24.114
74.6.24.116
74.6.24.118
74.6.24.119
74.6.24.121
74.6.24.122
74.6.24.123
74.6.24.136
74.6.24.140
74.6.24.141
74.6.24.144
74.6.24.150
74.6.24.152
74.6.24.153
74.6.24.157
74.6.24.16
74.6.24.161
74.6.24.162
74.6.24.166
74.6.24.168
74.6.24.169
74.6.24.17
74.6.24.170
74.6.24.173
74.6.24.198
74.6.24.199
74.6.24.204
74.6.24.205
74.6.24.212
74.6.24.213
74.6.24.218
74.6.24.221
74.6.24.222
74.6.24.224
74.6.24.225
74.6.24.228
74.6.24.229
74.6.24.23
74.6.24.232
74.6.24.235
74.6.24.31
74.6.24.33
74.6.24.38
74.6.24.39
74.6.24.41
74.6.24.42
74.6.24.44
74.6.24.48
74.6.24.49
74.6.24.72
74.6.24.73
74.6.24.74
74.6.25.100
74.6.25.101
74.6.25.102
74.6.25.104
74.6.25.105
74.6.25.107
74.6.25.108
74.6.25.116
74.6.25.117
74.6.25.118
74.6.25.120
74.6.25.124
74.6.25.125
74.6.25.137
74.6.25.140
74.6.25.144
74.6.25.147
74.6.25.150
74.6.25.152
74.6.25.153
74.6.25.154
74.6.25.160
74.6.25.162
74.6.25.163
74.6.25.169
74.6.25.17
74.6.25.18
74.6.25.198
74.6.25.199
74.6.25.202
74.6.25.203
74.6.25.206
74.6.25.208
74.6.25.211
74.6.25.212
74.6.25.216
74.6.25.217
74.6.25.219
74.6.25.220
74.6.25.221
74.6.25.223
74.6.25.225
74.6.25.229
74.6.25.230
74.6.25.232
74.6.25.233
74.6.25.25
74.6.25.26
74.6.25.31
74.6.25.33
74.6.25.38
74.6.25.39
74.6.25.42
74.6.25.43
74.6.25.45
74.6.25.49
74.6.25.71
74.6.25.77
74.6.26.100
74.6.26.103
74.6.26.104
74.6.26.108
74.6.26.109
74.6.26.11
74.6.26.112
74.6.26.117
74.6.26.118
74.6.26.12
74.6.26.122
74.6.26.123
74.6.26.125
74.6.26.135
74.6.26.137
74.6.26.139
74.6.26.143
74.6.26.147
74.6.26.148
74.6.26.15
74.6.26.152
74.6.26.155
74.6.26.156
74.6.26.157
74.6.26.16
74.6.26.160
74.6.26.161
74.6.26.164
74.6.26.166
74.6.26.171
74.6.26.199
74.6.26.203
74.6.26.207
74.6.26.21
74.6.26.210
74.6.26.211
74.6.26.213
74.6.26.215
74.6.26.218
74.6.26.222
74.6.26.224
74.6.26.229
74.6.26.230
74.6.26.231
74.6.26.232
74.6.26.234
74.6.26.237
74.6.26.24
74.6.26.25
74.6.26.26
74.6.26.29
74.6.26.35
74.6.26.37
74.6.26.40
74.6.26.42
74.6.26.70
74.6.26.71
74.6.26.72
74.6.26.73
74.6.26.76
74.6.26.82
74.6.27.101
74.6.27.102
74.6.27.104
74.6.27.106
74.6.27.109
74.6.27.114
74.6.27.118
74.6.27.120
74.6.27.122
74.6.27.124
74.6.27.15
74.6.27.17
74.6.27.19
74.6.27.20
74.6.27.207
74.6.27.22
74.6.27.23
74.6.27.26
74.6.27.29
74.6.27.30
74.6.27.31
74.6.27.32
74.6.27.33
74.6.27.40
74.6.27.42
74.6.27.45
74.6.27.46
74.6.27.47
74.6.27.49
74.6.27.73
74.6.27.76
74.6.27.80
74.6.27.81
74.6.28.10
74.6.28.101
74.6.28.102
74.6.28.109
74.6.28.111
74.6.28.114
74.6.28.116
74.6.28.118
74.6.28.119
74.6.28.123
74.6.28.125
74.6.28.136
74.6.28.137
74.6.28.138
74.6.28.139
74.6.28.148
74.6.28.151
74.6.28.156
74.6.28.16
74.6.28.160
74.6.28.165
74.6.28.17
74.6.28.172
74.6.28.173
74.6.28.19
74.6.28.198
74.6.28.201
74.6.28.202
74.6.28.203
74.6.28.204
74.6.28.205
74.6.28.206
74.6.28.209
74.6.28.211
74.6.28.214
74.6.28.217
74.6.28.22
74.6.28.220
74.6.28.226
74.6.28.23
74.6.28.231
74.6.28.234
74.6.28.235
74.6.28.237
74.6.28.27
74.6.28.28
74.6.28.29
74.6.28.30
74.6.28.32
74.6.28.33
74.6.28.35
74.6.28.36
74.6.28.40
74.6.28.45
74.6.28.46
74.6.28.48
74.6.28.70
74.6.28.72
74.6.28.74
74.6.28.75
74.6.28.76
74.6.28.79
74.6.28.81
74.6.29.11
74.6.29.12
74.6.29.13
74.6.29.15
74.6.29.17
74.6.29.18
74.6.29.21
74.6.29.25
74.6.29.28
74.6.29.30
74.6.29.31
74.6.29.36
74.6.29.37
74.6.29.38
74.6.29.41
74.6.29.43
74.6.29.45
74.6.29.48
MSN
$ cat analog* | grep "msnbot-media" | cut -d ' ' -f1 | sort | uniq
65.55.212.163
65.55.212.165
65.55.212.27
65.55.212.93
65.55.212.94
65.55.213.100
65.55.213.37
65.55.213.57
65.55.213.63
65.55.235.204
65.55.235.205
OKです。
このような感じでぜひお願いします。
livedoorモバイル
203.104.254.0/24
http://www.sin-news.com/archives/2007/09/post_120.html
参考までに
http://q.hatena.ne.jp/1176866063
66.249.70.45
↓重いので注意 解析ページです
http://www.seiren-udoku.com/analyzeCrawler?op=list&se_id=2&a...
yahoo
数が多い
↓重いので注意同じく解析ページです
http://www.seiren-udoku.com/analyzeCrawler?op=list&se_id=1&a...
その他のタブで
ある程度のものがみつかるかと思います。
ログから抽出したIPアドレスリストです。
$ cat analog* | grep Googlebot | cut -d ' ' -f1 | sort | uniq
66.249.16.211
66.249.70.141
66.249.70.213
Yahoo
$ cat analog* | grep Yahoo-MMCrawler | cut -d ' ' -f1 | sort | uniq
68.142.212.160
68.142.212.165
68.142.212.175
68.142.212.180
68.142.212.199
68.142.212.226
68.142.212.229
$ cat analog* | grep "Yahoo! Slurp" | cut -d ' ' -f1 | sort | uniq
202.160.179.173
202.160.179.51
68.180.250.102
68.180.251.19
72.30.226.134
74.6.19.105
74.6.19.112
74.6.19.114
74.6.19.115
74.6.19.116
74.6.19.117
74.6.19.118
74.6.19.119
74.6.19.120
74.6.19.122
74.6.19.123
74.6.19.126
74.6.19.137
74.6.19.139
74.6.19.141
74.6.19.143
74.6.19.145
74.6.19.148
74.6.19.152
74.6.19.157
74.6.19.158
74.6.19.161
74.6.19.162
74.6.19.164
74.6.19.167
74.6.19.168
74.6.19.171
74.6.19.173
74.6.19.198
74.6.19.209
74.6.19.210
74.6.19.213
74.6.19.214
74.6.19.215
74.6.19.218
74.6.19.225
74.6.19.226
74.6.19.229
74.6.19.230
74.6.19.233
74.6.19.234
74.6.19.236
74.6.19.237
74.6.19.71
74.6.19.73
74.6.19.75
74.6.19.76
74.6.19.77
74.6.19.79
74.6.19.80
74.6.19.82
74.6.20.11
74.6.20.110
74.6.20.116
74.6.20.117
74.6.20.125
74.6.20.126
74.6.20.135
74.6.20.14
74.6.20.140
74.6.20.141
74.6.20.144
74.6.20.145
74.6.20.146
74.6.20.154
74.6.20.159
74.6.20.161
74.6.20.162
74.6.20.165
74.6.20.169
74.6.20.170
74.6.20.198
74.6.20.199
74.6.20.202
74.6.20.205
74.6.20.206
74.6.20.207
74.6.20.209
74.6.20.210
74.6.20.212
74.6.20.213
74.6.20.214
74.6.20.22
74.6.20.222
74.6.20.223
74.6.20.226
74.6.20.227
74.6.20.232
74.6.20.236
74.6.20.26
74.6.20.40
74.6.20.44
74.6.20.45
74.6.20.70
74.6.20.73
74.6.20.81
74.6.22.13
74.6.22.14
74.6.22.17
74.6.22.201
74.6.22.209
74.6.22.211
74.6.22.212
74.6.22.213
74.6.22.215
74.6.22.216
74.6.22.218
74.6.22.219
74.6.22.22
74.6.22.222
74.6.22.224
74.6.22.23
74.6.22.230
74.6.22.233
74.6.22.237
74.6.22.30
74.6.22.32
74.6.22.33
74.6.22.34
74.6.22.35
74.6.22.37
74.6.22.39
74.6.22.40
74.6.22.47
74.6.23.102
74.6.23.105
74.6.23.106
74.6.23.111
74.6.23.112
74.6.23.115
74.6.23.119
74.6.23.121
74.6.23.134
74.6.23.135
74.6.23.139
74.6.23.140
74.6.23.141
74.6.23.144
74.6.23.145
74.6.23.15
74.6.23.150
74.6.23.152
74.6.23.153
74.6.23.155
74.6.23.158
74.6.23.16
74.6.23.163
74.6.23.166
74.6.23.169
74.6.23.17
74.6.23.170
74.6.23.198
74.6.23.201
74.6.23.203
74.6.23.209
74.6.23.210
74.6.23.216
74.6.23.217
74.6.23.220
74.6.23.221
74.6.23.225
74.6.23.228
74.6.23.230
74.6.23.233
74.6.23.235
74.6.23.236
74.6.23.24
74.6.23.26
74.6.23.30
74.6.23.31
74.6.23.34
74.6.23.45
74.6.23.70
74.6.23.71
74.6.23.73
74.6.23.81
74.6.24.10
74.6.24.100
74.6.24.101
74.6.24.104
74.6.24.108
74.6.24.110
74.6.24.111
74.6.24.112
74.6.24.113
74.6.24.114
74.6.24.116
74.6.24.118
74.6.24.119
74.6.24.121
74.6.24.122
74.6.24.123
74.6.24.136
74.6.24.140
74.6.24.141
74.6.24.144
74.6.24.150
74.6.24.152
74.6.24.153
74.6.24.157
74.6.24.16
74.6.24.161
74.6.24.162
74.6.24.166
74.6.24.168
74.6.24.169
74.6.24.17
74.6.24.170
74.6.24.173
74.6.24.198
74.6.24.199
74.6.24.204
74.6.24.205
74.6.24.212
74.6.24.213
74.6.24.218
74.6.24.221
74.6.24.222
74.6.24.224
74.6.24.225
74.6.24.228
74.6.24.229
74.6.24.23
74.6.24.232
74.6.24.235
74.6.24.31
74.6.24.33
74.6.24.38
74.6.24.39
74.6.24.41
74.6.24.42
74.6.24.44
74.6.24.48
74.6.24.49
74.6.24.72
74.6.24.73
74.6.24.74
74.6.25.100
74.6.25.101
74.6.25.102
74.6.25.104
74.6.25.105
74.6.25.107
74.6.25.108
74.6.25.116
74.6.25.117
74.6.25.118
74.6.25.120
74.6.25.124
74.6.25.125
74.6.25.137
74.6.25.140
74.6.25.144
74.6.25.147
74.6.25.150
74.6.25.152
74.6.25.153
74.6.25.154
74.6.25.160
74.6.25.162
74.6.25.163
74.6.25.169
74.6.25.17
74.6.25.18
74.6.25.198
74.6.25.199
74.6.25.202
74.6.25.203
74.6.25.206
74.6.25.208
74.6.25.211
74.6.25.212
74.6.25.216
74.6.25.217
74.6.25.219
74.6.25.220
74.6.25.221
74.6.25.223
74.6.25.225
74.6.25.229
74.6.25.230
74.6.25.232
74.6.25.233
74.6.25.25
74.6.25.26
74.6.25.31
74.6.25.33
74.6.25.38
74.6.25.39
74.6.25.42
74.6.25.43
74.6.25.45
74.6.25.49
74.6.25.71
74.6.25.77
74.6.26.100
74.6.26.103
74.6.26.104
74.6.26.108
74.6.26.109
74.6.26.11
74.6.26.112
74.6.26.117
74.6.26.118
74.6.26.12
74.6.26.122
74.6.26.123
74.6.26.125
74.6.26.135
74.6.26.137
74.6.26.139
74.6.26.143
74.6.26.147
74.6.26.148
74.6.26.15
74.6.26.152
74.6.26.155
74.6.26.156
74.6.26.157
74.6.26.16
74.6.26.160
74.6.26.161
74.6.26.164
74.6.26.166
74.6.26.171
74.6.26.199
74.6.26.203
74.6.26.207
74.6.26.21
74.6.26.210
74.6.26.211
74.6.26.213
74.6.26.215
74.6.26.218
74.6.26.222
74.6.26.224
74.6.26.229
74.6.26.230
74.6.26.231
74.6.26.232
74.6.26.234
74.6.26.237
74.6.26.24
74.6.26.25
74.6.26.26
74.6.26.29
74.6.26.35
74.6.26.37
74.6.26.40
74.6.26.42
74.6.26.70
74.6.26.71
74.6.26.72
74.6.26.73
74.6.26.76
74.6.26.82
74.6.27.101
74.6.27.102
74.6.27.104
74.6.27.106
74.6.27.109
74.6.27.114
74.6.27.118
74.6.27.120
74.6.27.122
74.6.27.124
74.6.27.15
74.6.27.17
74.6.27.19
74.6.27.20
74.6.27.207
74.6.27.22
74.6.27.23
74.6.27.26
74.6.27.29
74.6.27.30
74.6.27.31
74.6.27.32
74.6.27.33
74.6.27.40
74.6.27.42
74.6.27.45
74.6.27.46
74.6.27.47
74.6.27.49
74.6.27.73
74.6.27.76
74.6.27.80
74.6.27.81
74.6.28.10
74.6.28.101
74.6.28.102
74.6.28.109
74.6.28.111
74.6.28.114
74.6.28.116
74.6.28.118
74.6.28.119
74.6.28.123
74.6.28.125
74.6.28.136
74.6.28.137
74.6.28.138
74.6.28.139
74.6.28.148
74.6.28.151
74.6.28.156
74.6.28.16
74.6.28.160
74.6.28.165
74.6.28.17
74.6.28.172
74.6.28.173
74.6.28.19
74.6.28.198
74.6.28.201
74.6.28.202
74.6.28.203
74.6.28.204
74.6.28.205
74.6.28.206
74.6.28.209
74.6.28.211
74.6.28.214
74.6.28.217
74.6.28.22
74.6.28.220
74.6.28.226
74.6.28.23
74.6.28.231
74.6.28.234
74.6.28.235
74.6.28.237
74.6.28.27
74.6.28.28
74.6.28.29
74.6.28.30
74.6.28.32
74.6.28.33
74.6.28.35
74.6.28.36
74.6.28.40
74.6.28.45
74.6.28.46
74.6.28.48
74.6.28.70
74.6.28.72
74.6.28.74
74.6.28.75
74.6.28.76
74.6.28.79
74.6.28.81
74.6.29.11
74.6.29.12
74.6.29.13
74.6.29.15
74.6.29.17
74.6.29.18
74.6.29.21
74.6.29.25
74.6.29.28
74.6.29.30
74.6.29.31
74.6.29.36
74.6.29.37
74.6.29.38
74.6.29.41
74.6.29.43
74.6.29.45
74.6.29.48
MSN
$ cat analog* | grep "msnbot-media" | cut -d ' ' -f1 | sort | uniq
65.55.212.163
65.55.212.165
65.55.212.27
65.55.212.93
65.55.212.94
65.55.213.100
65.55.213.37
65.55.213.57
65.55.213.63
65.55.235.204
65.55.235.205
なるほど…
ここまで来ると
http://www.anzai.net/~akinori/cgi/blog/blog.cgi/permalink/200612...
に書かれてる
order allow,deny
#google bot
allow from 216.239.0.0/16
allow from 64.68.80.0/22
allow from 64.233.0.0/16
allow from 72.14.0.0/16
allow from 66.102.0.0/16
allow from 66.249.0.0/16
allow from 209.85.0.0/16
#Yahoo!
allow from 74.6.0.0/16
#msn
allow from 65.52.0.0/14
でも充分な気がしてきました…
ありがとうございます
なるほど…
ここまで来ると
http://www.anzai.net/~akinori/cgi/blog/blog.cgi/permalink/200612...
に書かれてる
order allow,deny
#google bot
allow from 216.239.0.0/16
allow from 64.68.80.0/22
allow from 64.233.0.0/16
allow from 72.14.0.0/16
allow from 66.102.0.0/16
allow from 66.249.0.0/16
allow from 209.85.0.0/16
#Yahoo!
allow from 74.6.0.0/16
#msn
allow from 65.52.0.0/14
でも充分な気がしてきました…
ありがとうございます