PerlとJava、両方ともほんの少しできます。


実は、自分でなんちゃって検索エンジンをつくってみたいのですが、
クローラーとかまるでわかりません。

どなたか、第一歩を踏み出す手助けをおねがいできないでしょうか?
(エンジンを作るサイトの紹介、本の紹介など)

回答の条件
  • URL必須
  • 1人20回まで
  • 登録:2007/05/02 10:35:05
  • 終了:2007/05/09 10:40:02

回答(6件)

id:ARAYOTTO No.1

ARAYOTTO回答回数1377ベストアンサー獲得回数132007/05/02 10:39:59

id:zachouR

ありがとうございます、前回にも似たような質問があったのですね。

2007/05/02 11:27:44
id:yusukey No.2

yusukey回答回数73ベストアンサー獲得回数22007/05/02 11:11:31

ポイント19pt

とりあえずインデキシングエンジン、クローラーエンジンともに既成のものを使うのがお手軽で良いかと思います。

クローラーは色々とありますね。

インデキシングエンジンは Lucene が有名です。

・クローラーのリスト

http://www.manageability.org/blog/stuff/open-source-web-crawlers...

・Lucene

http://lucene.apache.org/java/docs/index.html

id:zachouR

調べてみます!

ありがとうございます。

2007/05/02 11:22:17
id:bangohan No.3

bangohan回答回数770ベストアンサー獲得回数72007/05/02 11:17:41

ポイント18pt

http://gihyo.jp/dev/serial/01/make-findspot

検索エンジンを作る

第1回 こんな検索エンジンが欲しい

id:zachouR

わかりやすいサイトでした、参考にさせて頂きます。

2007/05/02 11:22:50
id:pmakino No.4

まきのっぴ回答回数352ベストアンサー獲得回数282007/05/03 02:48:22

ポイント18pt

サイト内検索のような機能を Web サイトにつけたいのであれば、クローラが付属している検索エンジン Hyper Estraier を使い、付属の CGI プログラムを利用したり Perl 等から API を叩いたりするのが手っ取り早いと思います。

そうではなくもっと低いレイヤーからいじりたいのであれば、例えばクローラの参考資料として都内某社で開催されたクローラ勉強会のスライドを公開します。等はいかがでしょうか。

WWW::RobotWWW::SimpleRobotWWW::Search::Backends 等の Perl モジュールのソース等も参考になるかもしれません。

id:zachouR

サイト内検索をつけたいのではなく、

なんちゃってGOOGLEエンジンを

作ってみたくて質問致しました。

質問が足らずにすいません。

2007/05/07 10:51:15
id:HONMA9691 No.5

HONMA9691回答回数2529ベストアンサー獲得回数362007/05/04 15:33:45

ポイント18pt

http://www.ag-webflight.com/yomi/index.html

検索エンジンの作り方(yomi-search編)


http://blog.pasonatech.co.jp/yokota/101/1335.html

自分だけの検索エンジンを作る「検索マクロ」


http://allabout.co.jp/career/corporateit/closeup/CU20061111A/

Web2.0な日々 自分だけの検索エンジン

id:zachouR

ありがとうございます!

参考にさせて頂きます。

2007/05/07 10:50:20
id:sleepy_yoshi No.6

ゆとり回答回数7ベストアンサー獲得回数12007/05/04 21:51:25

ポイント18pt

おそらくデータベース作成の方で悩まれていると思います.

もし,ご存知でなければ以下の本がお薦めです


O'Reilly - Spidering Hacks

http://www.amazon.co.jp/gp/product/4873111870


クローラの作成方法や公開されているサービスからデータをぶっこ抜く方法など,大変参考になります.

サンプルコードは基本的にPerlで記述されているのでちょうどよいのではないでしょうか.

id:zachouR

ありがとうございます!

非常に参考になります!

熟読させて頂きます。

2007/05/07 10:51:46

コメントはまだありません

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません