人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

中規模・大規模サイトの大量アクセスログの運用方法について。

サーバーエンジニアの方にお聞きします。

現在2000万pv/dayのサイトを運営しておりますが
各WEBサーバーのアクセスログの運用について困っております。

現状、毎日日付変更後に、ログ収集サーバーから各WEBサーバーに前日分の
アクセスログを取得し、ログ収集サーバー上で保存・解析をしているのですが、
転送に時間がかかる上(自作シェルでscpしている)、ログ収集後、各WEBサーバー上のログ削除処理などの
後処理がなにぶん面倒です。

このアクセスログ処理をもっと簡素化したいのですが、
皆様はどのように大量ログを処理されているのでしょうか。
ぜひお聞かせください。

環境は以下の通りです。
・Apache2+php

今考えていることは以下の通りです。

・syslogで飛ばす
→ ネットワーク負荷が心配。
→ 取りこぼしが心配。

・mod_log_spreadはどうか
→ ドキュメント少なく、未検証。


※ここで言う中規模・大規模サイトは1000万pv/day?とさせてください。
※「このサイトを参照」的なアンサーではなく「こうやって運用してるよ」的な現場の声を望んでおります。

●質問者: osamuaa
●カテゴリ:インターネット ウェブ制作
✍キーワード:PHP PV syslog Web アクセスログ
○ 状態 :終了
└ 回答数 : 3/3件

▽最新の回答へ

1 ● deflation
●27ポイント ベストアンサー

アクセスログは共有ストレージに保管しています。

アプリケーションサーバとは別のサーバ(テスト機を流用)でその日のアクセス解析などを行った後、アーカイブします。

◎質問者からの返答

ありがとうございます。

アプリケーションサーバーから共有ストレージをマウント(NFSマウントでしょうか?)して、

リアルタイムにログを書き出しているということでしょうか?

NFSマウントでリアルタイムに書きだす場合、大量アクセス時でも問題なく書き出しに成功しておりますか?


2 ● la-la-land
●27ポイント

1日単位じゃなく半日ごとに仮集計とか挟んでおけば転送時間が半分になりませんか

◎質問者からの返答

ありがとうございます。


3 ● fonya3
●26ポイント

私なら、、、

newsyslogで100KBとか1MBとかにブチブチ切って、

ログサーバーにドンドン転送して、

ログサーバー側でDBにガンガン突っ込んで、

集計・照会ロジックをガリガリ書いて、

Viewerでサクサク見れるように、

しますが、残念ながら、そんなにアクセスの多い

サーバーを管理したことが無いので実現性は自信

が無いです。でも「newsyslogでブチブチ切る」

ところからとっかかれば行けるんじゃないですかね。

◎質問者からの返答

newsyslogですか。ありがとうございます。

さっそく調査してみます。

関連質問


●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ