中規模・大規模サイトの大量アクセスログの運用方法について。


サーバーエンジニアの方にお聞きします。

現在2000万pv/dayのサイトを運営しておりますが
各WEBサーバーのアクセスログの運用について困っております。

現状、毎日日付変更後に、ログ収集サーバーから各WEBサーバーに前日分の
アクセスログを取得し、ログ収集サーバー上で保存・解析をしているのですが、
転送に時間がかかる上(自作シェルでscpしている)、ログ収集後、各WEBサーバー上のログ削除処理などの
後処理がなにぶん面倒です。

このアクセスログ処理をもっと簡素化したいのですが、
皆様はどのように大量ログを処理されているのでしょうか。
ぜひお聞かせください。

環境は以下の通りです。
・Apache2+php

今考えていることは以下の通りです。

・syslogで飛ばす
 → ネットワーク負荷が心配。
 → 取りこぼしが心配。

・mod_log_spreadはどうか
 → ドキュメント少なく、未検証。


※ここで言う中規模・大規模サイトは1000万pv/day~とさせてください。
※「このサイトを参照」的なアンサーではなく「こうやって運用してるよ」的な現場の声を望んでおります。

回答の条件
  • 1人1回まで
  • 13歳以上
  • 登録:2011/03/24 02:23:47
  • 終了:2011/03/31 02:25:02

ベストアンサー

id:deflation No.1

deflation回答回数1036ベストアンサー獲得回数1262011/03/24 09:36:51

ポイント27pt

アクセスログは共有ストレージに保管しています。

アプリケーションサーバとは別のサーバ(テスト機を流用)でその日のアクセス解析などを行った後、アーカイブします。

id:osamuaa

ありがとうございます。

アプリケーションサーバーから共有ストレージをマウント(NFSマウントでしょうか?)して、

リアルタイムにログを書き出しているということでしょうか?

NFSマウントでリアルタイムに書きだす場合、大量アクセス時でも問題なく書き出しに成功しておりますか?

2011/03/24 12:02:03

その他の回答(2件)

id:deflation No.1

deflation回答回数1036ベストアンサー獲得回数1262011/03/24 09:36:51ここでベストアンサー

ポイント27pt

アクセスログは共有ストレージに保管しています。

アプリケーションサーバとは別のサーバ(テスト機を流用)でその日のアクセス解析などを行った後、アーカイブします。

id:osamuaa

ありがとうございます。

アプリケーションサーバーから共有ストレージをマウント(NFSマウントでしょうか?)して、

リアルタイムにログを書き出しているということでしょうか?

NFSマウントでリアルタイムに書きだす場合、大量アクセス時でも問題なく書き出しに成功しておりますか?

2011/03/24 12:02:03
id:la-la-land No.2

la-la-land回答回数58ベストアンサー獲得回数62011/03/24 12:56:40

ポイント27pt

1日単位じゃなく半日ごとに仮集計とか挟んでおけば転送時間が半分になりませんか

id:osamuaa

ありがとうございます。

2011/03/25 10:16:50
id:fonya3 No.3

fonya3回答回数238ベストアンサー獲得回数102011/03/28 16:53:46

ポイント26pt

私なら、、、

newsyslogで100KBとか1MBとかにブチブチ切って、

ログサーバーにドンドン転送して、

ログサーバー側でDBにガンガン突っ込んで、

集計・照会ロジックをガリガリ書いて、

Viewerでサクサク見れるように、

しますが、残念ながら、そんなにアクセスの多い

サーバーを管理したことが無いので実現性は自信

が無いです。でも「newsyslogでブチブチ切る」

ところからとっかかれば行けるんじゃないですかね。

id:osamuaa

newsyslogですか。ありがとうございます。

さっそく調査してみます。

2011/03/28 17:23:50
  • id:taknt
    ログの簡素化
    ログに年月日をつけずに あとで 追加させるとか、年月日単位で管理。
    省略できる単語は 省略する。

    ま、どういうログを保存しているのか知らないけど、必要最低限にしないとダメだよな。
    って わかりきってることだから コメントにしておく。
  • id:deflation
    >アプリケーションサーバーから共有ストレージをマウント(NFSマウントでしょうか?)して、
    NFSではなくSANを使います。
  • id:standard_one
    正直うらやましい
    2000万pv/dayのサイトを運営してみたい

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません