ニュースサイトの構築について。


php/mysqlのフレームワークを使って、
ニュースサイトのようなものを構築する予定です。

キャッシュ機能などを使うとしても、
ニュースサイトのような、

・記事が大量になる
・画像付き記事のアクセスが多くなる
・検索エンジンクロールが多くなる

ことが予測されるサイトで、
cakeのようなフレームワークで構築するのは、避けた方が良いのでしょうか?

日本語エンコードしたURLのキャッシュができないようなので、
例えばタグに関する記事一覧ページなどは
キャッシュできないので、
記事が膨大になるとヤバいのじゃないかと気になっています。

サイトの成長に合わせてサーバーを移転・分散を考えていますが、
初めは安価なサーバーで開始する予定です。

アドバイス頂けると助かります。
よろしくお願いします。

回答の条件
  • 1人5回まで
  • 登録:2009/09/16 15:51:35
  • 終了:2009/09/16 19:50:17

ベストアンサー

id:koujirou6218 No.3

koujirou回答回数597ベストアンサー獲得回数472009/09/16 19:40:43

ポイント100pt

某大手ニュースサイトのエンジニアをしています。

ページビューで月6000万、データ転送量は月1500GBから毎月増加傾向にあります。

基本的な構築はLAMPで行われておりcakeフレームワークは利用していません。

かなり先を見ている質問になっていますが、現時点ではcakeフレームワークを使っても問題ないと思います。

キャッシュ機構であれば、サーバサイドのネットワークシステムで十分です。

ただ、DBはコストパフォーマンスが低いですから極力DBへのSQLクエリを減すことを心がけています。

後はサイトの規模に合わせてサーバを調達すれば大丈夫です。

ニュースサイトの場合ストレージよりもメモリを多く積めるサーバを選択します。


スティックなファイルを毎回生成するのも負荷軽減の対策ですが、細々としたところで不便になったり、小さな変更で逆に大きな負荷を与えてしまうので、最初は動的ファイルがいいでしょう。

ちなみに、私たちのニュースサイトはWordPressを基盤としたニュースサイトを運営しています。

画像付き記事のアクセスが多くなる

そんなことありません。ユーザの8割強がアクセスするページは最新記事です。


検索エンジンクロールが多くなる

30分に一回程度でしょうか。それも最新記事なので、問題ありません。

一度に全記事に対してクロールするわけではないので障害にはなりませんが、Googleの場合Webマスターツーで制御できます。


記事が大量になる

1Tのストレージを28%程度しか消費していません。

ただバックアップが必要になるので、全体の容量としては10T近くあります。

サーバをレンタルする場合でしたら、ストレージやメモリが足りなくなった時、上位プランへ移行できるのか必ず確認してください。

DBのデータをはき出すのは、サーバに高負荷を与えるためレンタルサーバでは全データを出力できないことがありました。結局分割して出力したのですが移転作業が大きくずれこみました。


onigirinさんが心配していることは、長い目で見てもほとんど問題ありません。

そこまで長期の視点で計画することはすばらしいことですが、やってみて失敗し学ぶことも多くあります。頑張ってください!

id:onigirin

どうもありがとうございます。

フレームワーク+キャッシュで、しばらくは大丈夫そうとのことで安心しました。

検索エンジンは、以前別のサイトで、グーグルヤフー以外のマイナーなものや海外エンジンがいろいろ大量にやってきて、

負荷が大変なことになってサーバーが重くなったことがあったので、懸念してました。

とりあえずはフレームワークでやって、サーバーを移転するステップまで運営を行ってみたいと思います。

大変参考になりました。

ありがとうございます。

2009/09/16 19:49:38

その他の回答(2件)

id:konamushi No.1

konamushi回答回数94ベストアンサー獲得回数12009/09/16 17:06:51

ポイント20pt

大手のNewsサイトは1週間分くらいしかデーターが残っておりません。データーに掲載期限を設けることは必要かと思います。掲載期限が決まれば、データー量はほぼ一定と考えて良いのではないでしょうか? あとは、アクセス数、回線容量とサーバーの処理能力とのバランスになります。検索エンジンのクロールは、全ページを見るわけではないので気にしなくてもいいと思います。

id:onigirin

どうもありがとうございます。

確かに掲載期限がありますね。

普通のニュースとはちょっと違い、どちらかというとブログ。

ギガジンのようなイメージをしているため、情報を蓄積したいと思っています。

検索エンジンは、今までの経験的に、全てキャッシュしていることと、

マナーのない検索エンジンがけっこう動的ページへ頻繁にアクセスすることもあるので、

負荷が気になっています。

2009/09/16 17:11:39
id:chrono1742 No.2

chrono1742回答回数91ベストアンサー獲得回数132009/09/16 18:41:35

ポイント20pt

ある程度のアクセス数が見込まれるサイトにスクリプトやフレームワークを使う理由が分かりません。

静的なコンテンツにすれば良いと思います。


いずれにしても、アクセス数が増えてから考えれば良いことだと思います。

id:onigirin

どうもありがとうございます。

cakeで作ってキャッシュさせれば、静的コンテンツと同じかな、と思い、その方向で考えています。

静的コンテンツをはき出す形の場合、

記事が数千から数万単位になった場合、

レイアウトチェンジなどの全体的な修正の時、

非常に重すぎる再構築処理になるので大丈夫かなと気になりました。

また、ファイル数が膨大に出てくるので、

1フォルダに数千以上のファイルは、

管理する際に難しいと感じました。

アクセス数が増えてから修正するより、

初めからある程度方向性を決めてやってみたいと思っています。

2009/09/16 18:56:24
id:koujirou6218 No.3

koujirou回答回数597ベストアンサー獲得回数472009/09/16 19:40:43ここでベストアンサー

ポイント100pt

某大手ニュースサイトのエンジニアをしています。

ページビューで月6000万、データ転送量は月1500GBから毎月増加傾向にあります。

基本的な構築はLAMPで行われておりcakeフレームワークは利用していません。

かなり先を見ている質問になっていますが、現時点ではcakeフレームワークを使っても問題ないと思います。

キャッシュ機構であれば、サーバサイドのネットワークシステムで十分です。

ただ、DBはコストパフォーマンスが低いですから極力DBへのSQLクエリを減すことを心がけています。

後はサイトの規模に合わせてサーバを調達すれば大丈夫です。

ニュースサイトの場合ストレージよりもメモリを多く積めるサーバを選択します。


スティックなファイルを毎回生成するのも負荷軽減の対策ですが、細々としたところで不便になったり、小さな変更で逆に大きな負荷を与えてしまうので、最初は動的ファイルがいいでしょう。

ちなみに、私たちのニュースサイトはWordPressを基盤としたニュースサイトを運営しています。

画像付き記事のアクセスが多くなる

そんなことありません。ユーザの8割強がアクセスするページは最新記事です。


検索エンジンクロールが多くなる

30分に一回程度でしょうか。それも最新記事なので、問題ありません。

一度に全記事に対してクロールするわけではないので障害にはなりませんが、Googleの場合Webマスターツーで制御できます。


記事が大量になる

1Tのストレージを28%程度しか消費していません。

ただバックアップが必要になるので、全体の容量としては10T近くあります。

サーバをレンタルする場合でしたら、ストレージやメモリが足りなくなった時、上位プランへ移行できるのか必ず確認してください。

DBのデータをはき出すのは、サーバに高負荷を与えるためレンタルサーバでは全データを出力できないことがありました。結局分割して出力したのですが移転作業が大きくずれこみました。


onigirinさんが心配していることは、長い目で見てもほとんど問題ありません。

そこまで長期の視点で計画することはすばらしいことですが、やってみて失敗し学ぶことも多くあります。頑張ってください!

id:onigirin

どうもありがとうございます。

フレームワーク+キャッシュで、しばらくは大丈夫そうとのことで安心しました。

検索エンジンは、以前別のサイトで、グーグルヤフー以外のマイナーなものや海外エンジンがいろいろ大量にやってきて、

負荷が大変なことになってサーバーが重くなったことがあったので、懸念してました。

とりあえずはフレームワークでやって、サーバーを移転するステップまで運営を行ってみたいと思います。

大変参考になりました。

ありがとうございます。

2009/09/16 19:49:38
  • id:tdoi
    CakePHPの日本語エンコードしたURLのキャッシュの問題ですが、懸念されている規模のシステムを構築しようとするのであれば、ある程度予算もあるのでしょうし、ライブラリに手を入れるのもありだと思いますよ。
    CakePHPの導入の障壁がキャッシュだけなのでしたらですが。
  • id:onigirin
    どうもありがとうございます。

    あまり予算はないのでフレームワークを考えていますが、
    日本語URL対応はそれほど手間はかからなさそうなので、
    使う場合は手を入れてみようと思っています。

    ただ、キャッシュ機能を使うとしても、
    そういうニュース的なサイトの場合は
    フレームワークでつくるのは望ましくないのかな、と
    よくわからないので不安を持っています。

この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

絞り込み :
はてなココの「ともだち」を表示します。
回答リクエストを送信したユーザーはいません