mysql のひとつのテーブルの最大行数や、データベース全体の容量の制限はどのくらいなのでしょうか？

MYSQL 4.1では 65536テラバイト(2^56 – 1 bytes)

但しＯＳによるファイルサイズ制限により

データベースの最大サイズは制限される。

http://dev.mysql.com/doc/refman/4.1/en/table-size.html

MySQL 5.1

http://dev.mysql.com/doc/refman/5.1/en/table-size.html

MySQL 4.1( 日本語は800万テラバイトとなっている?)

http://dev.mysql.com/doc/refman/4.1/ja/table-size.html

こちらはどうでしょうか

http://dev.mysql.com/doc/refman/4.1/ja/table-size.html

MySQL の場合ストレージエンジンごとに事情が違うので複雑になっています。

ただ、基本的には容量制限はありますが、レコード数の制限は無い（先に容量制限に引っかかる？）ようです。

MyISAM の場合１テーブルが１ファイルになるので、ＯＳのファイルシステムの制限を受けます。

http://dev.mysql.com/doc/refman/4.1/ja/table-size.html

http://dev.mysql.com/doc/refman/4.1/ja/myisam.html

MyISAM 自体の制限としてはデフォルトで１テーブルあたり4GBになっています。

InnoDB 形式の場合

http://dev.mysql.com/doc/refman/4.1/ja/innodb-restrictions.html

・1 つのテーブルに作成できるカラムは 1,000個 までである。 
・InnoDB のデフォルトのデータベースページサイズは 16 KB。
・テーブルスペースの最大サイズは、40 億 データベースページ。これはテーブルの最大サイズでもある。

となっています。

また、一般論として

http://dev.mysql.com/doc/refman/4.1/ja/features.html

・大規模なデータベースを処理する。当社は、MySQL サーバを使用して 50,000,000 レコードが格納されたデータベースを処理している。また、MySQL サーバを使用して 60,000 テーブル、約 5,000,000,000 レコードを処理しているユーザもいる。 
・各テーブルで最高 32 個のインデックスが使用可能である。各インデックスは、1 から 16 個のカラムまたはカラムの一部で構成される。インデックスの最大幅は 500 バイトである（これは、MySQL サーバのコンパイル時に変更可能である）。インデックスでは、CHAR 型または VARCHAR 型のカラムのプリフィックスを使用することができる。 

との事です。