タイトルも著者名も忘れてしまったのですが、以前読んだ本でこのまま人口が増え続ければ人類の質量が地球のそれを超えてしまうという記述がありました。

２０世紀後半が人類史上類を見ない人口爆発であることはそれこそ２０世紀から社会科の教科書にも載っています。
　
おかしいのは、地球の質量がすべて生物に利用できる元素でないからです。
人間は土や岩を食べて栄養にするわけにはいきませんので、ある程度のところで肉体を構成する炭素や酸素や水素やリンやカルシウムなどの元素が足りなくなります。
　
ただ単に、増加率がすごいということの計算上の例えです。
　
今まで発行された週刊ジャンプをすべて積み上げると月まで行って帰ってくることができる…
（実際は読み終わった漫画雑誌の多くは故紙としてリサイクルされ再利用されて発行されている。）
　
薄い紙を４２回二つ折りにすると厚みが月までとどく…
http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1158878781

などとおなじような
イメージ上の例えに過ぎません。

２つの面からおかしいですね。

まず１つ目、核融合や核分裂などによって原子の組成そのものが変化するなら質量も変化するんだけど、人間も含めて生物っていうのは所詮、物質が化学変化を起こしただけのものなのですよ。化学変化は状態変化であって質量変化ではないという事です。そして、土→食物→人間、と質量が移動しても地球の総質量には変化がありません。地球の質量には人間を構成する物質の質量も含まれているので、地球＜人類には絶対になりませんね。

２つ目は、増えすぎると食料が足りなくなるので、あるところで歯止めがかかります。地球には人口200億くらいまでなら養う能力があるみたいな試算を、その昔、WHOが出していたような気がします。

地球の半径。
6,371 km

完全な球だと仮定して、体積は
1,083,206,916,846 km³

人類がみっしりと地球の表面に貼りついている、ということを考えます。
仮に人間の密度が地球の密度と同じだとすると、地球の質量と人類の質量が同じということは、
人類が貼りついている地球の体積は、人類込みで今の 2倍ということになります。

先の地球の体積を2倍にすると、
2,166,413,833,692 km³

体積から半径を逆算すると
8,027 km です。
つまり、隙間なく人類が地表面に貼りついていると、一番外側は今の地表面から 1,656km 離れている、ということです。

実際には、地球の密度は人間の約5倍。
体積が 6倍になるとしたら、半径は 11,577km
今の地上よりも 5,206km 離れたところが、人類の外側になります。
スが入っていない茶碗蒸しのように みっしりと詰まっていたとして、です。

電話ボックス（最近見ない）に無理矢理 人を詰め込むと 10人以上入ります。
例えば、14人 詰まった様子。

赤い電話ボックスに何人が入れるか挑戦！ | ロンドンナビ

これですら、茶わん蒸しやプリンがこんな状態だったら返品したくなるくらい隙間があります。

全人類が電話ボックスくらいのスペースで一生 生活するとして、必要な体積は先ほどの、更に 14倍。
半径は 26,381 km になります。
もう、地球の半径の 4倍を超えてしまいました。
地球が大きめの梅干だとして、それに貼りついた人類を米粒と考えると、おにぎりとしてちょうど良さそうです。

生命維持に必要なスペースも必要ですから、電話ボックスよりも 更に狭くなるわけですね。

このまま人口が増え続ければ人類の質量が地球のそれを超えてしまう

という世界は、こういう世界が来る、ということです。
地球から離れたところでも人類が生活できてないと、到底無理です。