媒質が波と並行に動く波は縦波、垂直に動く波は横波と言われていますが、何をもって「タテ」「ヨコ」と名づけられたのでしょうか？

波の進行方向は１方向ですね。これを糸電話の糸のように、発信源からあなたの目の前にひいてくるとします。
そうすると、横波はブレる波です（ブレ幅が目に見える）。そのブレの方角は、上下かもしれないし、左右かもしれないし、右上から左下の方向かもしれませんが、とにかく横波はブレています。（糸電話の糸がブレているところを想像してください）
縦波はブレが目にみえません。前後しかありません。（糸電話のコップの中の空気の中をすすむ波は鼓膜を叩くまでのあいだ縦波に変換されています）
最初に名付けた人はブレ＝横だとおもったのではないでしょうか。

　「何をもって」って、「波の進行方向をもって」ですかね。
　地震をイメージしたらいいかも。震源が真下にある場合、
横…進行方向に対して横に大きく揺れる感じ。
縦…進行方向に対して粗密波で横に揺れすに突き上げられる感じ。

「縦波」、「横波」の定義が誤っています。
<回答３号さんの注釈の言い方がほぼ正しいです。
でも、実際の波は純粋な「縦波」「横波」だけでなく、その合成の「斜め波」や進行方向に対し回転振動する「ねじれ波」も発生します。（進行方向に対し、垂直なねじれ波だけでなく、平行なねじれ波やその合成波も同時に発生します）

皆様が回答されているように、波の進行方向に物理量が変化するものが縦波だと認識しております。進行方向に垂直な面内に物理量が変化する波は、横波です。
音波は縦波ですが、これは空気などの媒質の速度が波の進行方向に変化しているからです。これが密度の疎密となって伝搬します。
電磁波の平面波の場合、波の進行方向と垂直な面内に、電界ベクトルと磁界ベクトルが振動します。ですので、これは横波になります。

• すみません、２重投稿になったしまいました、（確認はしてましたが、はてなのレスポンスが取れなくって）--------------------------

補足質問「やはりなぜあちらが縦でそちらが横なのかという点で今ひとつ納得がいきません。もしかすると、そもそも特に根拠なく名づけられたものであって、」に対して
多くの方が回答なさっているように、根拠はあります。
波の発生源から伝わる方向（＝進行方向）に対して、同方向の振動成分ならば「縦波」＝疎密波、（進行方向）に対しての垂直方向の振動成分は横波です。簡単明瞭です。