2次曲線の問題について、質問があります。

＞(左上に小さいtが付いてる項)というのは、「直交行列を求めよ」という意味を持つのでしょうか？
　というより、「（∵直交行列）」というのは、直交行列だから、転置行列が逆行列にもなるという意味で表現しました。(^_^;

＞左上にくっ付いてる小さいtが、数式にどのような作用を与えるのか
　左上の小文字のｔは、転置行列を表しています。右上に大文字のTで表す方法もあります。教科書を書いた先生の好みで変わるようです。TeXを使うときとか、右上に大文字のTの方が楽かも知れません。
■転置行列，対称行列，対角行列，三角行列
http://www.geisya.or.jp/~mwm48961/linear_algebra/transpose1.htm
●LaTeXコマンド集 - 行列 (転置行列,対角和,行列式)
http://www.latex-cmd.com/equation/matrix.html
※参考URL
http://oshiete.goo.ne.jp/qa/2637912.html

＞普通の行列と実対称行列はどう違うのか
　実対称行列とは、成分が実数である対称行列のことです。対称行列とは、正方行列のうち、転置行列が元の行列と同じもの、換言すれば、対角成分(a11,a22,a33,・・・)を対称軸として線対称のものです。
●対称行列
http://ja.wikipedia.org/wiki/%E5%AF%BE%E7%A7%B0%E8%A1%8C%E5%88%97
●実対称行列の対角化
http://pc-physics.com/taikakuka.html
●[PDF] 一般の2次曲線の分類
http://members.jcom.home.ne.jp/dslender/math/2jibunrui.pdf

なるほどです、オーバーラインをつけると「直交行列」になり、左上に添字tもしくは右上に大文字のTを付けると「転置行列」になり、直行行列と転置行列を掛け合わせると「逆行列」になる、ということですね！

実対称行列もなんとなくわかりました！
ありがとうございます<m(__)m>

　大丈夫かな(^_^;
　オーバーラインは2行2列のものと3行3列のものを区別するためにつけているような。たとえば、T（2行2列）に、オーバーラインをつけると~T（3行3列）になる。というか、作っている。
　「直行行列と転置行列を掛け合わせると「逆行列」になる」ではなく、「直行行列の転置行列は「逆行列」にもなっている」です。
　あまりあせらずにちょっと離れて忘れたころに、もう一度考え直してみるとすんなり分かったりすることがよくあります。
　こちらの演習書が分かりやすくておすすめです。まとめのところもよくまとまっています。
●基本演習 線形代数 (基本演習ライブラリ) [-] 　寺田 文行 (著), 木村 宣昭 (著)
http://www.amazon.co.jp/%E5%9F%BA%E6%9C%AC%E6%BC%94%E7%BF%92-%E7%B7%9A%E5%BD%A2%E4%BB%A3%E6%95%B0-%E5%9F%BA%E6%9C%AC%E6%BC%94%E7%BF%92%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA-%E5%AF%BA%E7%94%B0-%E6%96%87%E8%A1%8C/dp/4781905803/ref=sr_1_1?ie=UTF8&s=books&qid=1280596498&sr=8-1

これはもう、数式表記の作法に対する慣れの問題なのですが、

この問題文の場合は、オーバーラインは単に変数の区別のために付けただけだと考えていいでしょう。
別の言い方をすれば、オーバーラインのついたＴは、ただのＴとは別の変数ですよ、という「印」です。

私たちが普段の生活でよくつかう「ダッシュ」（「Ａ’」の類）を「微分」の意味に解釈しないのと同じです。

余談ですが、数学記号には確かにある程度のスタンダードがあるわけですが、歴史的に特に自明な場合を除いては、その都度、記号の使い方をいちいち定義するのが正しいやり方です：実のところ、この問題文にも（よく読めば）ちゃんと定義が書いてありますので、問題文を読む側はその定義を超えて解釈を加えてはいけません。

オススメの演習書教えていただき、ありがとうございます！
どうやら私は行列の知識がまだまだ浅いので、一旦2次曲線から離れ、別のアプローチで線形代数の理解を深めていきたいと思います(>_<)