高校で学習する内容ですと、二次関数、微分積分、ベクトル、確率・統計が必要だと思います。高校の内容を超えて、行列(ぐぐると定理や公式が出てきますが、体系的に理解したいならば「線形代数学」というようなタイトルの本を買われるといいと思います)や大学レベルの確率・統計(連続型確率変数の密度関数・分布関数と離散型確率変数のmass functionあたり)を学習すると、より数学的に理解できると思います。
私は経済学部で習うような、統計学・計量経済学の文脈で線形回帰を習いましたので、もし異なった文脈で使いたいのであれば、ほかの方のアドバイスの方が参考になるかもしれません。