回帰式をY^=a^+b^x (^は推定値のハット)とします。
ここで、残差u^はY-Y^で出てくると思いますが、これについて質問です。
仮にxが5xと5倍になる場合、残差は変化するのでしょうか。
直感的には、Y^も5倍となり(a^がゼロのとき)、Yからのかい離である新しい残差u'^も
u^の5倍になる気がするのですが、実験すると残差は同じになります。
これを、計算式で説明しているサイトがあれば教えてください。
もちろん、べた書きでの説明でも問題ありません。
どうぞよろしくお願いいたします。
コメント(5件)
X 及び Y が共に元の値の 5 倍になる場合
貴方の直感通り残差 u'^ は u^ の 5 倍になるはずですよ。
またその場合、b^ は変わりませんが、a^ は 5 倍になります。
「実験すると残差は同じになります」とはどういうことなのか
具体的な例があった方がお答え差し上げ易いのですが…。
言葉足らずですみません。
実験は、STATAという統計ソフトを使って、回帰直線を算出したデータセットの中の、
B^が係っている文字をxと5xに変えたところ残差の変化がありませんでした。
実験の方法が間違っていたのかもしれないので、
もう一度実験してみたいと思います。
最終目的は、x=5xになったとき、B1の標準誤差は同じか異なるか、です。
ただ、標準誤差の式はxと残差とサンプルサイズで規定されるので、
残差が同じとなるか分析した買った、という趣旨です。
回帰したい点が5点あるとして、それらの座標を
(1,1),(2,3),(3,2),(4,5),(5,4)とします。
これらに対する回帰直線は最小二乗法によってy=0.8x+0.6となり
各点に対する残差はそれぞれ-0.4,0.8,-1,1.2,-0.6になります。
この点に対し、Xだけを5倍すると、各点の座標は
(5,1),(10,3),(15,2),(20,5),(25,4)となり、
この時の回帰直線はy=0.16x+0.6となります。
つまり傾きが5分の1になっています。
この時の各点に対する残差はX座標を5倍する前と変わりません。何故なら、
各点の座標をx軸方向に5倍引き延ばすと、回帰直線も同様にx軸方向に引き延ばされ
各点から回帰直線までの残差は全く変わらないからです(y軸方向には伸縮されていない)。
因みに、コメントの最終段落で「標準誤差」という表現を用いられていらっしゃいますが
通常「標準誤差」と言った場合には、回帰分析とは無関係に
「標準偏差」をサンプル数(or サンプル数-1)の平方根で割ったものを
指すのではないでしょうか?勘違いかも知れませんけど…。
無事に解決できそうです~。ありがとうございます。
なお、ここでの標準誤差とは、b^に対するtテストを行う際の標準誤差です。
おっしゃってくださっているのはサンプルを取った時に
母集団の平均とサンプルの平均が一致しているかを検定するt検定の際に使用する
標準誤差のことかと存じます。
それと同様に、回帰直線もサンプルから算出されたものなので、
傾きについても母集団と一致するか検定を行う必要があります。
そして、その標準誤差の求め方は、
1/N×((1/(n-2))*xの分散*残差平方和)/Xの分散の2乗
で求められるようなので、(面倒ですね。。。)
いずれにせよ、問題が解決しました!ありがとうございました。