二変数関数についての微分の問題だから、rscさんの言う通り多分大学一年生の解析学の範囲。
f(x,y)=2x²-2xy+5y²-6x+12y+2とする
f(x,y)を偏微分(xまたはyについて微分)すると、
df(x)/dx = 4x - 2y - 6 = 0
df(x)/dy = -2x +10y +12 = 0
(詳しくは忘れたけど、)この2つを連立方程式として解くと最小値が出て来るので、
2x - y -3 = 0
-2x +10y +12 = 0
∴(x,y)=(1,-1)より極小値f(1,1)=13をとる。
参考文献:http://mathtrain.jp/quadratic