二変数関数についての微分の問題だから､rscさんの言う通り多分大学一年生の解析学の範囲｡

f(x,y)=2x²-2xy+5y²-6x+12y+2とする

f(x,y)を偏微分(xまたはyについて微分)すると､
df(x)/dx = 4x - 2y - 6 = 0
df(x)/dy = -2x +10y +12 = 0

(詳しくは忘れたけど､)この2つを連立方程式として解くと最小値が出て来るので､

2x - y -3 = 0
-2x +10y +12 = 0

∴(x,y)=(1,-1)より極小値f(1,1)=13をとる｡

参考文献:http://mathtrain.jp/quadratic