$a=1,b=2$

$X=QY,Q=\left(\begin{array}{ccc}\frac{2}{\sqrt{5}}& 0& \frac{1}{\sqrt{5}}\\ 0& 1& 0\\ \frac{1}{\sqrt{5}}& 0& -\frac{2}{\sqrt{5}}\end{array}\right),Q^{T}AQ=\mathrm{diag}(2,2,-3)$，标准形为 $2y_1^2+2y_2^2-3y_3^2$

二次型矩阵为

。特征值之和等于迹，故$a+2-2=a=1$。

特征值之积等于行列式，$\det A=2\det \left(\begin{array}{cc}a& b\\ b& -2\end{array}\right)=-4a-2b^2=-12$。代入$a=1$得$b^2=4$，结合$b>0$得$b=2$。

代入第一问求得的$a=1,b=2$后，

。其特征值为$2,2,-3$。对应的单位正交特征向量可取$q_1=\frac{(2,0,1{)}^T}{\sqrt{5}}$、$q_2=(0,1,0{)}^T$、$q_3=\frac{(1,0,-2{)}^T}{\sqrt{5}}$。

以这些向量为列组成正交矩阵

，则$Q^{T}AQ=\mathrm{diag}(2,2,-3)$。

作正交变换$X=QY$，即$x_1=\frac{(2y_1+y_3)}{\sqrt{5}}$、$x_2=y_2$、$x_3=\frac{(y_1-2y_3)}{\sqrt{5}}$，二次型化为$2y_1^2+2y_2^2-3y_3^2$。