$a=0$

$Q=\left(\begin{array}{ccc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}& 0\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0\\ 0& 0& 1\end{array}\right),f=2y_1^2+2y_3^2$

$(x_1,x_2,x_3)=(t,-t,0),t\in \mathbb{R}$

二次型的对称矩阵为

，其特征值为 $2,-2a,2$。

秩为 $2$ 当且仅当有一个特征值为零，因此 $-2a=0$，得 $a=0$。

由第一问知 $a=0$。此时，取单位正交特征向量 $q_1=\frac{(1,1,0{)}^T}{\sqrt{2}}$、$q_2=\frac{(1,-1,0{)}^T}{\sqrt{2}}$、$q_3=(0,0,1{)}^T$，令 $Q=(q_1,q_2,q_3)$。

于是 $x=Qy$，即 $x_1=\frac{(y_1+y_2)}{\sqrt{2}}$、$x_2=\frac{(y_1-y_2)}{\sqrt{2}}$、$x_3=y_3$，并且 $f=2y_1^2+2y_3^2$。

由第一问知 $a=0$，此时 $f=(x_1+x_2{)}^2+2x_3^2$。在实数范围内两项均非负，且和为零当且仅当 $x_1+x_2=0$、$x_3=0$。

故通解为 $(x_1,x_2,x_3)=(t,-t,0)$，其中 $t\in \mathbb{R}$。