$a=-1$。

取 $Q=\left(\begin{array}{ccc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{3}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{3}}\\ 0& \frac{2}{\sqrt{6}}& \frac{1}{\sqrt{3}}\end{array}\right)$，在 $x=Qy$ 下有 $f=2y_1^2+6y_2^2$。

二次型的矩阵是 $B=A^{T}A$，所以 $r(B)=2$。对实矩阵有 $r(A^{T}A)=r(A)$：$Ax=0$ 显然推出 $A^{T}Ax=0$；反之，$A^{T}Ax=0$ 推出 $x^T{A}^{T}Ax=\Vert Ax{\Vert }^2=0$，故 $Ax=0$。两齐次方程同解，因此秩相同。
所以题设等价于 $r(A)=2$。对 $A$ 作第三行加第一行、第四行减第二行的 $a$ 倍，再作第四行加新的第三行，得到

前两行线性无关，故秩恰为 $2$ 当且仅当 $a+1=0$，即 $a=-1$。

代入 $a=-1$，$A$ 的三列为 $c_1=(1,0,-1,0{)}^T,c_2=(0,1,0,-1{)}^T,c_3=c_1+c_2$。其模长平方为 $2,2,4$，且 $c_1^T{c}_2=0,c_1^T{c}_3=c_2^T{c}_3=2$，所以

计算特征多项式，得

特征值为 $2,6,0$。对 $2$，方程 $(B-2E)x=0$ 给出 $x_3=0,x_1+x_2=0$，取 ${\xi }_1=(1,-1,0{)}^T$。对 $6$，方程给出 $x_3=2x_1=2x_2$，取 ${\xi }_2=(1,1,2{)}^T$。对 $0$，方程给出 $x_1=x_2=-x_3$，取 ${\xi }_3=(-1,-1,1{)}^T$。
三个向量两两正交，模长分别为 $\sqrt{2},\sqrt{6},\sqrt{3}$，故取正交矩阵 $Q=(\frac{{\xi }_1}{\sqrt{2}},\frac{{\xi }_2}{\sqrt{6}},\frac{{\xi }_3}{\sqrt{3}})$，有 $Q^{T}BQ=\mathrm{diag}(2,6,0)$。在 $x=Qy$ 下，$f=y^T{Q}^{T}BQy=2y_1^2+6y_2^2$。