$A$ 的前两列构成的二阶子式为 $-1$，故对任意 $a$ 都有 $r(A)=2$，$Ax=0$ 的解空间为一维。由 $x_2+a{x}_3=0,x_1+x_3=0$，取基础解系 $\xi =(-1,-a,1{)}^T$。
题设说 $Ax=0$ 的解空间真包含于 $B^{T}x=0$ 的解空间，因此后者维数大于 $1$，即 $r(B^T)<2$。而

秩至少为 $1$，其秩等于 $1$ 当且仅当两行相同，故 $b=2$。此时 $B^{T}x=0$ 等价于 $x_1+x_2+2x_3=0$。将 $\xi$ 代入，得 $-1-a+2=0$，所以 $a=1$。
反之，$a=1,b=2$ 时，$Ax=0$ 的解均为 $k(-1,-1,1{)}^T$，都满足 $B^{T}x=0$；后者解空间为二维，故两方程组不同解。条件全部满足。

代入 $a=1,b=2$，得

$BA$ 已为对称矩阵，故它就是 $f$ 的矩阵，记为 $M$。令 $\alpha =(1,1,2{)}^T$，则 $M=\alpha {\alpha }^T$、$r(M)=1$，且 $M\alpha =({\alpha }^T\alpha )\alpha =6\alpha$，所以全部特征值为 $6,0,0$。
对特征值 $6$，单位特征向量为 ${\eta }_1=\frac{(1,1,2{)}^T}{\sqrt{6}}$。对 $0$，方程 $Mx=0$ 等价于 $x_1+x_2+2x_3=0$，取基础解系 ${\xi }_2=(1,-1,0{)}^T,{\xi }_3=(2,0,-1{)}^T$。由于内积为 $2$，须先正交化：

单位化得 ${\eta }_2=\frac{(1,-1,0{)}^T}{\sqrt{2}},{\eta }_3=\frac{(1,1,-1{)}^T}{\sqrt{3}}$，两者与 ${\eta }_1$ 也正交。因此 $Q=({\eta }_1,{\eta }_2,{\eta }_3)$ 正交，$Q^{T}MQ=\mathrm{diag}(6,0,0)$。令 $x=Qy$，得到 $f=6y_1^2$。