原式三个括号并不独立，不能直接按两个正号、一个负号计数。展开并因式分解，得

令 $u=x_1+x_2,v=x_2+x_3$，则 $f=2uv=\frac{[(u+v{)}^2-(u-v{)}^2]}{2}$。再取 $y_1=\frac{(u+v)}{\sqrt{2}},y_2=\frac{(u-v)}{\sqrt{2}},y_3=x_3$，即

从 $x$ 到 $(u,v,x_3)$ 的变换行列式为 $1$，从 $(u,v,x_3)$ 到 $y$ 的行列式为 $-1$，故复合变换可逆。此时 $f=y_1^2-y_2^2$，正、负惯性指数分别为 $1,1$，选 B。

展开后对应矩阵为 $A=\left(\begin{array}{ccc}0& 1& 1\\ 1& 2& 1\\ 1& 1& 0\end{array}\right)$。第二行等于第一、三行之和，且左上二阶子式为 $-1\ne 0$，所以 $r(A)=2$，恰有一个零特征值。
另外两个特征值之和为 $\mathrm{tr}A=2$，乘积为三个二阶主子式之和 $-1-1-1=-3$，故是 $t^2-2t-3=0$ 的根 $3,-1$。全部特征值为 $3,-1,0$，正、负惯性指数均为 $1$，选 B。