令 $u=x_1+x_2,v=x_1+x_3$，则 $x_2-x_3=u-v$。所以

取 $y_1=\sqrt{\frac{7}{3}}v,y_2=\sqrt{3}(u-\frac{4v}{3}),y_3=x_3$，则 $f=y_1^2-y_2^2$。这确为可逆变换：从 $x$ 到 $(u,v,x_3)$ 的行列式为 $-1$，从 $(u,v,x_3)$ 到 $y$ 的行列式为 $-\sqrt{7}$，故总行列式为 $\sqrt{7}\ne 0$。
因此正、负惯性指数均为 $1$，规范形为 $y_1^2-y_2^2$，选 B。三个原括号满足线性关系，不能直接由原式三个平方项读惯性指数。

展开原式，矩阵为 $A=\left(\begin{array}{ccc}2& 1& 1\\ 1& -3& 4\\ 1& 4& -3\end{array}\right)$。计算得

左上二阶子式为 $-7\ne 0$，故秩为 $2$。另两个非零特征值的和为 $\mathrm{tr}A=-4$，积为三个二阶主子式之和 $-7-7-7=-21$，所以是 $t^2+4t-21=0$ 的根 $3,-7$。恰一正一负，规范形为 $y_1^2-y_2^2$，选 B。
A 要求半正定，与负特征值矛盾；C 的系数 $-4$ 不符合规范形系数只能为 $1,-1,0$ 的要求；D 则要求秩为 $3$。