相似矩阵具有相同的迹与行列式。计算得 $\mathrm{tr}A=a+3$、$\mathrm{tr}B=b+2$；沿第一行展开 $|A|$，有

而 $|B|=b$。因此 $a+3=b+2,2a-3=b$，解得 $a=4,b=5$。
这两个不变量相等只是相似的必要条件，尚需确认所得参数确实可行。当 $b=5$ 时，$B$ 的特征多项式为 $(\lambda -1{)}^2(\lambda -5)$，且 $B-E$ 只有第二列非零，秩为 $1$，故 $B$ 可对角化为 $\mathrm{diag}(1,1,5)$。下一问构造表明此时 $A$ 也相似于同一对角阵，因此参数符合题意。

取 $a=4$。对特征值 $1$，有

方程 $(A-E)x=0$ 仅有一个独立约束 $x_1=2x_2-3x_3$。分别令 $(x_2,x_3)=(1,0),(0,1)$，取两个线性无关的特征向量 ${\xi }_1=(2,1,0{)}^T,{\xi }_2=(-3,0,1{)}^T$。
对特征值 $5$，方程 $(A-5E)x=0$ 的系数矩阵化简为

因此 $x_2=-x_3,x_1=-x_3$，取 ${\xi }_3=(1,1,-1{)}^T$。令

$|P|=-4\ne 0$，且 $A{\xi }_1={\xi }_1,A{\xi }_2={\xi }_2,A{\xi }_3=5{\xi }_3$，所以 $AP=P\mathrm{diag}(1,1,5)$，从而 $P^{-1}AP=\mathrm{diag}(1,1,5)$。$P$ 不唯一，但其列的排列须与对角元次序对应。