$a=5,b=6$

$P=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& -2\\ 1& 1& 3\end{array}\right)$

相似矩阵的迹和行列式相同。由迹相等，$5+a=4+b$，即 $b=a+1$。

直接计算 $|A|=6a-6$，而 $|B|=4b$。代入 $b=a+1$ 得 $6a-6=4a+4$，故 $a=5,b=6$。

代入第一问求得的 $a=5,b=6$。解 $(A-2I)v=0$ 得 $z=x+y$，可取两个线性无关特征向量 $v_1=(1,0,1{)}^{\mathsf{T}}$、$v_2=(0,1,1{)}^{\mathsf{T}}$。解 $(A-6I)v=0$ 可取 $v_3=(1,-2,3{)}^{\mathsf{T}}$。

令

其行列式为 $4\ne 0$，且 $AP=P\mathrm{diag}(2,2,6)=PB$，所以 $P^{-1}AP=B$。