В этом учебнике иногда условия сформулированы довольно невнятно. Но, если предположить, что (очевидно) собств значения диагональной матрицы D равны элементам на главной диагонали (1,1,-1), и потом посчитать определитель A - lambda * I и B - lambda * I, то обнулится только один из них, и та матрица и будет подобной