Обозначим a - меньший из катетов треугольника, b - больший из них, c - гипотенуза. Тогда, периметр P = a + b + c = 23 = a + b + 11, откуда a + b = 12.
С другой стороны, по теореме Пифагора, a2 + b2 = c2 = 112 = 121.
Выразим, из первого уравнения a = 12 - b. Подставим во второе, получаем: (12 - b)2 + b2 = 121.
Используя формулы сокращённого умножения раскроем скобки, получаем: 144 - 24b + b2 + b2 = 121 - это квадратное уравнение.
Приведём его в каноническую форму: 2b2 - 24b + 23 = 0. Решим его через дискриминант (D = 392 - не берётся нацело).
Теперь можно подсчитать (сократив) b1 = 6 +

24,5

(и соответствующее ему a1 = 6 -

24,5

),
и b2 = 6 -

24,5

(и соответствующее ему a2 = 6 +

24,5

).
Можно увидеть, что не смотря на различие b1 и b2, пара корней получается одинаковая.
В задаче спрашивается меньший из катетов, тогда ответ: a = 6 -

24,5

.