в голову только пришла идея найти выпуклую оболочку, фиксировать сторону выпоклого многольника сказав что это будет сторона прямоугольника, пошаманив найдем две точки на это прямой и проведем перпендикулярные лучи от этих точек так чтобы они не пересекали выпуклый многоугольник