ага, доделаю что давно нужно доделать и буду заниматься любовью с тригонометрией
Тригонометрия почти всегда плохая идея для быстрой и стабильной графики. Конкретно тут скорее всего с той же скоростью можно решить задачу пересечения прямых 4 раза и выбрать один который попадает на сторону. Не знаю что в жаваскрипте с матрицами, но вообще можно систему из 8ми упаковать в одну матрицу, решить и выбрать одно на стороне.