я бы пробовал чекать LatLng твоей точки, типа чтобы точка лежала под верхней линией, но над нижней; такой же прикол с боковыми гранями - правее левой грани и левее правой. То есть упростить до условного прямоугольника - чекай, что тут координаты твоей точки больше/меньше координат той или иной вершины прямоугольника.
Когда больше, а когда меньше? Тебе нужно понять свою систему координат, где у нее начало и в какую сторону направлены оси, глянь широто-долготу на картинках