рассмотрим первую четверть. при x=y (не нулевых) значение равно 5/3, таков же и предел по этому направлению. при x=2*y (опять же, ненулевых), значение выражения равно 5*y^3/(3*y^3-1), что стремится к нулю. значит по этому направлению предел 0. таким образом, искомый предел не существует.
до кучи, есть подозрение, что (0,0) не изолированная особенность.