Я далеко не спец, но когда у меня такое случалось, часто проблема была в одной из трёх вещей:
1. Моделька была излишне нагроможденной и следовало упрощать
2. lr был взят большой, и потому скакать начинала в пространстве, приходилось уменьшать
3. С данными ерунда полная была, иногда помогало меньше выборку брать, которая выглядела нормальной)и потихоньку увеличивать ее