У меня родитель координатор layout в нем констрейнт, и в констрейнте лежит скроллвью
Скролл вью на фазе измерения размеров вьюшек передает своим потомкам высоту как Unspecified. Из за чего они считают что можно по высоте отрисовываться хоть до бесконечности. Потому тот же ресайклер рендерит сразу все, хотя по задумке как раз должен рендерить только то что в данный момент на экране находится.
Хотя если таки дергается при скролле - то вроде ок должно быть. Значит нужно смотреть на холдеры, но там уж без кода вряд ли чего можно сказать. Просто ресайклер в скроллвью довольно типичная ошибка. Лучше сразу посоветовать вопрошающему проверить.