Так связь и не разрывается. Ты предсказываешь ряд целиком, потом из него берутся значения и рандомно бьются на паблик/прайват. Это влияет только на отображение результатов
Вопрос: скажите, что будет более показательным/правильным считать rmse на каждом результате кросс-валидации и потом смотреть среднее, медиану, std или найти целевые значения на всех фолдах и посчитать одну rmse по всем значениям?