Там изначальная проблема была в том, что у меня 2 макета пайплайна судя по всему были несовместимы.
Условно так:
1 сет биндился перед всеми vkCmdDraw (там были 2 биндинга, на трансформы и лампочки в соответствующие шейдеры).
Далее перед непосредственно каждым vkCmdDraw вызывался vkCmdPushConstants с макетом пайплайна (который как раз по текущей схеме работал, т.е. 2 сета в каждом свои биндинги).
Я предполагаю что этот пуш-константс "сбивал" мне 2ой биндинг..
Поэтому собственно я и решил наколеночно сваять код так, чтобы макеты были одинаковы (к сожалению, быстрее оказалось разбить начальный сет, а не склеить другие 2), ну и в итоге время я потратил, а пришёл к тому-же.