все это ненужные велосипеды. Надо просто делать атомарные инсерты и использовать дедупликацию КХ и делать ретрай, при таймауте.

или можно писать во временную таблицу и аттачить ее парт в основную, при успешной вставке

А как быть с тем, что в один поток писать не очень по http? Мы например пишем в 10 потоков и процесс, который пишет упал например. Даже архитектурно пока сложно представить как это реализовать в php...

wut?

или можно писать во временную таблицу и аттачить ее парт в основную, при успешной вставке

Добрый вечер! подскажите плиз, для одбс движка постгреса для для словарика можно  использовать запрос? Или только таблицу?

мне кажется вы ошибаетесь, query_id нельзя передать.

вам проще сделать

select /* q_id=UUID */ .... (добавлять уникальный id в тект запроса)
потом селектом по system.processes выбирать like '%UUID%'

и если вы не в курсе то http тоже умеет возвращать прогресс
curl -vv 'http://localhost:8123/?send_progress_in_http_headers=1' --data-binary @testa3.sql
< X-ClickHouse-Progress: {"read_rows":"24 996 720","read_bytes":"204755840","total_rows":"38 308 864"}
< X-ClickHouse-Progress: {"read_rows":"22 941 868","read_bytes":"233006776","total_rows":"36 059 136"}

Так все таки подскажите куда покопать? Зукиперы в проде дохнут, ухи просят :( Пока, единственная идея и отличие, что значения ключей, которые учавствуют в партиционировании, в пачке логов выбираемых на проде "разнообразнее" чем в стейджинге. Хотя общее количество разных значений такое же. Это может так влиять?

Так вроде общее количество партов одинаковое, что в стейджинге, что в проде