GP
ну там отличия изза того что у меня хайв удфы зареганые посредством скула
спарк их подругому вычисляет) через лифт удфов в свои экспры
спарк их подругому вычисляет) через лифт удфов в свои экспры
Size: a a a
2022 January 30
GP
не понимаю почему доступ по ждбс не связан с трифт сервером?
k
там можно лимит выставит на макс. размер результата. таким образом, никто не будет абюзить и использовать в качестве bulk export - будут в FS сохранять, как и положено
GP
D
связан. зато не связан с планом, выполнением на экзекьюторах, udf и всем прочим, что происходит до того как датасет отправляется на потребителя
GP
ну связан только тем что хайв удфы использовал; согласен оно сбоку приплетено
GP
но это просто как пруф того что у бриксов там просто трифт сервер
GP
настроенный под нужды
k
тестировал на 100 одновременных запросах. но result size был у них мелкий. намереннно, т. к. мы не собирались поддерживать огромный result size через select-ы
D
и смысл ? может десятку клиентов это поможет, но сотня вместе все равно вырубят
k
пришел к выводу, что trino лучше работает на простых запросах, а вот на развесистых у trino и спарка throuput сопоставим
k
выдать thriftserver-у памяти 15 ГБ - и 100 коннекшнов вполне держит
я не говорю, что это хорошее решение для табла какого-нибудь. а вот для spark dbt - вполне годно
я не говорю, что это хорошее решение для табла какого-нибудь. а вот для spark dbt - вполне годно
D
трифт просто прокачивает датасеты, ему ни ваши udf ни спарк не нужны, он сам по себе
GP
ладно я думаю мы (я) о разном (другом)
D
я и говорю, вы попутали какие-то куски спарка с трифт, который научили для спарка отдавать по jdbc, но это не часть спарка, а примочка сбоку
GP
я совершенно понимаю
мой посыл был, что трифт сервер для общения клиентов по ждбс живая идея и используется нормально датабриксами
мой посыл был, что трифт сервер для общения клиентов по ждбс живая идея и используется нормально датабриксами
GP
и что у вас не взлетело изза мисконфигурации
k
вы оба правы крч 😁
GP
GP
мы о разном просто