В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1198 membersпожаловаться на группу
2021 December 16

SI

Sergey Ivanychev in Moscow Spark
а как оно в коде устроено? навряд ли там на каждую операцию пишется sql запрос, иначе было бы куча бойлерплейта

таблицы декларативно описываются?
источник
10:48пожаловаться#1

DZ

Dmitry Zuev in Moscow Spark
аа, ты про это.
Тут каждый сам ухищрается как может.
У кого то набор операторов заготовленных, у кого то кодген какой то.
Но в целом да, сначала описывается модель, дальше под нее sql
источник
10:52пожаловаться#2

SI

Sergey Ivanychev in Moscow Spark
я правильно понимаю что задача по написанию кодгена/операторов — это уже пространство для творчества по твоему опыту и каких-то инструментов открытых нет?
источник
10:53пожаловаться#3

DZ

Dmitry Zuev in Moscow Spark
можешь на dbt посмотреть
источник
10:53пожаловаться#4

SI

Sergey Ivanychev in Moscow Spark
уже давно планирую, но пока руки не добрались, спасибо
источник
10:55пожаловаться#5

SI

Sergey Ivanychev in Moscow Spark
а по твоему опыту бизнес-логика должна быть ближе к построению детального слоя с волтом, или уже быть после при построении витрин?
источник
10:57пожаловаться#6

DZ

Dmitry Zuev in Moscow Spark
не понял вопроса
источник
11:02пожаловаться#7

DZ

Dmitry Zuev in Moscow Spark
волт или якоря это модель, твоя задача ее из сурсов заполнить.
Поверх уже строить витрины, там уже есть какая то логика
источник
11:05пожаловаться#8

ПБ

Повелитель Бури... in Moscow Spark
Якоря на спарке наверное не построить. Апдетов быстрых нет, джоины через фулскан
источник
18:31пожаловаться#9
2021 December 17

T

T in Moscow Spark
Слушайте а кто-нибудь комитит офсеты в кавку? Вы свой велосипед используйте или есть готовая либа?
источник
17:57пожаловаться#10

DZ

Dmitry Zuev in Moscow Spark
у нас свой был ((
источник
17:57пожаловаться#11

K

KrivdaTheTriewe in Moscow Spark
На аккумуляторах можно слабать ))
источник
17:58пожаловаться#12

T

T in Moscow Spark
Да слабать не проблема, просто решил чекнуть прежде чем свой велосипед изобретать
источник
17:58пожаловаться#13
2021 December 20

Р

Рамик in Moscow Spark
Всем привет !
Можно ли сделать rollback для  _temporary  который сформирован спарком при записи и остался  при некорректном  завершении?
источник
13:15пожаловаться#14

k

kvadratura in Moscow Spark
что вы имеете ввиду под "rollback"?
источник
13:30пожаловаться#15

Р

Рамик in Moscow Spark
откатить до предыдущего состояние
источник
13:31пожаловаться#16

A

Alex in Moscow Spark
Там же временные файлы, снесите
источник
13:31пожаловаться#17

A

Alex in Moscow Spark
Спарк пишет туда, потом делает им move

Если ваша джоба упала, то....
источник
13:33пожаловаться#18

SI

Sergey Ivanychev in Moscow Spark
рекомендую глянуть на delta lake на досуге
источник
13:33пожаловаться#19

ЕГ

Евгений Глотов... in Moscow Spark
_temporary - это незакоммиченные изменения, Спарк не читает их
источник
13:36пожаловаться#20