ЕГ
Упал джоб - перезапустили
Size: a a a
2021 August 30
ЕГ
Желательно в цикле
ЕГ
Время обновления таблиц можно посмотреть по hdfs
Р
только время последней записи) не факт ,что в след раз по тому же расписанию будет обновление
Р
перезапуском job-ов злоупотреблять не могу, и спарк сам делает 1 ретрай
ЕГ
Можно попробовать поискать флажок, обнуляющий метаданные, чтоб заставить спарк каждый раз с нуля читать список файлов, а не доставать из кеша, а потом офигевать, что файлов нет
ЕГ
Но фиг знает, будет ли он работать, когда запись и чтение параллельно работают и мешают друг другу по сути
ЕГ
[запись мешает чтению]
VN
Тачки запускаются через graphQL сервер. Это кроме сериализации
VN
Таски, в смысле солиды
Р
ну вот рефреш должен это делать, но я пока не понимаю куда его прописать, чтобы он в нужный момент делал рефреш, видимо придется разбить по блокам -вычислений код, и перед блоком-вычислений делать рефреш
VV
А, и оно ему данные по graphql шлёт? Ну кажется что какой-нибудь s3 io manager и должен по идее сериализовывать файлы и слать уже только пути к ним
VN
Можно погуглить по dagster grpc (сорри, не графкл) error. В одной из последних версий даже лимиты поднимали
VV
А, понял о чем речь. Спасибо большое
2021 August 31
Н
Привет! Кто-нибудь может поделиться каким-нибудь ультимативным гайдом/книжкой по тюнингу, пониманию и разбору метрик в Web UI спарк джобов?
ЕГ
Ультимативный гайд - сидишь, разбираешь и тюнишь😆
ПБ
Тоже все джобы долго работают?)
ПФ
И такой "ну мы тут все такие, это ж спарк"
Н
ахахаха
AS
