Size: a a a

2021 October 30

PA

Panchenko Andrey in Data Engineers
Бесплатно на русском
источник

С

Сергей in Data Engineers
Спасибо
источник

С

Сергей in Data Engineers
А python насколько глубоко надо знать?
источник

PA

Panchenko Andrey in Data Engineers
Ну думаю что там прямо глубоко нужно знать сходу
источник

С

Сергей in Data Engineers
На этом курсе он вроде вообще не требуется, я в общем спрашиваю
источник

PA

Panchenko Andrey in Data Engineers
Чем глубже тем лучше
источник

PA

Panchenko Andrey in Data Engineers
В ваших же интересах
источник

PA

Panchenko Andrey in Data Engineers
@SLASH_CyberPunk Влад ты как знаток аирфлоу мог бы надоумить или дать статейку где можно почитать?
источник

PA

Panchenko Andrey in Data Engineers
Переслано от Panchenko Andrey
Господа, простите за нубский вопрос. Но всё же.
Есть тачка на которой вертится аирфлоу а старой первой версии.
Дагов немного штук 40, три из них с большим количеством тасок в основном это бигквери операторы и немного нетяжелого питонячего кода. Всё это ранается на тачке с 16 гигами оперативы и локал экзекьюторе. Вопрос стоит ли всё это перевозить на селери экзекьютор?
источник

PA

Panchenko Andrey in Data Engineers
Как понять когда и какой экзекьютор юзать?
источник

T

T in Data Engineers

4) MongoDB Amazon уже переписали поверх своего storage - https://aws.amazon.com/ru/documentdb/. Теперь дело за Microsoft SQL Server? https://aws.amazon.com/blogs/aws/goodbye-microsoft-sql-server-hello-babelfish/

"Support for T-SQL includes elements such as the SQL dialect, static cursors, data types, triggers, stored procedures, and functions. Babelfish reduces the risk associated with database migration projects by significantly reducing the number of changes required to the application. When adopting Babelfish, you save on licensing costs of using SQL Server. Amazon Aurora provides the security, availability, and reliability of commercial databases at 1/10th the cost."
”(с) https://t.me/itpgchannel
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Знаю людей, кто использует локал в проде. Селери нужен больше для распределения и отказоустойчивости
источник

NN

No Name in Data Engineers
+
источник

PA

Panchenko Andrey in Data Engineers
Спасибо
источник
2021 October 31

RK

Ruslan Krivoshein in Data Engineers
BigQuery
SELECT *, some_hash(...) as hash FROM t1 JOIN t2 ON t1.key = t2.key AND t2.hash != hash

Не возвращает ничего. Если делать через CTE, WITH a AS (SELECT ...) SELECT ... WHERE hash1 != hash, то возвращает то, что нужно. Почему не работает первый вариант?
источник

ЕГ

Евгений Глотов... in Data Engineers
Самхэш позже условия джойна вычисляется в первом запросе
источник

ЕГ

Евгений Глотов... in Data Engineers
Откуда берётся колонка хэш - возможно из t2
источник

ЕГ

Евгений Глотов... in Data Engineers
И поэтому она везде равна t2.hash
источник

RK

Ruslan Krivoshein in Data Engineers
Хм, любопытно. Хэш вычисляется по t1, но выполняется это после джойна... А перед джойном не поставить его никак?
источник

ЕГ

Евгений Глотов... in Data Engineers
Сабселект или прописать прям в условие джойна выражение для вычисления
источник