Size: a a a

2021 May 21

KS

K S in Data Engineers
Я не знаю как там реализовано внутри, но скорее всего вы правы и dbsubnet, ec2subnet и ElastiCache subnet должны быть идентичны.
источник

AZ

Anton Zadorozhniy in Data Engineers
я не знаю о каких dbsubnet вы говорите, в AWS есть EC2 Subnet, для запуска RDS и ElastiCache их надо группировать в специфичные группы, я думал вы про группы спрашиваете
источник

AS

Andrey Smirnov in Data Engineers
известно когда планируют спарк на 3 scala переписать?
вообще интересный вопрос, гиганты типа твиттера вряд ли будут переезжать на 3, это же сколько работы понадобится, не добьет ли третья скала вообще всю скалу.
источник

AZ

Anton Zadorozhniy in Data Engineers
В твиттере война скалистов с гошниками, и скалисты проигрывают
источник

ME

Max Efremov in Data Engineers
Спарк на го?
источник

ME

Max Efremov in Data Engineers
Spark Go. Звучит как продолжение покемонов)
источник

ME

Mikhail Epikhin in Data Engineers
зачем? есть же dask
источник

R

Renarde in Data Engineers
будет spark на rust + arrow - check here https://github.com/apache/arrow-datafusion
источник

K

KrivdaTheTriewe in Data Engineers
я думаю он скопилится почти без изменений
источник

PK

Pavel Klemenkov in Data Engineers
Так даск на питоше
источник

K

KrivdaTheTriewe in Data Engineers
неприятное api
источник

GP

Grigory Pomadchin in Data Engineers
А это кстати прикольно, не знаю как работает ток
источник

RK

Ruslan Krivoshein in Data Engineers
А в pyspark можно как-то значение колонок датафреймов сделать типа set, чтобы потом разницу множеств найти простым вычитанием? Не могу самостоятельно найти такого способа
источник

AS

Andrey Smirnov in Data Engineers
ruby -> scala -> go?
ну если первое привело к уменьшению серверов больше чем на порядок, то второе переписывание кто оплатит, уже такого эффекта не будет
источник

АЖ

Андрей Жуков... in Data Engineers
ну станет скала легаси, что поделать
источник

AS

Andrey Smirnov in Data Engineers
let df = df.filter(col("a").lt_eq(col("b")))?
         .aggregate(vec![col("a")], vec![min(col("b"))])?
         .limit(100)?;

бррр
источник

GP

Grigory Pomadchin in Data Engineers
После 2.13
источник

GP

Grigory Pomadchin in Data Engineers
я не проверял ласт спарк со скалой 3
источник

GP

Grigory Pomadchin in Data Engineers
Но вроде скросскомпат работает
источник

GP

Grigory Pomadchin in Data Engineers
Спарк же ничего сложного не использует
источник