NN
Полно контор сча консалтеров, правда большинство что я видел под питон
Ну те же люксофт в скалу умеют, но я не то чтоб рекомендую.
Size: a a a
2020 November 12
2020 November 13
S
А подскажите, кто какие использует сервисы для serverless inference ML моделек?
AZ
зависит от размера/сложности от лямбд до нормального кубфлоу (на фаргейте, относительно но все-таки серверлесс)
AT
есть еще managed inference в sagemaker -не серверлесс правда ))
ИК
Коллеги, подскажите как в spark 2.2+ избавиться от варнинга
The configuration key 'spark.yarn.access.namenodes' has been deprecated as of Spark 2.2 and may be removed in the future...
Все логи зафлудил
The configuration key 'spark.yarn.access.namenodes' has been deprecated as of Spark 2.2 and may be removed in the future...
Все логи зафлудил
NN
Коллеги, подскажите как в spark 2.2+ избавиться от варнинга
The configuration key 'spark.yarn.access.namenodes' has been deprecated as of Spark 2.2 and may be removed in the future...
Все логи зафлудил
The configuration key 'spark.yarn.access.namenodes' has been deprecated as of Spark 2.2 and may be removed in the future...
Все логи зафлудил
Заменить на spark.yarn.access.hadoopFileSystems
ИК
Заменить на spark.yarn.access.hadoopFileSystems
Но я не указываю ни один из этих ключей в явном виде, где же можно заменить?
С
@pomadchin bot must die?
GP
A
Всем привет. Есть два датасета, например:
A B Cя делаю по ним full outer join спарком по колонке "A":
A1 B1 C1
A2 B2 C2
A3 B3 C3
A D
A1 D1
A4 D4
first.join(second, Seq("A"), "full_outer")
Результат, очевидно, получаю вот такой:+---+----+----+----+Теперь вопрос - как спарком поизящнее сделать такой же джойн, но для каждого конкретного значения в колонке A? Или без select distinct и затем fold не получится? Пример результата:
| A| B| C| D|
+---+----+----+----+
| A1| B1| C1| D1|
| A2| B2| C2|null|
| A3| B3| C3|null|
| A4|null|null| D4|
+---+----+----+----+
+---+----+----+----+
| A| B| C| D|
+---+----+----+----+
| A1| B1| C1| D1|
| A4|null|null| D4| <- full outer join A1 values with second dataset
| A1|null|null| D1|
| A2| B2| C2|null|
| A4|null|null| D4| <- full outer join A2 values with second dataset
| A1|null|null| D1|
| A3| B3| C3|null| <- full outer join A3 values with second dataset
| A4|null|null| D4|
+---+----+----+----+
K
самый красиво оформленный вопрос, который я видел в этом чате
NN
самый красиво оформленный вопрос, который я видел в этом чате
Будет награда в этой номинации?
ИК
Всем привет. Есть два датасета, например:
A B Cя делаю по ним full outer join спарком по колонке "A":
A1 B1 C1
A2 B2 C2
A3 B3 C3
A D
A1 D1
A4 D4
first.join(second, Seq("A"), "full_outer")
Результат, очевидно, получаю вот такой:+---+----+----+----+Теперь вопрос - как спарком поизящнее сделать такой же джойн, но для каждого конкретного значения в колонке A? Или без select distinct и затем fold не получится? Пример результата:
| A| B| C| D|
+---+----+----+----+
| A1| B1| C1| D1|
| A2| B2| C2|null|
| A3| B3| C3|null|
| A4|null|null| D4|
+---+----+----+----+
+---+----+----+----+
| A| B| C| D|
+---+----+----+----+
| A1| B1| C1| D1|
| A4|null|null| D4| <- full outer join A1 values with second dataset
| A1|null|null| D1|
| A2| B2| C2|null|
| A4|null|null| D4| <- full outer join A2 values with second dataset
| A1|null|null| D1|
| A3| B3| C3|null| <- full outer join A3 values with second dataset
| A4|null|null| D4|
+---+----+----+----+
На первый взгляд это .crossJoin и coalesce на полях ключа соединения
S
зависит от размера/сложности от лямбд до нормального кубфлоу (на фаргейте, относительно но все-таки серверлесс)
Нужно бы на GPU шел инференм ) мы в GCP пробуем приспособить CloudRun, но пока лыжи едут плохо
AZ
самый красиво оформленный вопрос, который я видел в этом чате
еще нужно именовать таблицы и строки в них
AZ
Всем привет. Есть два датасета, например:
A B Cя делаю по ним full outer join спарком по колонке "A":
A1 B1 C1
A2 B2 C2
A3 B3 C3
A D
A1 D1
A4 D4
first.join(second, Seq("A"), "full_outer")
Результат, очевидно, получаю вот такой:+---+----+----+----+Теперь вопрос - как спарком поизящнее сделать такой же джойн, но для каждого конкретного значения в колонке A? Или без select distinct и затем fold не получится? Пример результата:
| A| B| C| D|
+---+----+----+----+
| A1| B1| C1| D1|
| A2| B2| C2|null|
| A3| B3| C3|null|
| A4|null|null| D4|
+---+----+----+----+
+---+----+----+----+
| A| B| C| D|
+---+----+----+----+
| A1| B1| C1| D1|
| A4|null|null| D4| <- full outer join A1 values with second dataset
| A1|null|null| D1|
| A2| B2| C2|null|
| A4|null|null| D4| <- full outer join A2 values with second dataset
| A1|null|null| D1|
| A3| B3| C3|null| <- full outer join A3 values with second dataset
| A4|null|null| D4|
+---+----+----+----+
а вот эта строка по какой логике получается, и почему их две?
| A1|null|null| D1|
| A1|null|null| D1|
A
а вот эта строка по какой логике получается, и почему их две?
| A1|null|null| D1|
| A1|null|null| D1|
их две, потому что мы делаем full_outer по A2(из левого датасета), а затем A3 (из левого датасета). В этих двух случаях первая строка из левого датасета ни с чем не сджойнилась.
ИК
а вот эта строка по какой логике получается, и почему их две?
| A1|null|null| D1|
| A1|null|null| D1|
Во-первых, их три, во-вторых это строка из второго датасета, которая нашла себе пару только в одном случае
A
Во-первых, их три, во-вторых это строка из второго датасета, которая нашла себе пару только в одном случае
+
AZ
Нужно бы на GPU шел инференм ) мы в GCP пробуем приспособить CloudRun, но пока лыжи едут плохо
first party serverless GPU насколько мне известно нет, но в известном смысле serverless это просто финансовая модель, думаю CloudRun ваш лучший выбор сейчас