Size: a a a

2021 October 13

ЕГ

Евгений Глотов... in Data Engineers
Да
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну, строки хорошо жмутся, нулы всякие и т д
источник

A

Alex in Data Engineers
так они регулярно такие баги находят

как тогда говорить о "хорошей совместимости" ?
источник

AZ

Anton Zadorozhniy in Data Engineers
Видимо бейзлайн такой что это хорошая совместимость

Помню мне в этом чатике говорили что код на спарке не требует поддержки)
источник

A

Alex in Data Engineers
просто вот ровно в данный момент я пытаюсь запустить спарк 3.2.0

они для него долго и упорно пытались переехать со скалы 2.12.10 на более свежую минорную версию
насоздавали вагон багов в скала компиляторе, потому что выдавал неправильный код
в 3.2.0 наконец переехали на 2.12.15

пытаемся запустить через ливи
получаю на старте

21/10/13 16:35:51 INFO driver.RSCDriver: SparkContext not yet up, queueing job request.
Exception in thread "pool-3-thread-1" java.lang.NoSuchMethodError: scala.tools.nsc.Settings.usejavacp()Lscala/tools/nsc/settings/AbsSettings$AbsSetting;
at org.apache.livy.repl.SparkInterpreter.start(SparkInterpreter.scala:52)
at org.apache.livy.repl.Session.$anonfun$start$1(Session.scala:128)
at scala.concurrent.Future$.$anonfun$apply$1(Future.scala:659)

правильно, ливи то у меня собрана с 2.12.10

и теперь вопрос:
1. пересобрать ливи на новую версию, но тогда вопрос что со всеми старыми спарками 3.0/3.1 будет
2. откатить уже самому спарку все версии обратно до 2.12.10

но в чате рассказывают про хорошую совместимость скалы
источник

K

KrivdaTheTriewe in Data Engineers
там частота багов такая же как и везде
источник

K

KrivdaTheTriewe in Data Engineers
как бы не первый год живем
источник

K

KrivdaTheTriewe in Data Engineers
они же не в 2.13.200 нашли эту штуку, а ток после релиза сразу
источник

A

Alex in Data Engineers
не нашли, а поломали
источник

K

KrivdaTheTriewe in Data Engineers
ну вот джаву тоже ломают
источник

K

KrivdaTheTriewe in Data Engineers
мы же говорим о нормальных кейсах, а не как с питоном условным
источник

A

Alex in Data Engineers
@krivdathetriewe вот я выше описал кейс
он нормальный или нет и что мне делать в данном случае
источник

РБ

Руслан Бикмаев... in Data Engineers
Существует убеждение,  что в MPP базах использование виртуалки на одном физическом сервере, вместо кластера из физических серверов, критически влияет на безопасность.
С чем это связано ?
источник

K

KrivdaTheTriewe in Data Engineers
искать багу
источник

K

KrivdaTheTriewe in Data Engineers
что еще
источник

A

Alex in Data Engineers
какую?

почему    
settings.usejavacp.value = true

между минорными версиями скалы поломалось?
источник

A

Alex in Data Engineers
и данная строчка собранная на 2.12.10 не запускается на скала 2.12.15 ?
источник

AZ

Anton Zadorozhniy in Data Engineers
Со времён спектра и других сайд ченел атак безопасники в самых безопасных местах не любят иметь соседей, но каких-то специальных страхов про МРР не слышал (я работаю в вендоре МРР СУБД)
источник

K

KrivdaTheTriewe in Data Engineers
ну во первых вы говорите о ливи, который репл на максималках и лезет глубоко в интерналс,это первое, второе я не знаю почему поменялось и могло ли оно по соглашению поменяться и почему авторы библиотеки вот так вот расчитывают на это интернал апи, есть ли бага в ливи на такое?
источник

K

KrivdaTheTriewe in Data Engineers
ну вот обычный пример из корпоративной джавы
источник