ПФ
Ну револют и тиньков разрабатывают на котлине заметной частью
Size: a a a
2021 July 08
ПФ
приходи в личку, спрашивай, что-то я могу сказать
ПФ
Тут говорят что Спарк намного быстрее на граале
ПФ
Переслано от Oleg Shelajev
смотрите кто-угодно может прославиться на весь мир просто используя граальвм -- вот тут про какую-то социальную сеть статья https://medium.com/graalvm/graalvm-at-facebook-af09338ac519
e
Ну т.е. это Oracle ?)
ПФ
Можно и себе купить, но у оракла конечно
2021 July 09
NN
Я правильно понимаю, что это опенсорс, и его достаточно просто накатить и потестить?
Просто в JVM я откровенно слаб.
Просто в JVM я откровенно слаб.
AG
Доброй ночи, а сообщества нет никакого readme/faq с полезными ссылки или что-то в этом духе?
ПФ
Ага. Просто создаёшь новый проект на котлине, добавляет зависимости (на API и на Spark), а дальше всё как обычно
e
Ну там Oracle большими буквами написан.
NN
И что, что он там написан? Есть коммьюнити версия, например, и есть энтерпрайз.
e
Ну в табличке , бесплатная даёт прирост 10%
e
* хотя и это тоже супер интересно для больших кластеров
ПФ
Но платную тоже вероятно имеет смысл брать если это выгоднее железа получается
e
Кстати а нет ли идеи продавать CO2 квоты для ИТ? Например оптимизнул расчет , съэклномил машиночасы - вот тебе денежка от тех кто считает все на условном "excel"
ПФ
Шипилёв некоторое время назад прицепил себе на гитхаб шильдик о том, сколько примерно энергии расходуют его билды на gh actions :)
TC
Привет всем. Получилось запустить ливи в докере. Причина была такая: у меня спарк работает под 2.12 скала. Последний бинарник ливи работает со скалой 2.11. В общем, пришлось с нуля делать докерфайл: выкачивается ливи из гитхаба, компилится. Получилось, в общем. Теперь другой вопрос: кто-то пробовал сабмитить джобы с библиотеками delta.io через livy?
DS
Привет, а что можно прочитать о хадупе за 2-3 дня что бы разобраться почему таски стали делаться медленно?
Если есть какой-то гид по профилировщику джоб или по утилитам облегчающим взаимодействие с хадупом, то вообще хорошо.
На работе дали задачку выяснить почему джоба стала медленно выполняться, а я нифига не знаю
Если есть какой-то гид по профилировщику джоб или по утилитам облегчающим взаимодействие с хадупом, то вообще хорошо.
На работе дали задачку выяснить почему джоба стала медленно выполняться, а я нифига не знаю
DS
Короче нужна хорошая книжка по хадуп которую можно было бы быстро прочитать и стать хоть немного компетентным.
У меня например сейчас есть теория, что джобы стали медленнее из-за того что данных стало больше и нужно выделить памяти, но я эту теорию никак проверить не могу
У меня например сейчас есть теория, что джобы стали медленнее из-за того что данных стало больше и нужно выделить памяти, но я эту теорию никак проверить не могу