A
когда много точек монтирования, то понятно что всё ок
Size: a a a
2020 March 23
AB
Хм… может недочитал
AB
когда много точек монтирования, то понятно что всё ок
Дефолтный конфиг даже при выходе 1 точки монтирование пометит всю dn как больную и выключит из кластера
ME
кстати, может кто-нибудь знает как симулировать обрыв сети в условиях EMR?
Ну на хосты есть рутовый доступ, можно зайти и через tc / iptables портить сеть
SU
Всем привет! А как лучше выгружать данные из вертики в сцилу (без кафок, для ад хок запросов)? Пока нашел copy для загрузки из вертики и cassandra-loader для выгрузки получившегося файлика, но выглядит топорно. Только чет свое через ждбс к касандре писать ?
UD
Привет, кто какой стор используется для ресурсманагера?
UD
Зукиперовский работает на “больших” кластерах? (тысячи/десятки тысяч задач в день)
A
вроде там там начинаются проблемы что он вычитать не может все данные
так как ожидает вытянуть одним запросом и нарывается на лимиты
поэтому у нас помнится сконфигурировано ограничение сколько в прошлое джобов хранить
так как ожидает вытянуть одним запросом и нарывается на лимиты
поэтому у нас помнится сконфигурировано ограничение сколько в прошлое джобов хранить
UD
Наступил на эти грабли, пробил лицо столом
UD
С одной стороны не работает ( зарезали количество выполненных задач), с другой пользователям возможно важно посмотреть что там было с задачей неделю назад
UD
( Без лазанья по /yarn/logs... )
A
а хистори сервер с этим не справляется?
UD
Там грабли с зависимостями
UD
И он вроде не эйчеется, могу ошибаться
A
ну у нас много через него уходит, для спарка так точно на спарк хистори, для обычных тоже вроде хистори настроен
50к+ в день (посмотрел между 4 утра и сейчас 8 вечера отработано 67к задач)
50к+ в день (посмотрел между 4 утра и сейчас 8 вечера отработано 67к задач)
UD
А какая версия хадупа на кластере ?
A
старая клоудерка 5.8 что-то, там вроде 2.6 хадуп крутится
UD
Спасибо, покопаю в эту сторону
D
Добрый день! Отправили к Вам из чата по Spark (хотя вопрос не про hadoop)
D
Коллеги, добрый день!
Возникает ошибка при подключении к БД из Spark: java.lang.ClassNotFoundException: org.postgresql.Driver
При этом драйвер установлен и подключен:
=>
import java.util.Properties
connectionProperties: java.util.Properties = {Driver=org.postgresql.Driver}
res5: Object = null
Возникает ошибка при подключении к БД из Spark: java.lang.ClassNotFoundException: org.postgresql.Driver
При этом драйвер установлен и подключен:
import java.util.Properties
val connectionProperties = new Properties()
connectionProperties.setProperty("Driver", "org.postgresql.Driver")=>
import java.util.Properties
connectionProperties: java.util.Properties = {Driver=org.postgresql.Driver}
res5: Object = null