OI
охапка дров - хадуп готов
scala in production cook book
берём питон
заменяем : на {}
добавляем val при инициализации переменных
убираем return
радуемся, что освоили наскальный язык
Size: a a a
2020 November 17
GP
ну от форича это никак не спасёт; петонисты не умеют ж в мап / фильтр ; у них все компрехеншн
OI
так а чё от него спасаться то)) for (x <- something) {
}
}
FT
val b = key.filterNot(c => c == '.' ))
val b=key.map(t=>t.filterNot(x=> x==','||x=='.'))
b.foreach(x=>println(x))
Получилось!
АР
val b=key.map(t=>t.filterNot(x=> x==','||x=='.'))
b.foreach(x=>println(x))
Получилось!
ееее, роцк
FT
Ну спасибо за идею
После этой идеи пробовал предыдущие подходы
После этой идеи пробовал предыдущие подходы
T
val b=key.map(t=>t.filterNot(x=> x==','||x=='.'))
b.foreach(x=>println(x))
Получилось!
а зачем тут map?
T
или b это колеция коллекций
SB
пытаюсь записать несколько spark scala dataframe в jdbc, но содинения неожиданно заканчиваются
куда можно копать? сколько соединений пытается создать writer при записи в jdbc
куда можно копать? сколько соединений пытается создать writer при записи в jdbc
T
пытаюсь записать несколько spark scala dataframe в jdbc, но содинения неожиданно заканчиваются
куда можно копать? сколько соединений пытается создать writer при записи в jdbc
куда можно копать? сколько соединений пытается создать writer при записи в jdbc
если память не изменяет там на каждую партицию открывается
T
можно уменьшить количество партиций и проверить что спарк пишет бачами
T
для mysql на пример там надо гет параметр в url выставить
SB
если память не изменяет там на каждую партицию открывается
можно не надо? 🙀 ))
SB
для mysql на пример там надо гет параметр в url выставить
а есть примеры, простите если многого прошу
T
а есть примеры, простите если многого прошу
сек
T
а есть примеры, простите если многого прошу
jdbc:mysql://YOUR_IP:3306/YOUR_DB?rewriteBatchedStatements=true
SB
jdbc:mysql://YOUR_IP:3306/YOUR_DB?rewriteBatchedStatements=true
спасибо большое
T
спасибо большое
только вы докуменцию к rewriteBatchedStatements прочтите на всякий случай перед использванием, там есть парочка ограничей https://dev.mysql.com/doc/connector-j/5.1/en/connector-j-reference-configuration-properties.html