Size: a a a

2020 April 06

П

Полина in Data Engineers
Mi
Iterable это не строка вот от слова совсем, это такой интерфейс в java по которому можно итерироваться через цикл for:
for (LongWritable item: items) {
 // do something with item
}
Ага. Понятно, сейчас попробую поковырять.
источник

N

Nikolay in Data Engineers
На го, например ещё etcd.
источник

M

Mi in Data Engineers
Полина
Ага. Понятно, сейчас попробую поковырять.
да и вообще насколько я вижу у вас совершенно не тот метод и не та к нему реализация, этот код не падает потому что ваш метод map когда не вызывается, у мапперов сигнатура другая это точно
источник

M

Mi in Data Engineers
в вашем случае метод должен быть таким

@Override
public void map(NullWritable key, LongWritable value, Context context) throws IOException, InterruptedException {
 // mapping code here
}
источник

A

Alex in Data Engineers
Nikolay
На го, например ещё etcd.
да, и он написан был костыльно, тот же аликлауд усиленно оптимизировал =)

https://www.alibabacloud.com/blog/performance-optimization-of-etcd-in-web-scale-data-scenario_594750

мы можем ещё поговорить как gc в go работает и чем это всё достигается, но думаю это не в данном чате
никакой магии нету, для норм работы нужно 2x памяти от воркинг сета
для 4-8гб это норм
для 64гб уже в го хипе держать уже не будешь
источник

N

Nikolay in Data Engineers
Вот.
источник

N

Nikolay in Data Engineers
источник

N

Nikolay in Data Engineers
Там в списке почти 30 баз данных
источник

ME

Max Efremov in Data Engineers
А кто-то запускал тестирование pyspak на CI? Туда надо как-то доставить бинари спарка, чтобы тесты запустилсь?
источник

A

Alex in Data Engineers
Nikolay
Там в списке почти 30 баз данных
треть просто обёртка над чем-то
треть по 100 комитов в репе и меньше, я не считаю такие системы достаточно зрелыми
треть вообще мертва

живых проектов там
инфлюксбд, кто пользовался им то могут подтвердить как и многие другие продукты на го это “делайте всё внутри нас”
tidb и таракан
источник

N

Nikolay in Data Engineers
Ну etcd и таракан с tidb . Это троица знаковая.
источник

N

Nikolay in Data Engineers
На rust к примеру такого ещё нет.
источник

A

Alex in Data Engineers
на расте есть datafusion к arrow и Arrow Flight, да и вообще сами разрабы arrow активно с растом балууют

было пару ml фреймвоков как замена плюсов на более безопасный язык

у раста и го разная ниша
источник

N

Nikolay in Data Engineers
Ниша разная , но на каждом из них напишут базы данных.
источник

AE

Alexey Evdokimov in Data Engineers
раст де факто следующие плюсы. микрософт к нему присматривается для применения в такой именно роли
источник

AE

Alexey Evdokimov in Data Engineers
ихние ресёрчеры даже куски ядра на него переписывали, был вайтпейпер на эту тему недавно
источник

AE

Alexey Evdokimov in Data Engineers
взлетит или нет другой вопрос
источник

DM

Daniel Matveev in Data Engineers
Nikolay
Ну etcd и таракан с tidb . Это троица знаковая.
да, про тибд тоже можно вспомнить в режиме тролля - tikv на расте
источник

DM

Daniel Matveev in Data Engineers
Alexey Evdokimov
раст де факто следующие плюсы. микрософт к нему присматривается для применения в такой именно роли
спасиб за инсайд
источник

AE

Alexey Evdokimov in Data Engineers
может даже объявят на следующем билде, а пока отвечают только если в твиттере напрямую спрашивать %)
источник