Телеграмм чат группы hadoopusers страница 2221

Size: a a a

Data Engineers

2020 April 06

Iterable это не строка вот от слова совсем, это такой интерфейс в java по которому можно итерироваться через цикл for:

for (LongWritable item: items) {
  // do something with item
}

Ага. Понятно, сейчас попробую поковырять.

источник

13:42пожаловаться #1

Nikolay in Data Engineers

На го, например ещё etcd.

Ага. Понятно, сейчас попробую поковырять.

да и вообще насколько я вижу у вас совершенно не тот метод и не та к нему реализация, этот код не падает потому что ваш метод map когда не вызывается, у мапперов сигнатура другая это точно

источник

13:43пожаловаться #3

Mi in Data Engineers

в вашем случае метод должен быть таким

@Override
public void map(NullWritable key, LongWritable value, Context context) throws IOException, InterruptedException {
  // mapping code here
}

источник

13:45пожаловаться #4

Alex in Data Engineers

Nikolay

На го, например ещё etcd.

да, и он написан был костыльно, тот же аликлауд усиленно оптимизировал =)

https://www.alibabacloud.com/blog/performance-optimization-of-etcd-in-web-scale-data-scenario_594750

мы можем ещё поговорить как gc в go работает и чем это всё достигается, но думаю это не в данном чате
никакой магии нету, для норм работы нужно 2x памяти от воркинг сета
для 4-8гб это норм
для 64гб уже в го хипе держать уже не будешь

Alibaba Cloud Community

Performance Optimization of etcd in Web Scale Data Scenario

This article introduces the internal storage mechanism of etcd and discusses the effects and benefits of etcd performance optimization.

источник

13:49пожаловаться #5

Nikolay in Data Engineers

Вот.

источник

13:53пожаловаться #6

Nikolay in Data Engineers

https://github.com/gostor/awesome-go-storage

GitHub

gostor/awesome-go-storage

A curated list of awesome Go storage projects and libraries - gostor/awesome-go-storage

источник

13:53пожаловаться #7

Nikolay in Data Engineers

Там в списке почти 30 баз данных

источник

13:54пожаловаться #8

Max Efremov in Data Engineers

А кто-то запускал тестирование pyspak на CI? Туда надо как-то доставить бинари спарка, чтобы тесты запустилсь?

источник

13:54пожаловаться #9

Alex in Data Engineers

Nikolay

Там в списке почти 30 баз данных

треть просто обёртка над чем-то
треть по 100 комитов в репе и меньше, я не считаю такие системы достаточно зрелыми
треть вообще мертва

живых проектов там
инфлюксбд, кто пользовался им то могут подтвердить как и многие другие продукты на го это “делайте всё внутри нас”
tidb и таракан

источник

14:02пожаловаться #10

Nikolay in Data Engineers

Ну etcd и таракан с tidb . Это троица знаковая.

источник

14:05пожаловаться #11

Nikolay in Data Engineers

На rust к примеру такого ещё нет.

источник

14:08пожаловаться #12

Alex in Data Engineers

на расте есть datafusion к arrow и Arrow Flight, да и вообще сами разрабы arrow активно с растом балууют

было пару ml фреймвоков как замена плюсов на более безопасный язык

у раста и го разная ниша

источник

14:15пожаловаться #13

Nikolay in Data Engineers

Ниша разная , но на каждом из них напишут базы данных.

источник

14:18пожаловаться #14

Alexey Evdokimov in Data Engineers

раст де факто следующие плюсы. микрософт к нему присматривается для применения в такой именно роли

источник

14:21пожаловаться #15

Alexey Evdokimov in Data Engineers

ихние ресёрчеры даже куски ядра на него переписывали, был вайтпейпер на эту тему недавно