Телеграмм чат группы hadoopusers страница 2220

Я не против го, своя ниша есть

ну вот у него как раз такая ниша, около-инфраструктурные / платформенные сервисы и коннективити, всякий клей

13:26пожаловаться #1

A

да, поэтому для кубика он хорош, для еластик битов он хорош, для всяких мониторинг форвардеров и тд

писать базу данных или сложный сервис на нём я хз, лично бы не рискнул

13:27пожаловаться #2

AZ

к примеру у нашей СУБД есть два специализированных драйвера для сатанистов, по сути свои реализации датафреймов для питона и Р, так у них внутри общая часть на го, такое решение зарекомендовало себя по производительности самих пакетов, так и по скорости разработки и удобству сопровождения

13:28пожаловаться #3

N

Nikolay in Data Engineers

да, поэтому для кубика он хорош, для еластик битов он хорош, для всяких мониторинг форвардеров и тд

писать базу данных или сложный сервис на нём я хз, лично бы не рискнул

На чем на го ? Давно уже написана база и даже не одна

13:29пожаловаться #4

AZ

да, поэтому для кубика он хорош, для еластик битов он хорош, для всяких мониторинг форвардеров и тд

писать базу данных или сложный сервис на нём я хз, лично бы не рискнул

ну эти все сервисы нужны в энтерпрайзе, люди их активно пишут и используют, я поэтому удивляюсь заявлению что в энтерпрайзе го нету

13:30пожаловаться #5

A

Nikolay

На чем на го ? Давно уже написана база и даже не одна

=) я знаю, тот же таракан, но по крайней мере вначале они не декларировали что у них хорошая скорость, больше упор был на отказоустойчивость

можно ещё примеры?

13:31пожаловаться #6

A

Anton Zadorozhniy

к примеру у нашей СУБД есть два специализированных драйвера для сатанистов, по сути свои реализации датафреймов для питона и Р, так у них внутри общая часть на го, такое решение зарекомендовало себя по производительности самих пакетов, так и по скорости разработки и удобству сопровождения

интересное решение, не видел чтобы так кто-то использовал

13:31пожаловаться #7

AZ

интересное решение, не видел чтобы так кто-то использовал

инновация!)

M

а зачем вы iterable конвертируете в строку, потом эту же строку разделяете на те же элементы по запятой? (даже не уверен что это работает)

13:34пожаловаться #9

DM

Daniel Matveev in Data Engineers

=) я знаю, тот же таракан, но по крайней мере вначале они не декларировали что у них хорошая скорость, больше упор был на отказоустойчивость

можно ещё примеры?

тролл моде:
у таракана под капотом роксдб

13:35пожаловаться #10

M

Mi in Data Engineers

плюс каким образом у вас парсится лонг из строчки которая содержит запятую

13:35пожаловаться #11

A

Anton Zadorozhniy

инновация!)

обычно что-то для интеграции я видел когда го сам оборачивает сишные либы

13:35пожаловаться #12

П

Полина in Data Engineers

Mi

плюс каким образом у вас парсится лонг из строчки которая содержит запятую

я пока то же не совсем понимаю почему именно так. Ранее я вместо LongWriteble указывала Text, но возникала аналогичная ошибка - ожидается Text , а поступает LongWr. Я поменяла типы и ошибка изменилась на ту, что я присылала выше.

13:38пожаловаться #13

AZ

обычно что-то для интеграции я видел когда го сам оборачивает сишные либы

ну вот мы решили что обобщенную реализацию датафреймов на сях писать будет больно

13:39пожаловаться #14

П

Полина in Data Engineers

Mi

а зачем вы iterable конвертируете в строку, потом эту же строку разделяете на те же элементы по запятой? (даже не уверен что это работает)

А Iterable сам определяет разделитель в данных? Как токанайзер?

13:39пожаловаться #15

AZ

я сейчас лоббирую переход на раст, если новый arrow gateway хорошо полетит - попробуем

13:39пожаловаться #16

N

Nikolay in Data Engineers

=) я знаю, тот же таракан, но по крайней мере вначале они не декларировали что у них хорошая скорость, больше упор был на отказоустойчивость

можно ещё примеры?

Таракан медленный не из за го. Может не правильно понял , но причем тут го?

13:39пожаловаться #17

AZ

вообще кому интересны платформенные темы - посмотрите на раст, просто красота

13:41пожаловаться #18

M

Mi in Data Engineers

Полина

А Iterable сам определяет разделитель в данных? Как токанайзер?

Iterable это не строка вот от слова совсем, это такой интерфейс в java по которому можно итерироваться через цикл for:

for (LongWritable item: items) {
  // do something with item
}

13:41пожаловаться #19

A

Nikolay я знаю что не только из-за го, это было к тому что я не видел высокопроизводительных сервисов на нём =) но видел вагон статей где сами авторы пишут что “мы пытаемся хоть как-то уменьшить memory footprint и оптимизировать gc”

милисекундные паузы там совсем не бесплатны
векторизацию подвезли тоже не так давно, до этого всякие sse/avx отсутствовали