Size: a a a

2021 February 08

K

KrivdaTheTriewe in Data Engineers
каждый иквалз  проверяете?
источник

ИК

Иван Калининский... in Data Engineers
источник

ИК

Иван Калининский... in Data Engineers
Переслано от Renarde
кроме шуток, мне кажется что люди начисто перестали пользоваться возможностями pet-project.

Вот идея - реализуйте чтение стрима изменений на википедии с задержкой не более 2 минут.
Данные сложите в s3-like систему, для стриминга - spark structured streaming, стрим написать на Scala.
Далее реализуйте следующий стрим, который читает данные из s3-like хранилки,  и отправляет текст в rapid API для определения positive/negative intent. После определения интентов, запишите count-статистику в ClickHouse и настройте витринку поверх (скажем, на SuperSet) для визуалиации результатов.
источник

AE

Alexey Evdokimov in Data Engineers
честно говоря не понимаю откуда такой наезд
источник

AE

Alexey Evdokimov in Data Engineers
почему код на скале не надо ревьюить
источник

K

KrivdaTheTriewe in Data Engineers
Переслано от Alexey Evdokimov
вообще никому не нужное говно
источник

K

KrivdaTheTriewe in Data Engineers
Переслано от Alexey Evdokimov
х его з кто их и зачем будет юзать. из коллег мне пока никто внятно не пояснил на куя оно вообще
источник

K

KrivdaTheTriewe in Data Engineers
Переслано от Alexey Evdokimov
из других энтерпрайзщиков я имею в виду
источник

AE

Alexey Evdokimov in Data Engineers
почему для кода на скале не надо писать интеграционные тесты
источник

K

KrivdaTheTriewe in Data Engineers
ну потому что как минимум вы получаете правильно описаную модель,  для которой реализован иквалз, хешкод
источник

K

KrivdaTheTriewe in Data Engineers
и операции примитивы ,  с которыми работает спарк в виде аттернматчинга
источник

AE

Alexey Evdokimov in Data Engineers
короче бесполезная какая-то полемика. я реально не понимаю такую зацикленность на скале
источник

K

KrivdaTheTriewe in Data Engineers
а далее, автовывод кодеков на все про все , что не допусукает человечсеской ошибки при изменении модели
источник

K

KrivdaTheTriewe in Data Engineers
Alexey Evdokimov
короче бесполезная какая-то полемика. я реально не понимаю такую зацикленность на скале
да причем тут скала, вам рекорды и в джаве не нужны судя по вашим комментариям
источник

K

KrivdaTheTriewe in Data Engineers
ну и то что больше кода - больше ошибок )
источник

AE

Alexey Evdokimov in Data Engineers
у нас модели, сделанной чьими-то руками, нет. и схемы данных нет, она на лету генерится из дефинишена процесса
источник

AE

Alexey Evdokimov in Data Engineers
нечему ломаться
источник

K

KrivdaTheTriewe in Data Engineers
ну это у вас просто тест не валится интеграционный
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
короче бесполезная какая-то полемика. я реально не понимаю такую зацикленность на скале
вы стримсы или дженерики используете в яве, или пишете строго на 1.4 совместимой? вот возможности скалы по сравнению с джавой это как дженерики на стероидах
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
вы стримсы или дженерики используете в яве, или пишете строго на 1.4 совместимой? вот возможности скалы по сравнению с джавой это как дженерики на стероидах
я что спорю. не всем оно нужно. неужели так трудно понять?
источник