Size: a a a

2021 March 18

M

Mi in Data Engineers
Alexey Evdokimov
yaml он хрупкий слишком
Hocon)))
источник

AS

Andrey Smirnov in Data Engineers
@s333kr я извиняюсь, перепутал чаты, много их, а я один :)
источник

AS

Andrey Smirnov in Data Engineers
Переслано от Andrey Smirnov
https://databricks.com/session/accelerating-tensorflow-with-apache-arrow-on-spark-bonus-making-it-available-in-scala
презентация Холден, она показывает что данные хранятся в airflow формате, и их уже используют как из  java так и из питона. Приблизительно 14 минута
источник

KS

K S in Data Engineers
Andrey Smirnov
Переслано от Andrey Smirnov
https://databricks.com/session/accelerating-tensorflow-with-apache-arrow-on-spark-bonus-making-it-available-in-scala
презентация Холден, она показывает что данные хранятся в airflow формате, и их уже используют как из  java так и из питона. Приблизительно 14 минута
Спасибо
источник

AE

Alexey Evdokimov in Data Engineers
Tsh Tsh
А есть загрузка параметров из жсона или ямла? Мы такое делали пару лет назад
внутренняя объектная модель проаннотирована под джексон, и враппер читать/писать её умеет. но JSON — не человекочитаемый формат
источник

AE

Alexey Evdokimov in Data Engineers
так ладно. я тут вижу что все большие фанаты ямла (который ничем не лучше любого другого текстового, хоть ини, хоть не ини), и гуёв никто не любит
источник

AE

Alexey Evdokimov in Data Engineers
спасибо за конструктив.
источник

ПФ

Паша Финкельштейн... in Data Engineers
Dmitriy Pavlov
Сколько нод Hadoop (включая NN) используется у вас в компании?
Анонимный опрос
5%
2-4
4%
4-8
12%
8-6
17%
16-40
17%
40-100
45%
Больше 100
Проголосовало: 76
Это вот прямо интересный вопрос, я уже в Гугле и следить перестал
источник

ПФ

Паша Финкельштейн... in Data Engineers
Dmitriy Pavlov
Не, Яндекс.Облако :) Развиваю платформу данных.
Так чо, придёшь осенью на смартдату?
источник

DP

Dmitriy Pavlov in Data Engineers
Паша Финкельштейн
Так чо, придёшь осенью на смартдату?
Если позовут, конечно :) Будет, что рассказать
источник

ПФ

Паша Финкельштейн... in Data Engineers
Dmitriy Pavlov
Если позовут, конечно :) Будет, что рассказать
Вот, зову. Можешь начинать думать о теме. CFP пока нету, думаю что летом появится, но тему всегда лучше заранее придумывать
источник

DP

Dmitriy Pavlov in Data Engineers
Паша Финкельштейн
Вот, зову. Можешь начинать думать о теме. CFP пока нету, думаю что летом появится, но тему всегда лучше заранее придумывать
Огонь, договорились
источник

A

Anton Kovalenko in Data Engineers
Dmitriy Pavlov
Всем привет!
Такой вот нетехнический вопрос. Не было ли в этом чате опроса по используемому дистрибутиву Hadoop? Интересует, какое в РФ соотношение пользователей разных дистрибутивов.
Я уж подумал, что чатом ошибся ) Непривычно тебя тут видеть )
источник

DP

Dmitriy Pavlov in Data Engineers
Anton Kovalenko
Я уж подумал, что чатом ошибся ) Непривычно тебя тут видеть )
Не Greenplum'ом единым :)
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
так ладно. я тут вижу что все большие фанаты ямла (который ничем не лучше любого другого текстового, хоть ини, хоть не ини), и гуёв никто не любит
Разве ини файлу можно схему задать? Люди используют ямл для конфигов не просто в свободном текстовом формате, а со схемой, тебе редактор подсказывает не просто ямл формат, а конкретную схему
источник
2021 March 19

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
Разве ини файлу можно схему задать? Люди используют ямл для конфигов не просто в свободном текстовом формате, а со схемой, тебе редактор подсказывает не просто ямл формат, а конкретную схему
блин, ну сколько ещё раз мне нужно повторять, что мы schemaless?

схема для каждого модуля собирается динамически в рантайме, исходя из накопленного в процессе до момента его вызова. даже настройки половины модулей и то задаются списками динамически. вот про какую тут, нафиг, схему может идти речь?
источник

N

Nikita Blagodarnyy in Data Engineers
А кто суперямлпогромист, что там нынче модно заместо ансибле? Параллельное там, конкурентное. Хрыч, растолкуй, а.
источник

N

Nikita Blagodarnyy in Data Engineers
Я слово терраформ знаю.
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
блин, ну сколько ещё раз мне нужно повторять, что мы schemaless?

схема для каждого модуля собирается динамически в рантайме, исходя из накопленного в процессе до момента его вызова. даже настройки половины модулей и то задаются списками динамически. вот про какую тут, нафиг, схему может идти речь?
Динамическую)) но я понял, у вас уникальная снежинка которая первый раз в отрасли встречается)
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
А кто суперямлпогромист, что там нынче модно заместо ансибле? Параллельное там, конкурентное. Хрыч, растолкуй, а.
Что делать надо?
источник