Size: a a a

2019 August 06

DM

Daniel Matveev in Data Engineers
Паша Финкельштейн
Он формализованный, просто не описан )))
формализованный - когда по правилам работает, а не разработчик подумал что так будет лучше (а завтра фиксит багу и что-то ломается внутри важнее костей)
источник

ПФ

Паша Финкельштейн in Data Engineers
Ну так он и работает по правилам ))))
источник

ПФ

Паша Финкельштейн in Data Engineers
Просто они не описаны
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Он формализованный, просто не описан )))
нету формализма; Александр сам сокрушался по этому поводу
источник

DM

Daniel Matveev in Data Engineers
Паша Финкельштейн
Типа хочешь понять как что-то работает - читай код
скала мир оч разный
в фпур мире достаточно хорошо
источник

GP

Grigory Pomadchin in Data Engineers
евристики
источник

DM

Daniel Matveev in Data Engineers
в спарк мире - полное г
источник

GP

Grigory Pomadchin in Data Engineers
но никто не запрещает нормальный абстракции делать
источник

GP

Grigory Pomadchin in Data Engineers
однако самая большая проблема это анкодеры или декодеры для рдд / датасетов

изза этого их даже 'функтором' не сделаешь
источник

GP

Grigory Pomadchin in Data Engineers
пусть кривым без законов
источник

ПФ

Паша Финкельштейн in Data Engineers
Кстати, учитывая как просто для них делаются энкодеры - я не понимаю почему оно не автоматизировано
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Кстати, учитывая как просто для них делаются энкодеры - я не понимаю почему оно не автоматизировано
оно автоматизировано для кейсклассов
и ты можешь залфитить все в крайо если хочешь и все будет автоматизированно

иногда хочется специализированно прсото
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
оно автоматизировано для кейсклассов
и ты можешь залфитить все в крайо если хочешь и все будет автоматизированно

иногда хочется специализированно прсото
Оно для тюплов не автоматизировано, что смешно
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Оно для тюплов не автоматизировано, что смешно
а их генерить придется
нельзя сделать tupleN условный

по-моему в спарке были туплы для максимум 5 символов и их не было в дефолтных имплиситах
источник

ПФ

Паша Финкельштейн in Data Engineers
О боже, ну если генерировать что-то придётся то нет, отказываемся
источник

ПФ

Паша Финкельштейн in Data Engineers
Так-то генерированный код всегда лучше написанного, но генерировать туплы - это увольте
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Так-то генерированный код всегда лучше написанного, но генерировать туплы - это увольте
я заберу это на цитаты
источник

ПФ

Паша Финкельштейн in Data Engineers
Это вот всегда пожалуйста
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Это вот всегда пожалуйста
не за что
источник

K

KrivdaTheTriewe in Data Engineers
Паша Финкельштейн
Ну он проверяет типы по кейсклассам, это в принципе тоже неплохо и достаточно для большинства случаев
квилл рил говно
источник