Size: a a a

2021 September 30

ЕГ

Евгений Глотов... in Data Engineers
#define true false)
источник

ПФ

Паша Финкельштейн... in Data Engineers
https://issues.apache.org/jira/browse/SPARK-36786
Смотрите какой спип классный!
источник

AE

Alexey Evdokimov in Data Engineers
а чё именно нет?
то же INTO в селекте можно где угодно писать, например. в END LOOP сам LOOP тоже избыточный, достаточно просто END
источник

ПФ

Паша Финкельштейн... in Data Engineers
я тупой прост
источник

AZ

Anton Zadorozhniy in Data Engineers
Тут либо вы хотите максимально облегчить вход для знакомых с SQL, либо вы хотите сделать язык лучше SQL то тогда зачем эти элементы синтаксиса времён кобола? Уж лучше взять какой-то ЯП или даталог в качестве основы, все будет проще
источник

AZ

Anton Zadorozhniy in Data Engineers
Оно
источник

ИК

Иван Калининский... in Data Engineers
Раскрою, почему так триггернулся. Когда сделал qualify в spark SQL (чтобы запросы из терадате в реплике hdp не переписывать, конечно), на определённом этапе выяснилось, что не работает с group by без having True. И мне сразу же сказали, что с головой что-то не так у тех, кто такие запросы пишет. А ведь вполне валидный запрос. И если такие нашлись бы в источнике, то пришлось бы их переписывать, сама фича получается дискредитирована
источник

AE

Alexey Evdokimov in Data Engineers
мои пользователи не желают писать на DSL на основе JSON. хотя он простой и понятный.

transform: {
source_ds: "source",
dst_ds: "pois",
type: "Point",
lat_column: "lat",
lon_column: "lon",
default_radius: 500
}

но вот не хотят, хоть убей :(

а вотALTER source SET TYPE Point(@default.radius=500,@lat.column=lat,@lon.column=lon) INTO pois;
источник

AE

Alexey Evdokimov in Data Engineers
им почему-то кажется ближе и удобнее
источник

AE

Alexey Evdokimov in Data Engineers
причём, визуальный редактор, который позволяет процессы формочками в браузере нашлёпывать (и генерит эт самый JSON), тоже не взлетел. процессы длиной в десятки трансформаций, джойнов, и т.п. формочками это шлёпать, видимо, оч. долго

нужно именно код писать. но только не на питоне, и не на прости господи скале
источник

ЕГ

Евгений Глотов... in Data Engineers
источник

AE

Alexey Evdokimov in Data Engineers
ну или чё, CREATE TABLE pois (SELECT lon_column(lon) lon, lat_column(lat) lat, default_radius(500) radius, * FROM source) более SQL-но будет звучать?
источник

ИК

Иван Калининский... in Data Engineers
На самом деле да, готовый CTAS
источник

AE

Alexey Evdokimov in Data Engineers
ну, такой синтасис очень сильно усложняет парсер, а я не готов потратить на него ещё пару месяцев
источник

ИК

Иван Калининский... in Data Engineers
И не надо, если пользователей устраивает
Cypher, например, тоже на SQL не похож, и отлично
источник

AE

Alexey Evdokimov in Data Engineers
SQL в компактной форме компактен (странно да), а в полной достаточно выразителен, чтобы минимально ошибаться в декларировании намерений.
собственно, на выходе я хочу иметь нечто обладающее такими же свойствами. ну, плюс-минус
источник

AS

Alexey Stavrov in Data Engineers
В какой момент MySQL понимает, что блок в undo log можно использовать повторно?
источник

AS

Alexey Stavrov in Data Engineers
Видимо по завершению транзакции, поправьте, если не так. Хм... Неужели нет vacuum-а здесь...
источник

NN

No Name in Data Engineers
Я, походу, реально дофига всего не понимаю ни в айти, ни в жизни, потому что, хоть убей, но мне не ясно, почему питон и скала - говно, а вот эти DSL-чудовища, которых Вы порождаете - это заебись. Без обид.
источник

GP

Grigory Pomadchin in Data Engineers
ну так то ты прав, эти дсл чудовища тож гавно
источник