на 4 день будет про инжиринг

и еще пару увлекательных названий есть

option("inferSchema", "true")

не

schema-on-read как она есть, парсить и плакать

прям вспомнил пару случаев что-то... слезы навернулись

ну я в итоге таки напишу нечто SQL-подобное через пару итераций :/

жить-то как-то надо

эт блин дико интересно, сцука.

было бы неинтерестно, свалил бы с этого проекта уже давно

Я как лиспер времён универа тоже хочу чтобы все вокруг отказались от схем в пользу какого-нибудь edn и спеки, но меня сразу уволят по статье тогда

Без обид но со стороны кажется что к вас градус велосипедизма опасно высок

подскажиет, а где вообще находятся hadoop-daemon.sh скрипт ?

мне надо yarn-site.yml применить

извините, а нельзя а эти датасеты хотя бы через рдд обрабатывать?

просто те же рдд-шки можно в датафрейм конвертнуть

а там уже здравствуй spark-sql

или это нельзя из-за ограничения по памяти?

если формулировать чё мы творим в целом, то эт будет так.
1. пришол заказчик, сказал, ребяты у вас крутая эвристика, вот вам датасет (в произвольном формате)
2. мы собрали ему pipeline из наших эвристик. каждая берёт и классифицирует, фильтурет, аугментит или ещё как измывается над записями датасета. состав наших полей в процессе меняется, но они только добавляются, а исходные все остаются. смысла большей части из них мы даже не знаем.
3. мы выгрузили ему перехераченный датасет. плюс ещё суммарный репорт по нему. точнее, десяток или сотню репортов по неким наборам критериев.
а потом такие
4. повторить на следующий раз с другим датасетом (с немного другими полями) и, возможно, чуточку иными настройками эвристик (ну это заказчик скажет).
5. автоматизировать это всё.

а, ну ещё каждая запись классифицируется в составе цепочки записей. и классификатор может выкинуть на лету целый кусок, если он по его мнению нецелевой например