Size: a a a

2021 July 02

А

Александр in Data Engineers
локальная, т.е. тупо на ноуте поставил спарк и запустил джобу
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Я еще не понимаю какая роль у витрин в этом всем, если можно лайв.
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
А есть где-нибудь плейлист еще на ютубе с подобными лекциями? Там кажись меилру была. Всего одну нашел(
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Или я обознался и Гриш больше в ДЕ, чем где либо)
источник

GP

Grigory Pomadchin in Data Engineers
на конференциях я со спарком не докладывал) ток на спарк митапе выступал; мож обознался (?)
но там говорил про то как партицирование происходит и как избегать ненужного шафла
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Ох. Окей) не буду приставать) а хотел)
источник

NN

No Name in Data Engineers
Я не оч силен в спарк стэндэлоун, так что лучше тут Вас самому почитать. Но, грубо, если нода одна, то, да, все пойдет в один поток, и толку от спарка нет.
источник

GP

Grigory Pomadchin in Data Engineers
ну колво ядер то может быть больше одного 🙂
источник

NN

No Name in Data Engineers
Витрина - это просто табличка. Грубо, Вы можете или просто складывать в hdfs файлики, и процессите их, указывая директорию или конкретные файлы, или сохраняете данные в табличку, и тогда у вас ещё появляются метаданные в метасторе, и происходит обращение к нему при работе с табличкой.
источник

NN

No Name in Data Engineers
Ну, да, логично.
источник

NN

No Name in Data Engineers
Я уже на даче пьянствую, так что мыслями далеко)
источник

NN

No Name in Data Engineers
Зачем Вам этому учиться? Задачу так поставили?
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Да, только что в лекции про это говорили))
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
На втором этапе собеса обозначили три пункта: кассандра, спарк, кафка. Месяц-два может у меня есть, чтоб научиться собирать данные для анализа. Это типа фулстек аналитик называется. Наверно)
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Собес был с директором, так что я решил запотеть.
источник

А

Александр in Data Engineers
нифигасе аналитик дата инженер)
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Но мнеж не надо это всё поднимать. Онож уже все работает. Миллиарды строк.
источник

NN

No Name in Data Engineers
Я бы рекомендовал разориться и сгонять на курсы de от newprolab. Не помню, есть ли там кассандра, но там Вы по итогу сделаете собственный проект, включающий в себя в том числе спарк и кафку, и много других чудесных вещей. Уровень знаний для собеса по итогу будет достаточным.
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Я безработный. Мне 37. Набрал еды на год и учусь сам. Как-то так) учился я на кодера с++ но не практиковал совсем.
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
…после универа.
источник