Size: a a a

2019 May 03

AP

Alexander Piminov in Data Engineers
@Xapa6apga , если сравнивать по функционалу, то Airflow побогаче на инструментарий, но у него масса нюансов (загляни в чат по Airflow https://t.me/ruairflow), хотя AWS даже публиковал вариант референсной архитектуры с ним (естественно, не managed service, в отличие от, например, GCP).
источник

CO

Chern Oleksander in Data Engineers
Alexander Piminov
Ну это если у тебя отдельно Spark или иной Hive-совместимый инструмент и тебе нужно его с каталогом Glue интегрировать. А если ты хочешь непосредственно Glue использовать как ETL инструмент, то можно писать код, используя собственный контекст.
Огромное спасибо за инфо!
источник
2019 May 04

GP

Grigory Pomadchin in Data Engineers
Нифига себе спамеры как маскироваться стали (под вакансию)
источник
2019 May 06

ФЧ

Филипп Чистяков in Data Engineers
Ребят, по apache подскажите канал?
источник

Н

НерВ in Data Engineers
Тебя интересует HTTPD, Cassandra, или что?
источник

P

Pavel in Data Engineers
Филипп Чистяков
Ребят, по apache подскажите канал?
Ня :)
Airflow
Русскоязычное сообщество Apache Airflow
https://t.me/ruairflow
источник

ФЧ

Филипп Чистяков in Data Engineers
Не я про сервер
источник

DM

Daniel Matveev in Data Engineers
😁
источник

P

Pavel in Data Engineers
Филипп Чистяков
Не я про сервер
Там целых 3 сервера!))) Вебсервер, фловер и шедулер с воркерами
источник

ФЧ

Филипп Чистяков in Data Engineers
Спасибо
источник

P

Pavel in Data Engineers
Даже не сервера, а ваб сарвара
источник

ФЧ

Филипп Чистяков in Data Engineers
Но я про веб обычный
источник

GG

George Gaál in Data Engineers
Филипп Чистяков
Но я про веб обычный
не сюда
источник

ФЧ

Филипп Чистяков in Data Engineers
Филипп Чистяков
Ребят, по apache подскажите канал?
Вот я и спрашиваю(
источник

GP

Grigory Pomadchin in Data Engineers
Филипп Чистяков
Не я про сервер
Поиск по ключевым словам в телеграмме работает; апаче не только сервер; где вообще ты увидел апаче? Не индейцев нет в описании группы ни чего. Покажи ссылку где поправить описание что бы такие как ты не заходили
источник

SB

Sergey Buyalsky in Data Engineers
Филипп Чистяков
Ребят, по apache подскажите канал?
ru_sysadmin
источник

RI

Rustam Iksanov in Data Engineers
Подскажите, есть необходимость складывать данные в hbase. В одну из колонок направишивается массив объектов. Как лучше его сериализовать, чтобы было потом удобнее десериализовать?
источник

GP

Grigory Pomadchin in Data Engineers
Rustam Iksanov
Подскажите, есть необходимость складывать данные в hbase. В одну из колонок направишивается массив объектов. Как лучше его сериализовать, чтобы было потом удобнее десериализовать?
это от предметной области зависит, главное не джава сериализацией и все будет хорошо
источник

AZ

Anton Zadorozhniy in Data Engineers
Rustam Iksanov
Подскажите, есть необходимость складывать данные в hbase. В одну из колонок направишивается массив объектов. Как лучше его сериализовать, чтобы было потом удобнее десериализовать?
для hbase разницы нет, у него просто bytearray в любой ячейке.. зависит от того что вам удобнее и быстрее в приложении..
источник

RI

Rustam Iksanov in Data Engineers
Я склоняюсь к avro, но не очень понятно, будет ли это трудно достать с помощью pyspark в будущем. Я пока не смог найти, поддерживает ли pyspark нативно avro
источник