Спасибо! Просто в веб-разработке с devops техниками сталкиваешься не так часто, а для дата инженера это значительный объем функционала. Я правильно понимаю? Насколько нужно сильно знать Kafka, Hive, Hadoop? Достаточно ли хорошо разобраться со Spark, чтобы можно было войти в эту специализацию?

Я учу где-то с прошлого сентября. Правда, сначала пришлось разбираться немного с теорией ФП / Haskell, а потом углубляться в Scala. Не самый простой язык, конечно, и намного сложнее, чем Java, и тем более Python. Но и мощнее, и более выразительный в плане ФП.

Всем привет
Возникла проблема с добавлением листа диктов в биг квери, подскажите как это можно сделать без костылей? и можно ли вообще, если можно -то подскажите в какую сторону смотреть
схема таблицы:
   schema = [
           bigquery.SchemaField('field', 'INTEGER', mode='NULLABLE'),
           bigquery.SchemaField('another_field', 'RECORD', mode='NULLABLE', fields = [
               bigquery.SchemaField('key', 'STRING', mode='NULLABLE'),
               bigquery.SchemaField('value', 'INTEGER', mode='NULLABLE')])
       ]
мапа, которую не могу добавить:
{ 'field': 3,
'another_field': [{'key': 'smth1', 'value': 3},
 {'key': 'smth2', 'value': 3},
 {'key': 'smth3', 'value': 3},
 {'key': 'smth4', 'value': 3},
]}

Так не рекорд а repeatable[record]

спасибо

тоже не стала замарачиваться. минута ушла на добавление партиций ....спасибо

У меня было такое с glue в итоге переписал на add partition

Прости, а почему у тебя тут ник Олег Олег?

Лама лё :)

Но блин, можно было просто Oleg написать же )))

😄 чо ты у сюткина не просишь пояснить за ник?

Вон у человека выше вообще Т ник

+

Извините. Я просто только начинаю читать на иврите и мне он теперь всюду в глаза бросается

Раньше было просто на иврите, но не все понимали. А просто Oleg скучно )

Потому что я дженерик 😂

А ну скажи в рантайме кто ты

Object

Эх опередил