неееее, явно чё-нить другое сожрёт весь этот модный мл. прогнозы строить дело неблагодарное

Эскуэль никуда не денется)

эскуэль всего лишь язык для написания предикатов

да, это похоже на разговоры просветленных в конце нулевых, что "мапредьюс настолько гибче, кому этот сиквел нужен, его время прошло"

омг, я чуть не свалился со стула, осторожнее шутить надо)

пусть цветут все цветы и каждому инструменту свои задачи. а ultimate chicken horse doesn't exist

Ж)

или нет. если их неправильно использовать.

привет, какого максимального размера значение можно засунуть в Spark DF колонка ArrayType ? какие там существуют ограничения ?

Всем привет. Рабоем с Apache Kafka и подгружаем keystore и truststore с облачного стораджа, а потом конфигурируем консьюмер. Иногда вылезает ошибка
Failed to load SSL keystore /tmp/kafka.truststore.jks of type JKS
Caused by: java.io.IOException: DerInputStream.getLength(): lengthTag=65, too big.
Кто-то сталкивался? И имеет ли значение формат файла серта? Мы и PKCS12 и JKS сохраняем локально в .jks файлы. Кафке возможно не пофиг на это?

есть датасет, как сделать, чтобы каждое значение было отдельной колонкой?

Explode такой структуры может помочь

Вот тут есть примеры
https://sparkbyexamples.com/spark/explode-spark-array-and-map-dataframe-column/

И вот тут
https://medium.com/expedia-group-tech/working-with-json-in-apache-spark-1ecf553c2a8c

Спасибо, пойду изучать)

Кто-нибудь хочет заработать  500 долларов за участие в опросе?

Прислали вот такой спам, если кому-то интересно - читайте.

Hope you're doing well. I’m working with a client, an investor, looking to set up a $500 hour-long compensated call to discuss Data Pipeline Providers, specifically looking into Airflow, Prefect, DBT, Starburst, Fivetran, and Census.   


They're looking to speak with customers and experts that are familiar with these solutions. I came across your LinkedIn profile and thought you would be a great person to speak with given your experience.  

 

This would be a 45-60min call with the client. We are, of course, happy to compensate you at whatever rate makes an hour of your time worthwhile!

 

Let me know if you're interested and I can send you the screening questions along with more details. If you prefer to hop on a quick phone call just let me know your best phone number!

 

 

Best,

Blair

Blair Arnell
Analyst


120 S LaSalle #1800, Chicago, IL 60602

Tel +1 219 309 8729  |  Website www.tegus.co

Прекрасное, в конторе спецов не нашлось, но мы готовы заплатить кому-то, чтобы поговорили с нашими клиентами и показали экспертизу?

Они наверное хотят валидировать стартап, который пытается получить инвестиции. Поэтому нужен специалист или даже несколько профи, которые скажут что да это крутая идея.

😂

Всем привет. Выбираю себе Data Warehouse. Хочу туда стримить изменения из БД в микросервисах через кафку.
Думаю между Redshift, Google BigQuery и Snowflake.

Кто-нибудь может подсказать, какие затраты по последним двум могут быть, чтобы запилить прототип (пара сотен GB данных сторейджа + нечастые аналитические запросы + частые обновления отдельных записей)?
С редшифтом всё понятно, потому что платишь за инфру, а с этими двумя с их pay-as-you-go я запутался.