a
именно так сервис и называется же) с “k” )
Да, спасибо, действительно. Удивительно)
Size: a a a
2021 February 22
D
Привет. Как бы вы подошли к задаче универсального хранилища аннотированных данных(блоб и разметка)? Так чтобы датасаенсисты могли ходить и создавать на базе этих данных собственные дата сеты.
D
Может какие-то готовые инструменты существуют?
DZ
Data governance
AT
или metadata catalog?
DZ
Al T
или metadata catalog?
Как часть дг
f
Data governance
А можете поделиться описанием хорошего примера реализации дг? Например, статьей, в которой описано что делали, какие инструменты брали, что получилось сделать, что не получилось.
DZ
У нас все своё, свои инструменты и свой путь
DZ
Так пробовал атлас, нууу это не для всех
Амундсена пробовал, но там багов было много
Дата каталог Гугла работал из коробки но не умел в лайнэйдж
Амундсена пробовал, но там багов было много
Дата каталог Гугла работал из коробки но не умел в лайнэйдж
DZ
Как с процессами это интегрировать дело каждого
AZ
Dmitriy
Привет. Как бы вы подошли к задаче универсального хранилища аннотированных данных(блоб и разметка)? Так чтобы датасаенсисты могли ходить и создавать на базе этих данных собственные дата сеты.
Написал бы, в конце концов это просто метаданные
AZ
Dmitriy
Может какие-то готовые инструменты существуют?
Нет
2021 February 23
ПБ
Так пробовал атлас, нууу это не для всех
Амундсена пробовал, но там багов было много
Дата каталог Гугла работал из коробки но не умел в лайнэйдж
Амундсена пробовал, но там багов было много
Дата каталог Гугла работал из коробки но не умел в лайнэйдж
Мы решили взять атлас и сделать свой амундсен
e
Возможно вам вот это зайдет
https://github.com/smart-data-lake/smart-data-lake
https://github.com/logicalclocks/hopsworks
И вот эта презентация
https://deordie.com/meetups/04/
https://github.com/smart-data-lake/smart-data-lake
https://github.com/logicalclocks/hopsworks
И вот эта презентация
https://deordie.com/meetups/04/
I
Вопрос о парарельных вычислениях и параметре num_of_workers, который есть везде где есть оно:
Например работал на коллабе, у него есть2vCPU, это 2 виртуальных процессора, насколько я понимаю.
У себя на компе я поставил num_of_workers в моделях 0 потому что процесс зависал и проблемы делал, по идеи этот параметр нужно в количество процессоров устанавливать, то есть в случае коллаба 2 будет оптимальным?
Или это еще от количества ядер зависит на каждом cpu в общем?
Как с колабом всмысле ядер не знаю.
Например работал на коллабе, у него есть2vCPU, это 2 виртуальных процессора, насколько я понимаю.
У себя на компе я поставил num_of_workers в моделях 0 потому что процесс зависал и проблемы делал, по идеи этот параметр нужно в количество процессоров устанавливать, то есть в случае коллаба 2 будет оптимальным?
Или это еще от количества ядер зависит на каждом cpu в общем?
Как с колабом всмысле ядер не знаю.
AT
Всем привет, может кто помочь с записью датафрейма в экселе сделать аппенд новых данных а не запись поверх старых?
R
Возможно вам вот это зайдет
https://github.com/smart-data-lake/smart-data-lake
https://github.com/logicalclocks/hopsworks
И вот эта презентация
https://deordie.com/meetups/04/
https://github.com/smart-data-lake/smart-data-lake
https://github.com/logicalclocks/hopsworks
И вот эта презентация
https://deordie.com/meetups/04/
Hopsworks немного про другое - это распределённый Feature Store, не отдельное решение для датакаталога 🙂
2021 February 24
V
Any one has (python aws sql) development with exceptional knowledge I have project
C
Добро пожаловать в самое дружелюбное комьюнити.
RY
Всем привет! Нужна консультация или ссылка на статью. В данный момент используем cassandra. Данные хранятся за весь промежуток времени. Для оперативной с БД использую kibana ( но данные не за весь период). Мне нужно фильтрануть данные за весь период. В данный момент для этого я выгружаю данные из cassandra затем произвожу манипуляции. Проблема в том, что выгрузка идет часами. Если более корректно сформулировать вопрос: как работать с cassandra делая запросы "на лету"с фильтрами?