Size: a a a

Data Science Kazakhstan (DS/ML kz)

2020 July 12

N

Nurmukhamed in Data Science Kazakhstan (DS/ML kz)
Almaz Z
Например как с трансформерами 😁
тссс)
источник

N

Nurmukhamed in Data Science Kazakhstan (DS/ML kz)
говорят что один из знаменитых художников собирал своих учеников, объяснял что да как. Те высушенные уходили по домам, а заряженный учитель творил шедевры)
источник

ZT

Zhibek T in Data Science Kazakhstan (DS/ML kz)
#hello Привет всем✋ Меня зовут Жибек. Я с Астаны, работаю админом схд в бродкаст компании. О группе узнала от подруги, с DS не связана напрямую, но изучаю понемногу для себя.
источник

ZT

Zhibek T in Data Science Kazakhstan (DS/ML kz)
Так как в группе много пайтонистов, хотелось бы спросить совета. Хочу сделать телеграмм бот для выгрузки нужных данных из  MS SQL. Нужно пройти авторизацию впн(стоит фортик), пройти доменную авторизацию, авторизацию СУБД и выполнять sql скрипт по запросу, ответы передавать юзеру. Сколько бы не пыталась, не смогла подключиться к БД. Есть советы в какую сторону копать? Как упростить авторизацию или как лучше автоматизировать всё это? Спасибо
источник

S

Sagimbayev Zhuldyzzh... in Data Science Kazakhstan (DS/ML kz)
Zhibek T
Так как в группе много пайтонистов, хотелось бы спросить совета. Хочу сделать телеграмм бот для выгрузки нужных данных из  MS SQL. Нужно пройти авторизацию впн(стоит фортик), пройти доменную авторизацию, авторизацию СУБД и выполнять sql скрипт по запросу, ответы передавать юзеру. Сколько бы не пыталась, не смогла подключиться к БД. Есть советы в какую сторону копать? Как упростить авторизацию или как лучше автоматизировать всё это? Спасибо
А если на flask поднять маленький бэкенд, чтоб к базе напрямую не стучаться и авторизацию под капот
источник

ZT

Zhibek T in Data Science Kazakhstan (DS/ML kz)
А как это может упростить задачу? Предлагаете сделать веб страницу вместо телеграмма? Или через api с него еще вытаскивать🤔
источник

S

Sagimbayev Zhuldyzzh... in Data Science Kazakhstan (DS/ML kz)
Zhibek T
А как это может упростить задачу? Предлагаете сделать веб страницу вместо телеграмма? Или через api с него еще вытаскивать🤔
Через апи
источник

ZT

Zhibek T in Data Science Kazakhstan (DS/ML kz)
Идея имеет место быть... Посмотрю, спасибо. Вот только подумать нужно, как в реальном времени обновлять данные. В любом случае придётся по запросу пользователя подключаться к БД...
источник

Е

Евгения in Data Science Kazakhstan (DS/ML kz)
Adilet Gaparov
Проще и эффективнее сделать классификацию на каждый из продуктов. Продуктов все равно не больше 50. Рекомендовать топ 5 из 50 - не нужен ML. В универе мой препод, глава аналитики Сантандер Банка, говорила, что у них рекомендашка практически никогда не используется. Тупо 50 классификаций: купит пользователь этот продукт или нет.
Для рекомендования топ 5 из 50 хватит и простого sql-запроса для начала как MVP.
PTB это стандартная штука, конечно, но переобучать 50 классификаций, мониторить регулярно их качество, приносимый uplift нужно, чтоб было достаточно сотрудников, и очень отлаженные процессы. Было бы интересно почитать как налажена была работа той команды с точки зрения менеджера.
источник

AG

Adilet Gaparov in Data Science Kazakhstan (DS/ML kz)
Все упаковать в Докер "коробочки", которые перезапускаешь от время к времени, наподобие AutoML.
источник

AG

Adilet Gaparov in Data Science Kazakhstan (DS/ML kz)
У нее 2 топ ДСера с PhD, которые создают эти "коробки" и пару контрактников, которые умеют запускать Докер контейнеры. Вот в принципе так и работает Сантандер. Переучивать модели нужно раз в год отсилы для большинства случаев. Все это с ее слов.
источник

i

iamfina in Data Science Kazakhstan (DS/ML kz)
Zhibek T
Идея имеет место быть... Посмотрю, спасибо. Вот только подумать нужно, как в реальном времени обновлять данные. В любом случае придётся по запросу пользователя подключаться к БД...
А нельзя через постгресс коннектиться к базе? Просто бот по запросу нужные данные будет возвращать
источник

i

iamfina in Data Science Kazakhstan (DS/ML kz)
Или в чем вообще проблема, че то не догнала
источник

Е

Евгения in Data Science Kazakhstan (DS/ML kz)
Adilet Gaparov
Все упаковать в Докер "коробочки", которые перезапускаешь от время к времени, наподобие AutoML.
Если что-то наподобие AutoML, то это облачное решение и с согласованиями этого процесса в банке наверно целая эпопея. Те, кто это хоть раз согласовывал, знают, что это такое.
Если докер, то мб в команде потребуется ml инженер или девопс, т.к. далеко не везде это требуют от дс-а и иногда выделяют отдельную позицию на это.
4 человека на 50 моделей звучит как то маловато, т.к. выходят новые продукты обычно и им надо срочно строить модель, понимать откуда взять обучающую выборку, а еще периодически видны странные результаты АБ тестов, в которых надо разбираться.
источник

AG

Adilet Gaparov in Data Science Kazakhstan (DS/ML kz)
Модель делается один раз же под одну задачу, типа выдавать кредит в Бразилии. Раз в год эту модель перетренить - это перезапустить огромный grid search с новыми данными. Новый продукт не так часто выходит в огромных банках, если уже продукты все выпущены. Если в банке правильное видение пользы от ДС, то срочности тоже не будет, потому что Глава Аналитики будет на том же уровне иерархии, что и остальные топ менеджера и проекты запускаться будут разрабатываться вместе запланировано.
источник

AG

Adilet Gaparov in Data Science Kazakhstan (DS/ML kz)
Понятно, что уровень maturity разный, в Сантандер они довольно продвинуты. В нашем регионе, я понимаю, что это не совсем так.
источник

AG

Adilet Gaparov in Data Science Kazakhstan (DS/ML kz)
Ну и в Сантандер Глава Аналитики это бывший партнёр МкКинзи, я допускаю, что все согласования и stakeholder management, она умеет делать очень успешно, как и автоматизировать процессы.
источник

К

Кir in Data Science Kazakhstan (DS/ML kz)
интересная база творчества https://creative-ai.org
источник

ZT

Zhibek T in Data Science Kazakhstan (DS/ML kz)
iamfina
А нельзя через постгресс коннектиться к базе? Просто бот по запросу нужные данные будет возвращать
Вопрос не в выборе субд, а в нескольких уровнях авторизации
источник

К

Кir in Data Science Kazakhstan (DS/ML kz)
Zhibek T
Вопрос не в выборе субд, а в нескольких уровнях авторизации
хороший совет насчёт API. в нём и авторизацию, и выборку из базы
источник