Шалом)

почитал сообщения на канале...  я так понял больше всего сейчас обсуждаются абстрактные псевдо-философские вопросы - учить или не учить, потяну или не потяну, нужно или не нужно...

IMHO: современные фреймворки вроде google tensorflow что-то вроде контструктора лего, когда можно построить домик (нейронную сеть) имея лишь базовое понимание / принципы работы нейронных сетей и не углубляясь в тонкости высшей математики. различные виды сетевых слоев, передаточные функции и т.д. уже реализованы.

ты от канала и сетей ожидал чего-то другого? )

и самое забавное в том,что не редки случаи, когда глубокие теоретические знания не в состоянии помочь объяснить почему та или иная нейронная сеть именно так, а не иначе.

вы случайно гранату

Лучше накидывайте конкретики и мяса на вентилятор. А то снова все лезут под общую тенденцию пофлудить

Случайно что?
Гранату

Нейронная сеть что?
Именно так, а не иначе =)

Вполне вероятно

у кого-то есть практические приложения сделанные "для души" а-ля "хобби", расположенные на том же гитхабе? сбербанк и прочее это круто, но люди не добиваются больших успехов там, где мотивация одни лишь деньги и нет любви к тому,что делаешь.

прикладные задачи кто какие реализовывал?

А если для души и по работе пересекается?)

то такого человека можно только поздравить.

Спасибо

На чём реализация?

патался научную работу сделать о возможности использования НС в качестве регуляторов, что-то пока только на пару статеек хватило

У меня задача в астрофизике. Есть большой массив данных, накопленный за 15 лет. Данные уже в postgres: координаты источника на небе, яркость, время наблюдения и т. Д. Часть этих данных размечена, шум это или реальный объект. И нужно проанализировать все накопленные данные.

1) в задаче обучения с учителем хочу получить вероятности. При поступлении новых наблюдательных данных определить, что новый не каталогизированный источник это определенный вид астрофизического объекта: 80% сверхновая, 10%  мирида, 10% катаклизмическая переменная и др.

2) в задаче обучения без учителя нужно построить кривые блеска всех источников. Затем найти такие, которые не объясняются никакими известными типами астрофизических источников излучения.  

3) И прежде чем анализировать источник, нужно убедиться, что он не шум, не околоземный космичнский мусор, еще не попал в астрономические каталоги, и другие проверки.

4) Новые данные приходят постоянно, и задача проанализировать не только исторические, но и новые данные в близком к реальному времени.

Всем привет! У меня такой вопрос.
Мне нужно несколько обученных питоновских ML и DL моделей закинуть в продакшен чтобы генерировать предсказания. Сначала по запросу (типа  curl -X POST ...) а в будущем и в реальном времени. Одна модель написана используя Scikit-learn и ещё несколько на TensorFlow и PyTorch. В будущем планируется планируется также брать данные из HBase и Elasticsearch.
А теперь проблема. Боссы хотят что-бы все модели работали на Спарке и готовы предоставить только спарк-кластер для моих моделей.  Пытаюсь теперь понять как лучше это все задеплоить.
1) Первый вариант - это переписать ML модель с Scikit-learn на Spark ML. Что делать с DL правда не понятно. Нужно чтоб работало на GPUs. Нашёл несколько вариантов на гитхабе: elephas (https://github.com/maxpumperla/elephas), TensorFlowOnSpark (https://github.com/yahoo/TensorFlowOnSpark), BigDL (https://github.com/intel-analytics/BigDL) и Analytics Zoo (https://github.com/intel-analytics/analytics-zoo). Но они не поддерживают пока что Spark 3.  BigDL и Analytics Zoo ещё вдобавок не поддерживают вычисления на GPUs (в будущем планирует).
2) Второй вариант - это добавить PySpark к коду и добавить UDFs. Но пока я не понял можно ли весь код завернуть в них.
3) У TensorFlow кажется появилась какая-то поддержка Спарка https://github.com/tensorflow/ecosystem/tree/master/spark.  Пока не пробовал, но выглядит очень сырым продуктом.
4) Ещё есть Koalas со своими dataframes на Спарке. Но пока я не вижу как она может пригодится.
5) Ещё слышал про форматы PMML, PFA и ONNX. Но не знаю на сколько это актуально.

Что посоветуете в моём случае?

Бесплатный вебинар «MLOps без боли в облаке MCS #1: Разворачиваем Kubeflow. Простые
масштабируемые воркфлоу для ML на Kubernetes» от Mail.ru Cloud Solutions

MCS начинают серию вебинаров “MLOps без боли” с Kubeflow — он позволяет создавать индивидуальные окружения для тестирования и решать проблему воспроизводимости экспериментов. Освоив Kubeflow, вы сможете быстро выводить модели в продуктив, организовывать трекинг моделей и экспериментов.

На вебинаре вы узнаете, как:
— Подготовить кластер Kubernetes к установке Kubeflow, установить Istio
— Установить Kubeflow в режиме multi-user, auth-enabled
— Обучить тестовую модель машинного обучения и опубликовать ее

По итогам вебинара вы получите подробную инструкцию, как установить и запустить Kubeflow в облачной платформе Mail.ru Cloud Solutions, и репозиторий — и сможете использовать микросервисы для быстрой проверки новых моделей.

Мероприятие пройдет во вторник, 22 декабря, онлайн.
Начало в 17:00 по Москве.

👉Регистрация обязательна: https://vk.cc/bW57Ur