Size: a a a

Глубинное обучение (группа)

2017 June 07

RS

Roman Sharkov in Глубинное обучение (группа)
@yuri_baburov предполагаю что обучение таких сетей не совсем дешёвое, ведь в основном нужен огромный сток структурированных данных и в добавок немалую команду data инженеров для того чтоб обучить сеть

это дейстивтельно только под силу таким дата-гигантам как Google и Facebook? которые на публичных данных могут обучать иск. нейросети?
источник

NK

ID:183006445 in Глубинное обучение (группа)
Roman Sharkov
Краткий вопрос: можно ли обучать алгоритм машинным обучением на облаке а применять его в оффлайне чтоб не нарушать приватность пользователя?
именно так и работают приложухи типа призмы и прочие рисовалки
источник

EM

Evgenii Makarov in Глубинное обучение (группа)
Roman Sharkov
Насколько я понимаю - самый энергозатратный процесс это непосредственное обучение нейросети. Однако для её использования хватит и смартфона с его ограниченными ресурсами, или я заблуждаюсь?
Делать инференс нужно на тех же данных, на которых сеть обучалась, ну то есть на аналогичных. Поэтому встаёт вопрос как тебе, такому деликатному защитнику прайваси, их размечать.
источник

EM

Evgenii Makarov in Глубинное обучение (группа)
Если обучить на каком нибудь webface, распознавать картинки из реала сетка будет плохо
Насчёт исполнения на устройстве это большая открытая тема. Фреймворки для сеток, заточенные под квалкоммовский снэпдрэгон, только выходят, а на рынке их ещё нет. Кое кто умеет портировать сетки на тот же метал эппловский, но это не для чайников
источник

EM

Evgenii Makarov in Глубинное обучение (группа)
С андроидом все ещё хуже, дергать gpu из-под него банально нечем, поэтому инференс на CPU со всеми вытекающими
источник

RS

Roman Sharkov in Глубинное обучение (группа)
ID:183006445
именно так и работают приложухи типа призмы и прочие рисовалки
я просто предполагал, что данные полюбому загружаются на ценральный, мощный сервер (кластер) и там обрабатываются.. т.е. были предположения что в offline'е этого не достичь

однако оказывается я был не так далеко от правды и в оффлайне на самом деле, сохраняя приватность пользователя, можно применить ИИ
источник

RS

Roman Sharkov in Глубинное обучение (группа)
Evgenii Makarov
Делать инференс нужно на тех же данных, на которых сеть обучалась, ну то есть на аналогичных. Поэтому встаёт вопрос как тебе, такому деликатному защитнику прайваси, их размечать.
абсолютно правильно поставленный вопрос, о котором я выше тоже упоминал... обучить алгоритм - сложно, нужна куча данных... такие сети как Facebook, Google, Dropbox не зря нарушают privacy пользователей и собирают данные, не дураки...

однако вечная слежка так-же никуда не годится если речь идёт о личных данных, а не тех, которые я самовольно загружают в публичную ленту фейсбука
источник

RS

Roman Sharkov in Глубинное обучение (группа)
т.е. есть данные, на которых можно учиться, но есть и те данные, которые не должны покидать пределы персонального хранилища. Поэтому тут всё, конечно, не так просто.
источник

NK

ID:183006445 in Глубинное обучение (группа)
Roman Sharkov
я просто предполагал, что данные полюбому загружаются на ценральный, мощный сервер (кластер) и там обрабатываются.. т.е. были предположения что в offline'е этого не достичь

однако оказывается я был не так далеко от правды и в оффлайне на самом деле, сохраняя приватность пользователя, можно применить ИИ
нейросеть это просто массив цифр и правила манипуляции с ними. скока цифр и какие манипуляции - зависит от задачи. может быть много, может быть нет
источник

EM

Evgenii Makarov in Глубинное обучение (группа)
Roman Sharkov
т.е. есть данные, на которых можно учиться, но есть и те данные, которые не должны покидать пределы персонального хранилища. Поэтому тут всё, конечно, не так просто.
Я думаю, вам следует начинать не с обучения сеток, а с правовых вопросов при обкатке вашей идеи. Облако, шмоблако, персональное, публичное.. это все решаемо технически
И да, распознавание лиц в реальной обстановке это по-прежнему сложная задача, уж не знаю каких вы там Labelled faces in the wild и дипфейсов начитались 😉
источник

RS

Roman Sharkov in Глубинное обучение (группа)
Evgenii Makarov
Я думаю, вам следует начинать не с обучения сеток, а с правовых вопросов при обкатке вашей идеи. Облако, шмоблако, персональное, публичное.. это все решаемо технически
И да, распознавание лиц в реальной обстановке это по-прежнему сложная задача, уж не знаю каких вы там Labelled faces in the wild и дипфейсов начитались 😉
критике всегда рад, потому-что представления о ИИ у меня возможно очень наивные))
источник

RS

Roman Sharkov in Глубинное обучение (группа)
начнём мы с самого простейшего, просто банальное распознание лиц без идентификации самой персоны, это я могу и сам написать... а вот разпознание образов, тематик на фотографиях а то и видео это уже конечно тема отдельная которая требует немалых финансовых вложений, я просто хочу понять в правильном ли направлении иду и не лгу ли обещая инвесторам того, чего воплотить в принципе не в моих силах
источник

RS

Roman Sharkov in Глубинное обучение (группа)
поэтому вопрос был.. воплотима ли интеграция ИИ в закрытом пространстве... т.е. персональном облаке. Предполагал что вроде должно быть возможно если обучать в одном месте а использовать в другом, менее ресурсоёмком
источник

RS

Roman Sharkov in Глубинное обучение (группа)
видимо мои мысли и представления не так далеки от реальности
источник

EM

Evgenii Makarov in Глубинное обучение (группа)
Сложно вам будет. Вы должны проделать домашнюю работу, пощупать распознавание образов своими руками, а иначе это получается как ребёнка учить матанализу
источник

RS

Roman Sharkov in Глубинное обучение (группа)
Evgenii Makarov
Сложно вам будет. Вы должны проделать домашнюю работу, пощупать распознавание образов своими руками, а иначе это получается как ребёнка учить матанализу
мы лёгких путей не ищем)) но говоря по теме, конечно да, всё верно, для реализации потребуется немалый капитал
источник

YB

Yuri Baburov in Глубинное обучение (группа)
Roman Sharkov
ну насколько я понимаю распознание лиц не требует сложной нейросети, для этого есть алгоритмы в OpenCV
OpenCV не даст вам фич лица, а только найдёт его положение на фото (причём найдёт лишь с вероятностью 80%).
источник

YB

Yuri Baburov in Глубинное обучение (группа)
а без фич вы Васю от Пети не отличите.
источник

RS

Roman Sharkov in Глубинное обучение (группа)
Yuri Baburov
а без фич вы Васю от Пети не отличите.
как я собственно и описал: "распознание лиц без идентификации самой персоны"

таким образом можно дать пользователю возможность определить абстрактным лицам имена и человек тем самым их сам групирует по личностям
источник

YB

Yuri Baburov in Глубинное обучение (группа)
Roman Sharkov
@yuri_baburov предполагаю что обучение таких сетей не совсем дешёвое, ведь в основном нужен огромный сток структурированных данных и в добавок немалую команду data инженеров для того чтоб обучить сеть

это дейстивтельно только под силу таким дата-гигантам как Google и Facebook? которые на публичных данных могут обучать иск. нейросети?
чушь. это доступно не только гигантам, но какие-то деньги для этого всё же нужны: на видюшки, на инженера по подготовке данных и на инженера по нейросетям.
источник