Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 June 27

VK

Vladimir Komissarov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dmytro Hrebeniuk
Обучать кстати на целочисленной арифметике не выйдет
Хм. А как же tensor processor unit от гугла?
Там разве не целочисленная? Вроде даже с пониженной точностью (8 бит), если не ошибаюсь.
источник

DH

Dmytro Hrebeniuk in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
она float, просто точность понижается
источник

DH

Dmytro Hrebeniuk in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Современные TPU тоже float умеют
источник

DH

Dmytro Hrebeniuk in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Из-за особенностей алгоритма обратной распространения ошибки, нужно считать значение производной по формуле, вроде такакая: dx = (1-x^2). Она работает только на маленьких значениях(дробях).
Пускай кто-то поправит, если я херню сказонул)
Ну дроби всегда можна как-то семулировать, но это уже не простое решение.
источник

DH

Dmytro Hrebeniuk in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Я думаю для обучения ничего не изобретете, современные GPU/TPU и так выжимаю как могут.
источник

DH

Dmytro Hrebeniuk in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
В вот запускать на каком-то микроконтролере может что-то и выйдет.
источник

VK

Vladimir Komissarov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dmytro Hrebeniuk
Из-за особенностей алгоритма обратной распространения ошибки, нужно считать значение производной по формуле, вроде такакая: dx = (1-x^2). Она работает только на маленьких значениях(дробях).
Пускай кто-то поправит, если я херню сказонул)
Ну дроби всегда можна как-то семулировать, но это уже не простое решение.
Да, понимаю.
Оттого и коэффициенты у обученной сети едва отличаются от единицы.
источник

VK

Vladimir Komissarov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dmytro Hrebeniuk
В вот запускать на каком-то микроконтролере может что-то и выйдет.
Да, именно.
Думал о реализации на сях и запуска параллельно на нескольких дешманских МК, либо эмуляция на аналоговых элементах (но там очень сложная дичь получается даже для простого нейрона), либо на ПЛИС пробовать.
Вариант с сотней МК по 20 центов пока что выглядит самой многообещающей.
источник

VK

Vladimir Komissarov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Спасибо за подсказки!
источник

MK

Michael Kirovych in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ребят, привет.

Извините за нубский вопрос, но нигде не смог найти, и решил спросить тут

— можно ли в Sequential модели сделать так, чтобы после каждой эпохи, перед следующей, происходил shuffle трен. базы? Может есть какой-то параметр в model. compile()?
источник

Ю

Юра Незнанов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Michael Kirovych
Ребят, привет.

Извините за нубский вопрос, но нигде не смог найти, и решил спросить тут

— можно ли в Sequential модели сделать так, чтобы после каждой эпохи, перед следующей, происходил shuffle трен. базы? Может есть какой-то параметр в model. compile()?
Не знаю как в керасе, но в торче за это отвечает класс датасета а не нейронка...
источник

С🥔

Скрудж 🥔 in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Michael Kirovych
Ребят, привет.

Извините за нубский вопрос, но нигде не смог найти, и решил спросить тут

— можно ли в Sequential модели сделать так, чтобы после каждой эпохи, перед следующей, происходил shuffle трен. базы? Может есть какой-то параметр в model. compile()?
источник

NN

No Name in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Vladimir Komissarov
В рекуррентной, насколько я понял, для нейрона может существовать обратная связь со своей АЧХ и ФЧХ (регулировка амплитуды воздействия или же задержки).
Со сверточными совсем беда, их плохо понимаю и оставил напоследок.

Но, грубо говоря, если смоделировать отдельный базовый нейрон (сумма произведений + нелинейная функция активации), то на базе такой упрощенной модели можно составить сеть в общем-то любого масштаба и почти любой архитектуры (за исключением сверточной). Верен ли этот тезис?
Тезис верен, и для сверточных сетей он тоже верен. Просто там не каждый нейрон связан с каждым, а группа нейронов с предыдущего слоя с одним в следующем.
источник

NN

No Name in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Причём веса, с которыми эта группа активирует нейрон следующего слоя одинаковы для всего слоя
источник

DO

Denis Obolenskiy in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Всем привет! Подскажите пожалуйста, какое железо нужно для анализа больших данных? Датасет около 50-70 гигов, задачи: очистка, классификация, построение графа и визуализация.
Может есть облачные варианты или можно на vps это запустить?
источник

DD

Dima Dzundza in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Denis Obolenskiy
Всем привет! Подскажите пожалуйста, какое железо нужно для анализа больших данных? Датасет около 50-70 гигов, задачи: очистка, классификация, построение графа и визуализация.
Может есть облачные варианты или можно на vps это запустить?
Минимум Google Colab
источник

DD

Dima Dzundza in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ограничение на 12 Гб оперативной памяти, но думаю семплы из датасета брать не составит труда
источник

DD

Dima Dzundza in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Вроде такой размер датасета загрузить можно, но если нельзя, то можно ещё Гугл диск на 100 Гб прикупить за 2 доллара
источник

DO

Denis Obolenskiy in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Спасибо большое
источник

EZ

Evgenii Zheltonozhsk... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dmytro Hrebeniuk
А сверточные?
А у сверточной просто много нулей
источник