Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 August 08

M

Maxim in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Alexey Yurasov
я бы посмотрел мануалы как параллелить обучение и инференс на гпу
и если используете готовые модели, они бывают разной эффективности и скорости, надо тогда сравнивать и выбирать
те думаешь что проблема в железе.. я просто обучал -то на куда-серваке.. а генерю на обычном пк/сервере...1080 gtx /i5 2,66 / i7  2018 serv//причем даж векторизацию заново не делаю и тд.. тупо гружу все что можно... возможно я как то не так данные в потоки передаю.. тензорфлоу тоже любит вредничать с ними...в итернете есть примере распаралеливание обучения а вот примеры с выводом результатов чето вообще нема
источник

AY

Alexey Yurasov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Maxim
те думаешь что проблема в железе.. я просто обучал -то на куда-серваке.. а генерю на обычном пк/сервере...1080 gtx /i5 2,66 / i7  2018 serv//причем даж векторизацию заново не делаю и тд.. тупо гружу все что можно... возможно я как то не так данные в потоки передаю.. тензорфлоу тоже любит вредничать с ними...в итернете есть примере распаралеливание обучения а вот примеры с выводом результатов чето вообще нема
сравни инференс cpu и gpu
и посмотри другие модели, у меня некотороые, для object detection, тоже неприлично долго считались даже на гпу
а устроила по скорости faster_rcnn_nas_coco
вот мой пример инференса на гпу, если что
https://github.com/format37/tfodModelBanknotes/blob/master/using/detection_9_off.py
источник

M

Maxim in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Alexey Yurasov
сравни инференс cpu и gpu
и посмотри другие модели, у меня некотороые, для object detection, тоже неприлично долго считались даже на гпу
а устроила по скорости faster_rcnn_nas_coco
вот мой пример инференса на гпу, если что
https://github.com/format37/tfodModelBanknotes/blob/master/using/detection_9_off.py
спасибо гляну👍
источник

AS

Alex Surname in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Maxim
да... но никак не хочет скорость увеличивать... пробовал config.intra_op_parallelism_threads выставить.. и ощущение что стало только хуже.... ад какой то.. я гпу не использую.. пытаюсь на 100 процентов процессор загрузить.. но никак... тупо отжирается память и линукс прибивает его... тестил на 200....с 15 проработало сутки результат 2к... а модель 50 мб....с мультипроцессингом еще хуже там почему то локи глючат .. скрипт тупо висит
нужно считать на гпу
источник
2020 August 09

RZ

Rustam Zaripov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Друзья, кто-нибудь использовал ИИ для поведенческой аналитики на сайте и повышения конверсии? Напишите в личку, есть проект для вас
источник
2020 August 10

K

Kamoliddin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

K

Kamoliddin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
ребят есть такой .txt файл. Как его можно в pandas dataframe перевести ?
источник

ЕТ

Евгений Томилов... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

М

Михаил in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
вот кстати интересно, как прогнозировать выручку ресторана к примеру(имеются выбросы в таргете)? имеет ли смысл логарифмировать таргет?
источник

S

Ssv in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Михаил
вот кстати интересно, как прогнозировать выручку ресторана к примеру(имеются выбросы в таргете)? имеет ли смысл логарифмировать таргет?
Смотря для какого алгоритма и какое у вас там распределение таргета.
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Михаил
вот кстати интересно, как прогнозировать выручку ресторана к примеру(имеются выбросы в таргете)? имеет ли смысл логарифмировать таргет?
ога, для начала порисуй распределения и пришли сюда, а то так не понятно
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
но логарифмировать, вроде, не затратно, можешь логнуть и посмотреть, что вышло
источник

М

Михаил in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Maxim Cheparin
ога, для начала порисуй распределения и пришли сюда, а то так не понятно
ок, я потом точно скажу какое распределение
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
А я вам уже рассказывал про небольшой, но просто очаровательный канал «Machine, are you learning?» от нашего коллеги из чатика @infatum ?
Вот рассказываю! https://t.me/ml_learning
Подписка, лайк, шер, и машины обучать :)
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
а ещё мне очень симпатично название канала :)
источник

A

Andrey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
одно время этот канал тут часто звучал
источник

I

Infatum in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dan • Captain
а ещё мне очень симпатично название канала :)
Спасибо большое  🥰😍
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dan • Captain
А я вам уже рассказывал про небольшой, но просто очаровательный канал «Machine, are you learning?» от нашего коллеги из чатика @infatum ?
Вот рассказываю! https://t.me/ml_learning
Подписка, лайк, шер, и машины обучать :)
а что там такого? за все лето только немного очередных непонятных курсов и с виду интересное видео про топологический анализ данных
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Maxim Cheparin
а что там такого? за все лето только немного очередных непонятных курсов и с виду интересное видео про топологический анализ данных
Сегодня про либу хорошую рассказали, до этого годные ссылки кидали
источник

MC

Maxim Cheparin in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dan • Captain
Сегодня про либу хорошую рассказали, до этого годные ссылки кидали
это типо личный storage?
источник