Как раз ORB и используют. Проблема в том, что там изображения идентичны полностью, а у меня есть различия некоторые. Но я не думал, что все эти алгоритмы будут настолько плохо работать. Ибо на фото выше есть огромное кол-во частей похожих почти идентично... Например, копеек точно можно было бы обнаружить. Я пытался уменьшить разрешение, делать блюр, делать кани, вырезать круг с помощью hough. Всё без толку....

всем привет. кто может подсказать как распаралелить Tensorflow. Кое-как сделал модель/обучил, Примитив для генерации всякой фигни.. Но проблема в том, что одна генерация занимает слишком много времени - при небольшом объеме модели...Я пытался через threading сделать, толку нету. первое время вроде чуть побыстрей было, но чем больше по времени работало тем все медленней было..Остались еще процессы, стоит пробовать или еще что-то есть ?

os.environ["CUDA_VISIBLE_DEVICES"]="0,1,2" ну и перечислить все gpu что есть

насколько я помню тензорфлоу и так их все видит. там нужно модель саму паралелить

Всем привет. Подскажите как лучше сразу пустить в трейн много моделей на одних и тех же данных.
Вопрос стоит в подборе сервера, где можно сразу много моделей затренить или очень быстро по одной...
С целью подобрать лучшую архитектуру. (желательно написать ещё и стоимость)

колаб в полтора раза медленее моего компьютера, так что его не стоит предлагать...

Ну так зайдите гугл или амазон клауд и гляньте цены.

Есть еще вариант vast.ai, сначала очень обрадовался их ценам, но работает в стиле дешевого хостинга, может в любой момент перестать работать.
(через этот сервис народ шарит свои сервера пока они не задействованы)
Но как вариант временно орендовать пачку дешевых инстансов на короткое время. Но никто ничего не гарантирует, в том числе и конфеденциальность.

Есть еще различные мелкие хостинги gpu, тоже с пробными дешевыми периодами.

Так я не самый профи и даже не знаю как поставить несколько трейнов, если прийдется... Поэтому и сюда пишу, вдруг есть какие-то сверхбыстрые (типо SNAP) или специально нацеленные на параллельность...

Создайте отдельные инстансы и там банально отдельно запускайте тренировку каждой модели.

Окей, спасибо

По поводу vast.ai, если уже запущен то он не перестает работать, всё норм. Если вырубишь и потом захочешь запустить то не факт что получится, но цена в 10 раз меньше чем aws.

Да, там есть такая проблема. Но зато можно найти очень дешевые варианты.

Добрый день, а кто-нибудь применял few-shot learning для классификации интентов пользователя в goal-oriented ботах? Какие методы применялись? Есть какие-то подводные камни?

Всем привет!
Можете покидать статьи/примеры по созданию рекомендательных систем (как у амазона, озона, любого другого маркета)?

да... но никак не хочет скорость увеличивать... пробовал config.intra_op_parallelism_threads выставить.. и ощущение что стало только хуже.... ад какой то.. я гпу не использую.. пытаюсь на 100 процентов процессор загрузить.. но никак... тупо отжирается память и линукс прибивает его... тестил на 200....с 15 проработало сутки результат 2к... а модель 50 мб....с мультипроцессингом еще хуже там почему то локи глючат .. скрипт тупо висит

os.environ["CUDA_VISIBLE_DEVICES"]="-1 у меня вот так

-1 это значит gpu не использовать. в этом случае считать будет только на cpu

да...я в курсе. спасибо

я бы посмотрел мануалы как параллелить обучение и инференс на гпу
и если используете готовые модели, они бывают разной эффективности и скорости, надо тогда сравнивать и выбирать

а сори тут уже переписка состоялась я все пропустил 😅