другое дело, penalty за ютилизацию и траффик )

но на счет этого пока не знаю, тренирую модель с чтением батчей с смонтированного гугл драйва, пока что не убили ))

Офк нет, каждый новый файл это дополнительный вызов к файловой системе

Попробуй даже просто на диске миллион мелких файлов скопировать или один большой, и удивись

но тут еще насколько я понимаю, не только файловая система трудиться,
если драйв и машина коллаба это разные машины, то есть лежать на разных серверах, в разных локациях, они контактируют через socket-ы наверное, а для юзера это виртуальная одна файловая система.

То есть запрос на перелокацию файлов, это открытие сокета, пересылка, закрытие. И тут вопрос какой оверхед больше. Ну если конечно так эта виртуальная система устроена. Если конечно у каждого юзера коллаба "его" драйв находится рядом с его локальной памятью коллаба, и там чисто по PCI еще каким-то проводным способом передача данных, как на диске, то тогда наверное да.

Поэтому я ранее написал, что хз как эта вся виртуальная система поставлена.
Но если это действительно через драйв апи, за которой сокеты и передача данных клиент-сервер, то наверное в таком случае распределить бы было эффективнее. Учитывая что гугл драйвов много, и там сеть серверов, юзеров и т.д.

не ?

помоему это все таки две разные файловые системы контактирующие друг с другом удаленно, даже после монтирования. Так как делая write через коллаб меняется размер файла на драйве. Ну а привязывая их физической близостью было бы трудно и неэффективно наверное. Коллаб и драйв для каждого юзера. Хотя ... кто знает. Плюсы, минусы.

ща перетащить попробую глянем )
архивировать десяятки гигов тоже не дешевое удовольствие

Это делается один раз

Есть что-нибудь?

20 часов тренируется 15 эпох

Уже есть 8 эпох, стабильно падает mAP, уже 0.0261👍

Кстати, при батче 64 быстрее конвержится. Разница скорости эпохи час 10 против час 20.

tiny yolo на coco? А железо какое?

colab, v100

привет ребят. Решил поиграться с рекуррентными сетками, придумал себе задачу - реализовать xor на последовательности(1й скрин). Типа y_t = xor(x_t-1, x_t). Добился запускаемости, но вот только она нифига не обучается. Думаю, где то есть структурная ошибка

Это весь код? Я не вижу собственно обучения, т.е. model.fit()

прошу прощения, забыл

количество эпох не влияет на обучение*