Sounds legit

Видимо просто так сложилось

Вот, кстати, взгляд о том, что нужно гореть проектом, работать в жизни на любимой работе, а тогда и деньги будут  - мне кажется туфтой. Очень рад, что Вам в жизни повезло, и Вы получаете удовольствие от работы сильнее, чем от зп. Но!!! У всех людей разные сферы интересов. Я не получаю такого удовольствия от работы (возможно, действительно не нашёл работу мечты, да и сейчас я студент, по профессии прогера ещё не работал ), но в целом, мне кажется работать за деньгами - более чем адекватный взгляд на жизнь. Работа должна приносить деньги, хобби - удовольствие. Если повезло совместить - круто

Опять тригеры подвезли

А есть в чатике люди шарящие за CUDA и Torch?

Торчи, так сказать)))

шарю за CUDA, не шарю за Торч :)

Если коротко: train process нормально считается на всех 8 картах, а eval process стакается на самой первой карте и провоцирует out of memory

Тип создаются восемь eval process и все идут на одну карту, вместо нормального распределения

Вообще хз что делать

через что карты общаются

То ись? DataParallel или DistributedDataParallel?

MPI? отличаются ли реализации распределения задач у этих процессов

Смотрел по клду, используемой библиотеки - не нашел

Не нашел четкого и ясного описания интерфейса передачи

Юзаю huggingface transformers

либо там криво сделано, либо криво используется тобой :D

https://github.com/TatProg/bertugan_sample/tree/master/mlm/for_github

По сути, я все дефолтное юзаю

"повезло с работой" не совсем верно
у меня много примеров, когда человек менял свою нелюбимую профессию на профессию своего хобби и она ему доставляла и больше радости в жизни, и денег

например, мой школьный учитель информатики в перерывах между уроками расставлял свои палатки в школе, карабины, веревки какие-то, а на выходных ходил в тур-походы и лазил по горам. Работая учителем информатики в топой школе города он не мог себе представить другой работы. Но чет у него там в семье вроде поменялось, он уволился из школы и стал подрабатывать пром.альпинистом, потом стал учить этому ремеслу весь МЧС, открыл свою школу, сертифицирует других, авторитетный чел на уровне России, ну деньги есть

есть обратные примеры, когда в погоне за деньгами, люди сгорают, деградируют и становятся незаметными, все у них в жизни плохо, а денег постоянно не хватает

искать работу (а точнее занятие) мечты не нужно, оно либо возникнет само, либо уже есть. Но мне пришлось много поработать перед тем, как позволить себе заниматься любимой деятельностью и получать от нее отдачу (финансовую). Например, я копил деньги, откладывал с зарплаты, чтобы уволиться и открыть своё дело на эти деньги и не помереть какое-то время с голода. Денег не хватило )) Пришлось еще работать....короче долгий путь, но интересный. И он есть у каждого, но не каждый по нему пробует пойти.

твоя трабла как понял описана тут
https://discuss.pytorch.org/t/out-of-memory-error-during-evaluation-but-training-works-fine/12274