AB
ну есть ещё хитрые алгоритмы, которые сначала считают в FP32 на GPU, а потом на CPU рубят FP64.
звучит круто, и как по перфомансу?
Size: a a a
2020 October 12
IJ
им и fp8 хватает
Хуяк-хуяк и готово xD
FO
звучит круто, и как по перфомансу?
хренова. но считает быстрее, чем чисто FP64
FO
но много так делать не умеет
AB
хренова. но считает быстрее, чем чисто FP64
Хм, ну так это ведь замечательно!
FO
Хм, ну так это ведь замечательно!
прогать такое боль... ну и это работает только на длинных траекториях FP32, а они обычно 5-6 шагов на 15....
AB
прогать такое боль... ну и это работает только на длинных траекториях FP32, а они обычно 5-6 шагов на 15....
А, ясно, нюансы значит.
FO
хотя вот производить первичные оптимизации прикольно такими алгоритмами
O
IJ
[:||||:]
g
им и fp8 хватает
FP16. Когда-нибудь я займусь дипленингом и разберусь, почему это работает. :)
c
Славный капитан
... а потому что там ошибка системы на пару порядков больше погрешности 16-битных флоатов
... а потому что там ошибка системы на пару порядков больше погрешности 16-битных флоатов
g
Славно!
g
Ещё есть bfloat16, где экспонента
8 бит занимает.
8 бит занимает.
g
Пишут, что работает лучше float16. Но у меня пока никакой интуиции на этот счёт нет. :)
c
Minoru
утро!
утро!
g
Minoru, скалаутро!
c
Minoru
@gsomix: неплохо!
@gsomix: неплохо!
O
Славный капитан
... а потому что там ошибка системы на пару порядков больше погрешности 16-битных флоатов
... а потому что там ошибка системы на пару порядков больше погрешности 16-битных флоатов
что это значит?
t
На выставке CES 2020 компания AMD анонсировала ряд продуктов, которые скоро появятся в продаже:
64-ядерный десктопный Ryzen Threadripper 3990X за $3990 (с 7 февраля)
всё ещё 3990 стоит ...
https://www.amazon.com/AMD-Ryzen-Threadripper-3990X-128-Thread/dp/B0815SBQ9W