Size: a a a

Compiler Development

2020 December 05

DF

Dollar Føølish in Compiler Development
Не слышал
источник

AG

Alex Gryzlov in Compiler Development
типа не так важна точность как скорость реакции
источник

AT

Alexander Tchitchigi... in Compiler Development
Alex Gryzlov
ещё кстати был ребрендинг в fast data
Да там придумали Big Data, Fast Data, Diverse Data Trinity. Или как-то так. 🤷‍♀
источник

AG

Alex Gryzlov in Compiler Development
это на волне перехода от пакетных методов типа мапредюса к потоковым типа спарк-стриминг
источник

AT

Alexander Tchitchigi... in Compiler Development
ЦЕРН смотрит на всю эту клоунаду со снисхождением, конечно. 😂
источник

AG

Alex Gryzlov in Compiler Development
так у церна все эти методы и взяты :)
источник

AT

Alexander Tchitchigi... in Compiler Development
Alex Gryzlov
так у церна все эти методы и взяты :)
По-моему ещё очень сильно не все.
источник

PS

Pavel Samolysov in Compiler Development
Да, fast data это всякие кафка стримы. Биг дата это все же не датасайнс как по мне, датасайнс чаще реализуется машинным обучением, а биг дата это было больше про обработку неструктурированных данных. До этого были да и есть хранилища данных, оракл и ибм со товарищи делали специальные железки для них, это про огромные массивы структурированных данных в СУБД (все транзакции за год и предварительно посчитанная аналитика по ним, по которой потом строятся всякие отчёты).
источник

AG

Alex Gryzlov in Compiler Development
ну аналитика часто мл-методами и считается
источник

PS

Pavel Samolysov in Compiler Development
Чтобы снизить уровень оффтопа в репозитории Clang была ветка куда коммитили применение классического ML (в виде random forest) для не знаю чего, скорее для оптимизации. Но сейчас заняты более важными вещами: master в main переименовывают.
источник

AK

Andrei Kurosh in Compiler Development
Pavel Samolysov
Чтобы снизить уровень оффтопа в репозитории Clang была ветка куда коммитили применение классического ML (в виде random forest) для не знаю чего, скорее для оптимизации. Но сейчас заняты более важными вещами: master в main переименовывают.
👍
источник

AK

Andrei Kurosh in Compiler Development
Красаучики
источник

PS

Pavel Samolysov in Compiler Development
Сейчас не могу найти, убрали все нерелизные ветки, только мэйн оставили.
источник

AK

Andrei Kurosh in Compiler Development
Ну увы, сейчас это данность любого крупного проекта
источник

PS

Pavel Samolysov in Compiler Development
Это да. А по поводу ML есть движение и в обратную сторону: основные вендоры используют компиляторные технологии для компиляции моделей нейросетей как AoT, так и JIT. У Facebook в их pytorch это glow, у Google в tensorflow - Xla, у Intel - ngraph. Всё построены на основе LLVM, кстати. Пробовал xla, но он компилировал только для GPU, а у ngraph не ощутил никакого прироста скорости, ванильный tf его опережал как на прямом проходе, так и на обратном (на x86). Видел вакансии типа разработчик компилятора для deep learning, но увы не у нас.
источник

DP

Dmitry Ponyatov in Compiler Development
Pavel Samolysov
Это да. А по поводу ML есть движение и в обратную сторону: основные вендоры используют компиляторные технологии для компиляции моделей нейросетей как AoT, так и JIT. У Facebook в их pytorch это glow, у Google в tensorflow - Xla, у Intel - ngraph. Всё построены на основе LLVM, кстати. Пробовал xla, но он компилировал только для GPU, а у ngraph не ощутил никакого прироста скорости, ванильный tf его опережал как на прямом проходе, так и на обратном (на x86). Видел вакансии типа разработчик компилятора для deep learning, но увы не у нас.
а есть что-то заточенное для ARM Mali G-31 ?
источник

PS

Pavel Samolysov in Compiler Development
Dmitry Ponyatov
а есть что-то заточенное для ARM Mali G-31 ?
Все эти компиляторы в основном и строят для компиляции в код специализированных процессоров, я так понимаю чтобы сами монстры типа tensorflow за собой не тащить. А так вот она модель в виде нескольких объектных файлов, осталось только обучить.
источник

PS

Pavel Samolysov in Compiler Development
Про конкретно Мали не знаю.
источник

h

hazer_hazer in Compiler Development
Привет. Можете плиз объяснить зачем в llvm взятие типов реализовано через LLVMContext?
Зачем типы хранить в контексте? int он ведь везде int
источник

AT

Alexander Tchitchigi... in Compiler Development
hazer_hazer
Привет. Можете плиз объяснить зачем в llvm взятие типов реализовано через LLVMContext?
Зачем типы хранить в контексте? int он ведь везде int

typedef double int

?
источник