🐙
Подскажите, у меня функция с for циклом работает долго и занимает только одно ядро. Есть ли возможность без участия мозга ускорить обработку?
@threads, его надо перед циклом добавить, он попробует его распаралеллитьSize: a a a
2020 July 18
АО
Есть макрос, кажется
АО
Но разумеется работает не всегда.
🐙
Спасибо, попробую
AK
Ну и ещё
@inbounds @fast и @simd, но будет ли заметно ускорение, зависит от того, что в циклеАО
Тогда и @avx ещё до кучи
АО
И ещё @view если срезы массивов делаются (самая распространённая ошибка)
🐙
@threads отлично завелись, теперь функция будет считаться 5 часов вместо трёх дней. Race condition я не устранял, для меня пока не критично. Про остальные макро почитаю, спасибо. Пока что в восторге от того, как легко завелось.
KT
Круто, интересно что за loop такой, что там 5 дней считает
АО
5 часов O_O
Я тогда рекомендую ее очень хорошо попрофилировать, скорее всего много лишнего происходит.
Я тогда рекомендую ее очень хорошо попрофилировать, скорее всего много лишнего происходит.
АО
Хотя я понимаю :-) если есть сервер, который простаивает, то запускаешь код на выходные и идёшь с друзьями на пикник :-) Оптимадьность кода тогда не так уж и важна.
KT
либо какие-то очень специальные математические вычисления, либо какое-нибудь секвенирование генома, для которого лучше готовые пакеты использовать )
АО
Я так grid search делал. Конечно есть всякие байесовские методы, но мало ли, вдруг ошибёшься. А так все просто, запустил и пошёл.
Зато на выходе получается бейзлайн на который можно уже всякие более хитрые и быстрые методы настраивать.
Зато на выходе получается бейзлайн на который можно уже всякие более хитрые и быстрые методы настраивать.
АО
Ну а то, что пару дней - см выше, выходные, море, пикник. Машины работают, люди отдыхают, все счастливы :-)
🐙
либо какие-то очень специальные математические вычисления, либо какое-нибудь секвенирование генома, для которого лучше готовые пакеты использовать )
Проще, корпус на 300,000 текстов, лексикон 60к, считаю матрицу со-появлений. Эта функция есть в dev версии TextAnalysis (у меня стоит stable), но мне захотелось руками попробовать оценить производительность решения "в лоб". Как минимум в половину время можно сократить если считать только нижнюю треугольную матрицу, а не целиком, как сейчас :)
АО
Ммм... чую есть там лишние аллокации :-) и на таких размерах их очень много и они здорово процесс тормозят.
2020 July 22
AP
Товарищи, а апи телеграма на джулии никто не юзает? Казалось бы, есть пакет https://github.com/Arkoniak/Telegram.jl, но он только для ботов как я понял. Мне бы обычное апи, не ботовое.
АО
А что значит обычное? Есть api чтобы свой клиент написать, но это как-то чересчур. Хотя наверное тоже полезно.
АО
Какая задача решается?