Во всяком случае я пытался что то делать с pmap, но он сходу не заработал, и я пока что оставил эту тему

Идея очень простая: например, есть вектор длиной в 512 элементов, каждый элемент которого обрабатывается независимо от других. Можно все 512 элементов обрабатывать один за другим, а можно распределить по ядрам процессора: например, если ядер 8, то первые 1:64 обрабатывает 1-й поток, 65:128 - второй поток, и т.д.
Это разумно, естественно и реально сокращает время вычислений в разы

Поскольку обычно время создания потока тоже заметно, стараются использовать их по нескольку раз для разных параллельных вычислений. для этого создают "наборы" потоков, пулы, которым просто раздают задания различными механизмами. Но в общем-то для действительно ресурсоёмких вычислени можно создавать/уничтожать потоки каждый раз - время их создания будет всё равно незаметно на фоне общего времени исполнения.

Да, я думаю использовать Julia для скачивания grib2-файлов и вычисления прогноза погоды "в точке". Там как раз параллельная обработка полезна.
Это просто для того, чтобы "разминать мозг", потому что моя нынешняя работа разминает скорее нервы :)

Собственно, суть в том, что до тех пор, пока каждый поток обрабатывает свои данные и нет необходимости держать пул потоков - всё и выглядит, и работает не сложнее циклов.

Проблемы начинаются  ровно тогда, когда разные потоки должны получать доступ к постоянно изменяющимся общим данным, т.е. не всегда могут выполняться действительно параллельно.

Да, насчёт pmap спасибо, не знал о нём :)

У меня одно из бутылочных горлышек - преобразование фурье двоичной последовательеости длинной очень, даже не знаю, как его параллелить, возможно с нуля писать придется

Если код преобразования не очень длинный - кидайте на pastebin и ссылку сюда, коллективным  разумом посмотрим, что можно сделать

Есть ещё gist.github.com

И jupyter :)

Вообще-то для разгонов лучше использовать какие-нибудь видеокарты -- сегодня штатные именно эти решения. А есть ещё звери типа https://julialang.org/blog/2016/03/parallelaccelerator

Да, соглашусь. Я просто по традиции больше на не чисто вычислительные задачи ориентируюсь

Этого добра для параллельных вычислений много, для разного сорта задач.

Привет мехмату с физтеха)

Страшно признавать, но когда-то мне в голову вбили указатели. И теперь я их даже немного люблю

А создание тредов незаметно уже на каких-нибудь минутных задачах.

И даже на секундных иногда проще создать тредов, чем ждать исполнения

В переводе книги Шеррингтона  о Julia допущен замечательный ляп: "все нечётные числа - простые". И это ещё повторяется неоднократно в главе про области видимости.

Причём забавно, что приведённый там кусок кода только названием функции allods даёт явные основания полагать, что где-то ошибся переводчик