Size: a a a

Scalability Camp — чат про распределенные системы (и про HPC)

2020 September 01

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Aleksandr Borgardt
не видел посмотрю
там не DAG ... концепт другой
но там можно скрестить graphql и clickhouse в одном флаконе...

дык это, а ты какой DAG впилил?? человеческое лицо чье? Твое? ;)
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
там не DAG ... концепт другой
но там можно скрестить graphql и clickhouse в одном флаконе...

дык это, а ты какой DAG впилил?? человеческое лицо чье? Твое? ;)
мое + unix like pipe
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Aleksandr Borgardt
мое + unix like pipe
;) ну ок =)) на C++?? ;)

если у тебя unix pipe
тогда у тебя не савсем DAG ...
сложно как мне кажется разветвленные DAG делать
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
;) ну ок =)) на C++?? ;)

если у тебя unix pipe
тогда у тебя не савсем DAG ...
сложно как мне кажется разветвленные DAG делать
@Enchantner  призываю специалиста по магии pipe
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
;) ну ок =)) на C++?? ;)

если у тебя unix pipe
тогда у тебя не савсем DAG ...
сложно как мне кажется разветвленные DAG делать
есть немного он и python есть
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
чочо
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
на пайпах можно даги делать
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
на пайпах можно даги делать
погодите, но КАК?

для меня pipe это всегда цепочка прямая
без разветвлений

разве можно сделать
      / task2 \
task1<         > task4
     \ task3 /

на pipes?
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
погодите, но КАК?

для меня pipe это всегда цепочка прямая
без разветвлений

разве можно сделать
      / task2 \
task1<         > task4
     \ task3 /

на pipes?
а кто тебя остановит? у тебя приложения же пишут на стандартный вывод все одновременно
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
берешь этот вывод и кидаешь дальше
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
GNU Parallel в помощь
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
или даже xargs :)
источник

MB

Makc Belousow in Scalability Camp — чат про распределенные системы (и про HPC)
пожно разные выводы разными пайпами обрабатывать
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
а раскажи как оно там внутри
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
дык пайп - это ж просто сишный примитив с двумя файловыми дескрипторами. Пишешь в один - вылетает из другого, блокирование/буферизацию обеспечивает ось
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
их в программе можно сколько угодно сделать, это и делает гнупараллел - плодит по пайпу на каждый сабпроцесс
источник

N

Nikolay in Scalability Camp — чат про распределенные системы (и про HPC)
а выходной у них всех все равно смешивается в stdout
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Nikolay
дык пайп - это ж просто сишный примитив с двумя файловыми дескрипторами. Пишешь в один - вылетает из другого, блокирование/буферизацию обеспечивает ось
ок имеется ввиду что out file descriptor может быть один и тот же у двух разных input file descriptor?
ну ок
источник

MB

Makc Belousow in Scalability Camp — чат про распределенные системы (и про HPC)
{ { echo a; echo >&2 b; } 2>&3 | sed >&2 's/$/1/'; } 3>&1 1>&2 | sed 's/$/2/'
источник

ME

Mikhail Epikhin in Scalability Camp — чат про распределенные системы (и про HPC)
знал я как-то одного чувака, который сам написал map-reduce framework на баше для баша, чтобы логи обрабатывать на всех ядрах, потом его в дурку забрали конечно
источник