Size: a a a

Scalability Camp — чат про распределенные системы (и про HPC)

2020 July 16

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
источник

AS

Alexander Shinkarenk... in Scalability Camp — чат про распределенные системы (и про HPC)
Начал слушать ваш подкаст. Есть вопрос. А почему вы считаете что питон стримит Netflix? CDN у них на FreeBSD и nginx
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Alexander Shinkarenko
Начал слушать ваш подкаст. Есть вопрос. А почему вы считаете что питон стримит Netflix? CDN у них на FreeBSD и nginx
Да, на так не стоило бы говорить. У них всего лишь инфраструктура выкатывается питоном:
The network devices that underlie a large portion of the CDN are mostly managed by Python applications
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
ну дык asyncio из-за GIL он для CPU bound Задач ну вообще не упирается
Саша правильно советует =)
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Асинк нужен для io bound задач, причем тут цпу
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Ruslan Chekalov
Асинк нужен для io bound задач, причем тут цпу
перечитайте внимательно, что я написал
на всякий случай повторю
я написал - что asyncio _не_подходит_ для cpu bound задач из-за GIL ... это утверждение не противоречит утверждению async io предназначен для iobound ;)
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
перечитайте внимательно, что я написал
на всякий случай повторю
я написал - что asyncio _не_подходит_ для cpu bound задач из-за GIL ... это утверждение не противоречит утверждению async io предназначен для iobound ;)
Не из-за гил
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Из-за асинхронной модели
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Знаешь как epoll работает?
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
Да
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Ruslan Chekalov
Знаешь как epoll работает?
Можно без кидания понтов в этом чате?
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Zlata Obukhovskaya
Можно без кидания понтов в этом чате?
источник

RC

Ruslan Chekalov in Scalability Camp — чат про распределенные системы (и про HPC)
Ну Злат
источник

AB

Aleksandr Borgardt in Scalability Camp — чат про распределенные системы (и про HPC)
@lynxed  права
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Это нормально, когда кто-то чего-то не знает или допускает неточности. Я за то, чтобы вести дискуссию цивилизованно, чтобы не выставлять других людей дураками.
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Но формально Руслан прав :) asyncio не подходит для cpu bound задач, потому что это библиотека не для параллелизма, а для асинхронного ввода-вывода.
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Ruslan Chekalov
Знаешь как epoll работает?
прикинь, я даже знаю чем он от kqueue отличается, хотя признаюсь, детали за последние 10 лет позабыл

и еще я знаю что можно было бы повесить несколько event loop в разные threads
и что event в event loop это не обязательно I/O event и это точно не syscall epoll ;)

есть еще и queue
но увы как раз GIL в cpython это все положит на лопатки...

но ты продолжай в том же духе,
я с удовольствием послушаю, пусть цветут все цветы

просто CPU bound без io bound не бывает, данные надо куда то складывать, даже если "кудато" это графический pipeline в GPU ...
источник

S

Slach in Scalability Camp — чат про распределенные системы (и про HPC)
Zlata Obukhovskaya
Но формально Руслан прав :) asyncio не подходит для cpu bound задач, потому что это библиотека не для параллелизма, а для асинхронного ввода-вывода.
ну первоначально да, но потом вообще то это стало некой достаточно убогой реализацией CSP с футурами и т.п.
так что да, для ввода вывода ее в основном и используют
источник

ZO

Zlata Obukhovskaya in Scalability Camp — чат про распределенные системы (и про HPC)
Slach
ну первоначально да, но потом вообще то это стало некой достаточно убогой реализацией CSP с футурами и т.п.
так что да, для ввода вывода ее в основном и используют
Concurrency is not parallelism :) Если прямо сейчас исчезнет Gil, асинкио не сможет эффективно помогать выполнять cpu-bound задачи :)
источник

MB

Makc Belousow in Scalability Camp — чат про распределенные системы (и про HPC)
Zlata Obukhovskaya
Но формально Руслан прав :) asyncio не подходит для cpu bound задач, потому что это библиотека не для параллелизма, а для асинхронного ввода-вывода.
Но в тоже время, асинхронщину можно использовать для управлению cpu-bound задачами выполняемыми в других потоках\процессах.
источник