Size: a a a

2021 January 14

DN

Dmitry Nagovitsin in DevOps Moscow
Михаил SinTeZoiD
Хорошо. Уточню вопрос. Что идёт на курсе операционные системы в частности?
о, хороший есть курс
источник

J

Jenny in DevOps Moscow
Dmitry Nagovitsin
Алгоритмы, Миш
Нах не надо на 2 этапе
источник

J

Jenny in DevOps Moscow
Алгоритмы должны идти после языка, а не до
источник

DN

Dmitry Nagovitsin in DevOps Moscow
Михаил SinTeZoiD
Хорошо. Уточню вопрос. Что идёт на курсе операционные системы в частности?
источник

DN

Dmitry Nagovitsin in DevOps Moscow
вот на мой взгляд хороший курс
источник

J

Jenny in DevOps Moscow
Jenny
Алгоритмы должны идти после языка, а не до
При этом сначала алгебра логики, потом алгоритмы, если у человека нет тех образования
источник

J

Jenny in DevOps Moscow
Рушана
мне знакома твоя боль
источник

TB

Timur Batyrshin in DevOps Moscow
классный стикерпак
источник

J

Jenny in DevOps Moscow
Timur Batyrshin
классный стикерпак
Да, мне тоже нравится :)
источник

NK

Nick Kritsky in DevOps Moscow
Jenny
Никто не ждёт от человека ответственности уровня айтишника. Ждёшь ответственности уровня человека разумного
Звучит логично. Уметь приходить вовремя, звонить если не можешь прийти. Переспросить если непонятно. Базовые навыки которые можно получить работая летом в макдаке
источник

J

Jenny in DevOps Moscow
Nick Kritsky
Звучит логично. Уметь приходить вовремя, звонить если не можешь прийти. Переспросить если непонятно. Базовые навыки которые можно получить работая летом в макдаке
Угу
источник
2021 January 15

П

Петр in DevOps Moscow
Привет
Может кто-нибудь помочь советом?
Есть задача спарсить 20кк страниц по url.
Каким образом это можно сделать с одного компа за минимальное время? Пробовал на питоне написать, но выходит одчень медленно и не получается полностью нагрузить сеть. В 4к потоков появляются очень большие задержки на каждый запрос. Из этого вопрос, возможно ли это вообще на питоне и если невозможно, то в какую сторону смотреть?
источник

R

Rushan in DevOps Moscow
Петр
Привет
Может кто-нибудь помочь советом?
Есть задача спарсить 20кк страниц по url.
Каким образом это можно сделать с одного компа за минимальное время? Пробовал на питоне написать, но выходит одчень медленно и не получается полностью нагрузить сеть. В 4к потоков появляются очень большие задержки на каждый запрос. Из этого вопрос, возможно ли это вообще на питоне и если невозможно, то в какую сторону смотреть?
я бы посмотрел на scrapy + возможность запускать их параллельно: https://docs.scrapy.org/en/latest/topics/practices.html#distributed-crawls
источник

VR

Vladimir Ryumin in DevOps Moscow
Петр
Привет
Может кто-нибудь помочь советом?
Есть задача спарсить 20кк страниц по url.
Каким образом это можно сделать с одного компа за минимальное время? Пробовал на питоне написать, но выходит одчень медленно и не получается полностью нагрузить сеть. В 4к потоков появляются очень большие задержки на каждый запрос. Из этого вопрос, возможно ли это вообще на питоне и если невозможно, то в какую сторону смотреть?
на Go goroutines попробуй, но мб это просто твой потолок на железе 4К потоков. И думаю без тюнинга ядра если ты на Linux не обойтись 😊
источник

П

Петр in DevOps Moscow
Vladimir Ryumin
на Go goroutines попробуй, но мб это просто твой потолок на железе 4К потоков. И думаю без тюнинга ядра если ты на Linux не обойтись 😊
Спасибо, посмотрю, как можно реализовать такой скрипт на GO. А с производительностью не все так однозначно. Тут есть интересная закономерность. Начиная примерно с 500 потоков, скорость никак не меняется. При этом при запуске скрипта нагрузка на сеть довольно хорошая 5млн байт в секунду, но со всременем она падавет од 0.5 млн байт в секунду. Думаю, что дело не в железе. Тем более пробовал запускать на разных компах.
источник

П

Петр in DevOps Moscow
Rushan
я бы посмотрел на scrapy + возможность запускать их параллельно: https://docs.scrapy.org/en/latest/topics/practices.html#distributed-crawls
Спасибо, попробую
источник
2021 January 17

SB

Sergg Bobrov in DevOps Moscow
Друзья, кто-нибудь работал с контейниризацией node-js микросервисов? Необходимо собрать несколько сервисов из одного репозитория, зависимости у них прописаны в одном package.json и соответсвенно каждому контейнеру нужны свои зависимости, как их передать в контейнер? Есть вариант хранить node_modules в общем томе и прокидывать через volume либо для каждого контейнера устанавливать свои зависимости из разных package.json, но техлид эти варианты отмёл.  Общаются сервисы по очередям, через воркеров bullMQ, кеширует redis. Хз, что он хочет ещё. Какие вообще best practice существуют по архитектуре микросервисов?

"один репозиторий на все 3 приложения (http server + 2 ms)
- 1 package.json
- три разных Dockerfile, для каждого мс
- 1 общий docker-compose.yml
- volumes - нет"
такие вводные
источник

K

Kuroi in DevOps Moscow
Sergg Bobrov
Друзья, кто-нибудь работал с контейниризацией node-js микросервисов? Необходимо собрать несколько сервисов из одного репозитория, зависимости у них прописаны в одном package.json и соответсвенно каждому контейнеру нужны свои зависимости, как их передать в контейнер? Есть вариант хранить node_modules в общем томе и прокидывать через volume либо для каждого контейнера устанавливать свои зависимости из разных package.json, но техлид эти варианты отмёл.  Общаются сервисы по очередям, через воркеров bullMQ, кеширует redis. Хз, что он хочет ещё. Какие вообще best practice существуют по архитектуре микросервисов?

"один репозиторий на все 3 приложения (http server + 2 ms)
- 1 package.json
- три разных Dockerfile, для каждого мс
- 1 общий docker-compose.yml
- volumes - нет"
такие вводные
Ну если техлид отмёл эти варианты, то остался только один - переписать сервис на го
источник

SB

Sergg Bobrov in DevOps Moscow
Kuroi
Ну если техлид отмёл эти варианты, то остался только один - переписать сервис на го
Ок, так а как вообще это делается по правильному? Есть какая-то практика устоявшаяся?
источник

K

Kuroi in DevOps Moscow
При билде контецнера npm i и не слушать тимлида, кто из вас двоих  девапс?
источник