SS
я прост опока смотрю на многопоточность и голова взрывается 🙂 на второй неделе изучения сложно врубиться пока что
Size: a a a
2020 May 03
A
можно так же посмотреть в сторону asyncio. Там для понимания немного проще
SS
о спасибо - щас это гляну
A
возможно тебе подойдет именно этот вариант
SS
спасибо!
A
если в кратце - то в главном потоке ты проходишь по списку сайтов, и запускаешь асинхронную функцию проверки. Результат в виде ожидания ты дожидаешься управляюще конструкцией await. Как только он приходит - процесс сам переключается на его обработку, складывая, например, данные в БД
A
но пока он выполняется, процесс работает без остановки и обрабатывает дальнейшие инструкции
A
есть еще grequests, позволяющий асинхронно обработать множество соединений
A
там вообще магия)
SS
если в кратце - то в главном потоке ты проходишь по списку сайтов, и запускаешь асинхронную функцию проверки. Результат в виде ожидания ты дожидаешься управляюще конструкцией await. Как только он приходит - процесс сам переключается на его обработку, складывая, например, данные в БД
теория мне примерно ясна - вот когда код смотрю - тогда голова и взрывается...
A
кстати, для проверки сайтов grequests подойдет более чем
SS
кстати, для проверки сайтов grequests подойдет более чем
дело в том - что при проверке сайтов - я не считываю их по одному - я выгружаю из базы один раз весь список и потом проверяю их
A
типичный пример использования:
import grequests
urls = ['http://example.com', 'http://ya.ru', ... ]
reqs = []
for url in urls:
reqs.append(grequests.get(url)) #тут еще не выполняется запрос
for response in grequests.map(reqs): #а вот тут выполняется в 16 потоков
if response.statusCode == 200 : # объект response такой же, как у обычного requests
#тут что то делаешь
SS
типичный пример использования:
import grequests
urls = ['http://example.com', 'http://ya.ru', ... ]
reqs = []
for url in urls:
reqs.append(grequests.get(url)) #тут еще не выполняется запрос
for response in grequests.map(reqs): #а вот тут выполняется в 16 потоков
if response.statusCode == 200 : # объект response такой же, как у обычного requests
#тут что то делаешь
спасибо за пример. Я как ращз буду делать сейчас проверку доменов (штук 60к за раз) - это пригодится
AT
k(
'\
H\
e\
l\
l\
o\
,\
\
w\
o\
r\
l\
d\
!'
)
тогда можно сделать вот такя сделал но в 35 строк
ПЯ
2 строки всего
AT
k(
'\
H\
e\
l\
l\
o\
,\
\
w\
o\
r\
l\
d\
!'
)
тогда можно сделать вот тако, сделал в 33! кек
ПЯ
там после равно можно не ставить перенос вроде