VA
Ну я о том и говорю. Не важно каким инструментом ты разбираешь html, это синхронно в любом случае. И быстро. Смысл асинхронки - не ждать в IO процессах.
Size: a a a
2021 June 18
VA
И им можешь. Без разницы.
K
Вы увеличили карму Vadim Apenko до 7830.65 (+7.07)
A
Ну так а скрапи сам по себе асинхронно запросы на нужные сайтики прокидывает, и вообще полный фарш.
VA
Твоя задача получить страницу через aiohttp, засунуть код страницы в bs4 и распарсить.
🧢
спасибо ❤️
K
Вы слишком часто меняете карму
¯
просто запросы будут отправляться асинхронно не ожидая полностью получения одного ответа, а проведения парсинга с помощью bs4 не займет много времени(я надеюсь) как время ожидания ответа
¯
долго печатаю))
🧢
Я могу пример привести
🧢
Смотри, мой парсер парсит 10 стр в среднем 6-8 минут
🧢
объявления
¯
не надо)), я и так много отвлекаюсь))
🧢
а асинхронный парсер может в 10 тасков пропарсить 10 стр за 1 минуту
A
Если по делу, то загугли scrapy
A
Чтобы интегрироваться с ботом - scrapyrt
🧢
насколько я знаю, для моих задач мне именно нужен asyncio + aiohttp + bs4
🧢
самое быстрое решение