OB
Size: a a a
2021 January 29
Е
Ребята а такой вопрос:
Есть сайт с текстовыми отзывами (типа форума)
Хочу посты распарсить и скрапингом выкачать (ну в какой формат пока даже не знаю, просто табличку или json)
Собственно вопрос, я делал такое в питоне когда-то, но он же типа медленный.
Собсно вопрос:
1) будет ли профит в скорости скачивания если делать на Ди?
2) какие-то доп либы есть кроме request для этого? В пайтоне-то много разных
Есть сайт с текстовыми отзывами (типа форума)
Хочу посты распарсить и скрапингом выкачать (ну в какой формат пока даже не знаю, просто табличку или json)
Собственно вопрос, я делал такое в питоне когда-то, но он же типа медленный.
Собсно вопрос:
1) будет ли профит в скорости скачивания если делать на Ди?
2) какие-то доп либы есть кроме request для этого? В пайтоне-то много разных
1) не думаю
2) std.net.curl
2) std.net.curl
И
Ребята а такой вопрос:
Есть сайт с текстовыми отзывами (типа форума)
Хочу посты распарсить и скрапингом выкачать (ну в какой формат пока даже не знаю, просто табличку или json)
Собственно вопрос, я делал такое в питоне когда-то, но он же типа медленный.
Собсно вопрос:
1) будет ли профит в скорости скачивания если делать на Ди?
2) какие-то доп либы есть кроме request для этого? В пайтоне-то много разных
Есть сайт с текстовыми отзывами (типа форума)
Хочу посты распарсить и скрапингом выкачать (ну в какой формат пока даже не знаю, просто табличку или json)
Собственно вопрос, я делал такое в питоне когда-то, но он же типа медленный.
Собсно вопрос:
1) будет ли профит в скорости скачивания если делать на Ди?
2) какие-то доп либы есть кроме request для этого? В пайтоне-то много разных
как ни странно профит по сравнению с питоном может быть в приятности кодирования
И
почему? ranges, алгоритмы, ufcs вместо стандартного питоновского намного приятнее
И
для парсинга самое то
DP
DP
:)
2021 January 30
JF
Ребята а такой вопрос:
Есть сайт с текстовыми отзывами (типа форума)
Хочу посты распарсить и скрапингом выкачать (ну в какой формат пока даже не знаю, просто табличку или json)
Собственно вопрос, я делал такое в питоне когда-то, но он же типа медленный.
Собсно вопрос:
1) будет ли профит в скорости скачивания если делать на Ди?
2) какие-то доп либы есть кроме request для этого? В пайтоне-то много разных
Есть сайт с текстовыми отзывами (типа форума)
Хочу посты распарсить и скрапингом выкачать (ну в какой формат пока даже не знаю, просто табличку или json)
Собственно вопрос, я делал такое в питоне когда-то, но он же типа медленный.
Собсно вопрос:
1) будет ли профит в скорости скачивания если делать на Ди?
2) какие-то доп либы есть кроме request для этого? В пайтоне-то много разных
Будет, но только если у тебя будет многопоточность, возможно ещё и с асинхронностью
JF
Я как-то сталкивался с проблемами в производительности питона, против решения на C++ (по-моему) по части веб скрейпинга. Так вот питон жрал CPU и чтобы догнать то решение на C++ надо было запустить 4-5 процессов одновременно
JF
В питоне многопоточность немного тормознутая из-за GIL
DH
В питоне многопоточность немного тормознутая из-за GIL
Наскок я помню, что у питона есть что-то типа тредпула, только вместо потоков — процессы
JF
Наскок я помню, что у питона есть что-то типа тредпула, только вместо потоков — процессы
Да, модуль multiprocessing
JF
Можно создавать процессы и общаться с ними удобно