Size: a a a

2021 April 18

i

i in Scrapy
с одной стороны они вроде утверждают, что на 351-400 месте по миру:
https://tusur.ru/en/news-and-events/news/item/-/novost-tusur-ranked-in-the-emerging-economies-university-rankings-2021
с другой (по-первоисточнику):  https://www.timeshighereducation.com/world-university-rankings/2020/world-ranking#!/page/0/length/25/name/tomsk/sort_by/rank/sort_order/asc/cols/stats
Рейтинг как у средне-обычного российского вуза. Не удивлюсь, если  даже алгоритмы не проходят. С другой стороны - рейтинг в целом как у какого-нибудь московского-питерского вузка после первой семерки, что очень даже неплохо. Если нет возможности/денег/мозгов поехать учиться в мск-питер в вузы выше уровнем с этого же рейтинга, или еще лучше -  поступить в бакалавриат заграницу, по всяким там программам не помню их названия, то  почему-бы и нет.
Про тонкости в провинциальном вузе и какое-то разгорание интереса, даже в городе милионнике - смешно. Учи английский+читай оффдоки+вырабатывай свой собственный интерес.
источник

i

i in Scrapy
dataset + postgres звучит хорошо, единственно датасет будет плакать, что он работает в мультитреде, я хз как с ним правильно общаться для этого, но в принципе оно у меня взлетает, потому-что я из базы делаю только проверки вида "нет ли у меня этого товара из другого источника". Если пытаться одновременно записывать, без организации пулинга, там уже оно будет помирать с воплями "я одна база а вас много".
источник

i

i in Scrapy
сделано на пиве, но походу это теперь промстандарт парсинг-индустрии, ахахаха
источник

i

i in Scrapy
А, я понял почему там такой разрыв, это "Emerging Economies University Rankings", а не просто Rankings
источник

МС

Михаил Синегубов... in Scrapy
Хз. Почитал про тесты производительности и глянул как писать. Выбрал пивко 😏
источник

i

i in Scrapy
ну я тоже за, в целом если что и реально обламывает по-скорости, так это сеть, остальное не так существенно, ну будет на проверке из кэша не 4к, а 3к элементов городить, какая разница, если сам сервак от силы 500 в минуту может выдать.
источник

МС

Михаил Синегубов... in Scrapy
Ну, хз. Алхимия мне показалась тормозной. Но, может, это просто показалось
источник
2021 April 19

AT

Andy Top in Scrapy
Спасибо большое )
источник

TM

Thiago Muller in Scrapy
heey guys
how is it going?
How do you guys keep your ip rotating whe crawling?
By using tor, privoxy and stem?
источник

TM

Thiago Muller in Scrapy
I added those to my project, but that degraded performance of my crawler by 30 seconds
источник

S

SoHard 🎄 in Scrapy
don't use tor for scraping
источник

П

Пастырь in Scrapy
Посоветуйте прокси для Авито ? :D
источник

П

Пастырь in Scrapy
В сторону мобильных смотрю. Но там ограничение на TCP соединение в 50
источник

D

Djony in Scrapy
Почему?
источник

S

SoHard 🎄 in Scrapy
он не для этого сделан
источник

МС

Михаил Синегубов... in Scrapy
скорее всего, долго и уперто перебирать разных хостеров.
В большинстве своем они задрочены на авите до ужаса.
источник

П

Пастырь in Scrapy
а мобильные?
источник

МС

Михаил Синегубов... in Scrapy
то же самое.
ты же не думаешь, что ты первый решил их использовать и ты первый решил поискать проксю?
проси на тест проксю на сервисах. Обычно за 1-2 часа становится понятно, стоит ли их юзать дальше
источник

МС

Михаил Синегубов... in Scrapy
тест или манибек практически на всех сервисах есть.
да, и говори сразу что под авиту, чаще всего сразу честно признаются тянут или нет
источник

R

Rafil in Scrapy
как эмулировать браузера, с помощью requests или aiohttp
источник