с одной стороны они вроде утверждают, что на 351-400 месте по миру:
https://tusur.ru/en/news-and-events/news/item/-/novost-tusur-ranked-in-the-emerging-economies-university-rankings-2021
с другой (по-первоисточнику):  https://www.timeshighereducation.com/world-university-rankings/2020/world-ranking#!/page/0/length/25/name/tomsk/sort_by/rank/sort_order/asc/cols/stats
Рейтинг как у средне-обычного российского вуза. Не удивлюсь, если  даже алгоритмы не проходят. С другой стороны - рейтинг в целом как у какого-нибудь московского-питерского вузка после первой семерки, что очень даже неплохо. Если нет возможности/денег/мозгов поехать учиться в мск-питер в вузы выше уровнем с этого же рейтинга, или еще лучше -  поступить в бакалавриат заграницу, по всяким там программам не помню их названия, то  почему-бы и нет.
Про тонкости в провинциальном вузе и какое-то разгорание интереса, даже в городе милионнике - смешно. Учи английский+читай оффдоки+вырабатывай свой собственный интерес.

dataset + postgres звучит хорошо, единственно датасет будет плакать, что он работает в мультитреде, я хз как с ним правильно общаться для этого, но в принципе оно у меня взлетает, потому-что я из базы делаю только проверки вида "нет ли у меня этого товара из другого источника". Если пытаться одновременно записывать, без организации пулинга, там уже оно будет помирать с воплями "я одна база а вас много".

сделано на пиве, но походу это теперь промстандарт парсинг-индустрии, ахахаха

А, я понял почему там такой разрыв, это "Emerging Economies University Rankings", а не просто Rankings

Хз. Почитал про тесты производительности и глянул как писать. Выбрал пивко 😏

ну я тоже за, в целом если что и реально обламывает по-скорости, так это сеть, остальное не так существенно, ну будет на проверке из кэша не 4к, а 3к элементов городить, какая разница, если сам сервак от силы 500 в минуту может выдать.

Ну, хз. Алхимия мне показалась тормозной. Но, может, это просто показалось

Спасибо большое )

heey guys
how is it going?
How do you guys keep your ip rotating whe crawling?
By using tor, privoxy and stem?

I added those to my project, but that degraded performance of my crawler by 30 seconds

don't use tor for scraping

Посоветуйте прокси для Авито ? :D

В сторону мобильных смотрю. Но там ограничение на TCP соединение в 50

Почему?

он не для этого сделан

скорее всего, долго и уперто перебирать разных хостеров.
В большинстве своем они задрочены на авите до ужаса.

а мобильные?

то же самое.
ты же не думаешь, что ты первый решил их использовать и ты первый решил поискать проксю?
проси на тест проксю на сервисах. Обычно за 1-2 часа становится понятно, стоит ли их юзать дальше

тест или манибек практически на всех сервисах есть.
да, и говори сразу что под авиту, чаще всего сразу честно признаются тянут или нет

как эмулировать браузера, с помощью requests или aiohttp