*при условии, что нет пула. А если есть пул - то см. пункт выше про то, шо нафига тебе асинхронщина)

** это все при условии того, что я правильно понял и генерация токена не привязана жестко к ip и другим параметрам прокси

У меня пул пополняется по мере необходимости во время парсинга.
Если вопрос в этом.
Я могу его сгенерить, но я же "с мидлварями разбираюсь"
Если разберусь, у меня 2-3 фичи в мозгах сформируются.

Я же не только конкретную задачу решаю, а ещё и учусь😏

ну тоже норм подход, небольшая тактическая потеря для стратегического преимущества в будущем)

Хелоу, нужен совет. ТЗ сделать поиск слов в гугле а потом построить таблицу на которых доменах чаще всего встречались слова. Как лучше ето реализировать?

подскажите где взять не дорогой windows сервер?

Кто-то знает какую-то тулзу или как можно удобно получить путь к какому-то полю в джсоне, если я знаю значение, но там столько вложенности что сложно переписывать?

Вроде пайчарм умеет что-то такое, или я путаю

Если и умеет, то я не в курсе)

Обход дерева

copy JSON pointer

но оно копирует какой-то /3/data/business/categories/0/root/title

Ага, интересная штука, твой ответ навел меня на второй вариант https://stackoverflow.com/questions/46213819/how-to-copy-a-path-in-a-json-in-intellij-idea

$[3].data.business.categories[0].root.title

ага

о, пока общаетесь, вчерашний мой вопросик :)

народ, нубятский вопрос, как в treq подсунуть проксю? гугла не хочет признаваться....😒

предыстория (может я где не прав) - пишу менеджер токенов в зависимости от прокси, токен привязываю к прокси. В мидлваре смотрю, если нет для этого прокси токена - запрашиваю на сайте. "По феншую", токен надо хапрашивать с той же проксей, с какой он будет использоваться.
Вот как раз для этого запроса и хочу treq пользовать.

Или что посоветуете, для асинхронного запроса "на месте" из мидлваре?

@wrar42 - можешь пнуть в верном направлении?
когда-то писал что в мидлваре "на месте - treq c await".
все норм, только я на проксе споткнулся, мне запрос из мидлвари надо через проксю отправить

юзай crawler.engine.download