SA
Ммм. I see...
Size: a a a
2021 June 23
SA
Спасибо большое )
W
Здравствуйте
Как можно делать запросы используя прокси, но только если домен входит в белый список, а иначе - без прокси?
Как можно делать запросы используя прокси, но только если домен входит в белый список, а иначе - без прокси?
W
не проверяя непосредственно перед каждым запросом
это можно автоматизировать?
это можно автоматизировать?
N
пример можно пожалуйста? какой запрос куда отправляем и куда он должен пойти
W
const whitelist = 'a-whitelisted-website.com'
axios.get('https://not-whitelisted-website.com/api/test') // без прокси
axios.get('https://a-whitelisted-website.com/api/test') // с прокси
S🛸
Не проверяя совсем не получится
S🛸
Для axios можно использовать перехватчики
W
я имел ввиду не делая это каждый раз вручную
W
это будет работать с axios.interceptors.request.use и внутри него добавлением agent-а в config если домен совпадает?
N
да, либо если там не работает пишите обертку над аксиосом которая будет под капотом проверять домен
R
Привет ребят. Целый день ищу решение проблемы не могу найти.
Задача такая. Сделать так чтобы можно было подписаться на страницу и когда челик подписываеться каждые х секунд будет запрос на страницу с х прокси делаться.
Я сделал типо просто масив класов в котором async метод вызываеться и там внутри while (true) await sleep()
Но когда больше 25-30 воркеров начало попадать внутрь просто event loop задыхаеться хотя там почти везде асинхронные код только 1-2 места где робота над маленьких масивом.
Так вот вопрос как сделать такое мне надо чтоб око 1400 таких тасков могло вытащить.
Есть советы
Задача такая. Сделать так чтобы можно было подписаться на страницу и когда челик подписываеться каждые х секунд будет запрос на страницу с х прокси делаться.
Я сделал типо просто масив класов в котором async метод вызываеться и там внутри while (true) await sleep()
Но когда больше 25-30 воркеров начало попадать внутрь просто event loop задыхаеться хотя там почти везде асинхронные код только 1-2 места где робота над маленьких масивом.
Так вот вопрос как сделать такое мне надо чтоб око 1400 таких тасков могло вытащить.
Есть советы
N
Такс, какая изначально задача? Зачем делать запросы?
R
Проверять не вернуться ли предмет в продажу на амазон м тд
KK
superstruct если ts в проекте
N
1. У амазона разве нет апи для этого или даже вебхуков?
2. А как воркеры запускаються? Можно какой то код с примером?
2. А как воркеры запускаються? Можно какой то код с примером?
R
Возможно и есть но они не позволены и у меня не только амазон
В
парси страницу с товаром
R
Та я так и делаю проблема в том что нода не вытягивает воркеров