D
Size: a a a
2020 October 21
A
ну интересует большой проект. Не 1 инстанс)
A
у меня щас 3 инстанса маслает 3 месяця, но все сделано на коленке
OS
ага, спасибо, реально в месяц 👍👍👍
A
хочу сделать все с веб интерфейсом и на много юзеров
A
на команду в 5 чел
A
и запускать скреперс от 100 айтемов до 5млн
OS
Andrii
и запускать скреперс от 100 айтемов до 5млн
айтемы это что?
A
айтемы это что?
scraped items =)
D
https://youtu.be/hc5_FvnInnc ну вот фирма юзает скрапи в промышленных масштабах. юзают aws, посмотри видео. мож будет полезно.
A
типа страниц
OS
https://youtu.be/hc5_FvnInnc ну вот фирма юзает скрапи в промышленных масштабах. юзают aws, посмотри видео. мож будет полезно.
спасибо
A
https://youtu.be/hc5_FvnInnc ну вот фирма юзает скрапи в промышленных масштабах. юзают aws, посмотри видео. мож будет полезно.
очень спс
ЛГ
почитал про прокси, мне даже мои итшники дали функцию для получения списка прокси, привинтил в реквесты в мету, на первой странице сразу падаю по 302
ЛГ
домысел, потому что первый запрос идет не через прокси? а еще ОЧЕНЬ много некорелирующей между собой инфы
ЛГ
в интернете
ЛГ
Это какой такой информации?
Про надобность прописывания чего-то в сеттингах и про то, что ничего не надо писать и просто лопатить в реквесты
К
почитал про прокси, мне даже мои итшники дали функцию для получения списка прокси, привинтил в реквесты в мету, на первой странице сразу падаю по 302
Фришных?