Телеграмм чат группы rubyschool страница 7858

2020 April 20

SR

Shattered Ruby in Чат руби-школы

Stas N

Всем привет, кто читал книжку самоучитель ruby Симдянова. Там есть главы по ror ? Кто в курсе мб

в чате сам автор есть
можете у него поподробнее спросить

источник

17:22пожаловаться #1

KR

Kill Real in Чат руби-школы

Dastan A.K

Adress.each do |a|
response = []
request = a.Faraday.[some_method]
Unless request != request.http_[some_your_result]
response.push(request.some_response)
else
some_yor_method
end
end

Задача у меня следующая я хочу парсить объявления с авито, он блочет ip моего сервера, я пробовал посылать запросы через бесплатные прокси адреса, но как правила приходят разные ошибки либо таймаутов либо кривые респонсы со странными ответами в боди, может есть у кого то use case-ы по парсу чтобы обходить блокировку, методом перебора или возможно есть более лучшие способы ? Не нашёл надёжные прокси (( слышал ещё про прокси tor, пока не тестировал

источник

17:22пожаловаться #2

V

Vitaliy in Чат руби-школы

Kill Real

Задача у меня следующая я хочу парсить объявления с авито, он блочет ip моего сервера, я пробовал посылать запросы через бесплатные прокси адреса, но как правила приходят разные ошибки либо таймаутов либо кривые респонсы со странными ответами в боди, может есть у кого то use case-ы по парсу чтобы обходить блокировку, методом перебора или возможно есть более лучшие способы ? Не нашёл надёжные прокси (( слышал ещё про прокси tor, пока не тестировал

по хорошему Вам нужно будет много proxy + user agent регулярно менять, всячески показывать что Вы реальный чел(либо Вас 1000 реальных челов). По бесплатным прокси, никто не даст гарантии, что они не отвалятся через 5 секунд ...

источник

17:31пожаловаться #3

V

Vitaliy in Чат руби-школы

Kill Real

Задача у меня следующая я хочу парсить объявления с авито, он блочет ip моего сервера, я пробовал посылать запросы через бесплатные прокси адреса, но как правила приходят разные ошибки либо таймаутов либо кривые респонсы со странными ответами в боди, может есть у кого то use case-ы по парсу чтобы обходить блокировку, методом перебора или возможно есть более лучшие способы ? Не нашёл надёжные прокси (( слышал ещё про прокси tor, пока не тестировал

в Avito тоже не дураки сидят и всячески препятствуют нагрузке на их серваки ))

источник

17:33пожаловаться #4

V

Vitaliy in Чат руби-школы

Kill Real

Задача у меня следующая я хочу парсить объявления с авито, он блочет ip моего сервера, я пробовал посылать запросы через бесплатные прокси адреса, но как правила приходят разные ошибки либо таймаутов либо кривые респонсы со странными ответами в боди, может есть у кого то use case-ы по парсу чтобы обходить блокировку, методом перебора или возможно есть более лучшие способы ? Не нашёл надёжные прокси (( слышал ещё про прокси tor, пока не тестировал

Вы пытаетесь парсить в один или сразу в несколько потоков ?

источник

17:34пожаловаться #5

KR

Kill Real in Чат руби-школы

Vitaliy

Вы пытаетесь парсить в один или сразу в несколько потоков ?

в несколько

источник

17:38пожаловаться #6

KR

Kill Real in Чат руби-школы

Vitaliy

в Avito тоже не дураки сидят и всячески препятствуют нагрузке на их серваки ))

да я понимаю)))

источник

17:38пожаловаться #7

KR

Kill Real in Чат руби-школы

Kill Real

Задача у меня следующая я хочу парсить объявления с авито, он блочет ip моего сервера, я пробовал посылать запросы через бесплатные прокси адреса, но как правила приходят разные ошибки либо таймаутов либо кривые респонсы со странными ответами в боди, может есть у кого то use case-ы по парсу чтобы обходить блокировку, методом перебора или возможно есть более лучшие способы ? Не нашёл надёжные прокси (( слышал ещё про прокси tor, пока не тестировал

я бы и купил прокси, но как правило брал ключ доступа на proxyhub и особо не сказал бы что там надежно проверенные прокси для парсаа, поэтому не помогло

источник

17:39пожаловаться #8

V

Vitaliy in Чат руби-школы

Kill Real

я бы и купил прокси, но как правило брал ключ доступа на proxyhub и особо не сказал бы что там надежно проверенные прокси для парсаа, поэтому не помогло

В парсинге не только proxy решающую роль играет, механизм отслеживания, не такой простой, там совокупность. К примеру, могут отслеживать по частоте запросов ( запрос ровно каждую секунд/минуту, ни больше не меньше ) Для этого можно дополнительно ввести рандомное время запроса, типа от 1,133434536 - 5,32435321 секунды.

источник

17:50пожаловаться #9

KR

Kill Real in Чат руби-школы

Vitaliy

В парсинге не только proxy решающую роль играет, механизм отслеживания, не такой простой, там совокупность. К примеру, могут отслеживать по частоте запросов ( запрос ровно каждую секунд/минуту, ни больше не меньше ) Для этого можно дополнительно ввести рандомное время запроса, типа от 1,133434536 - 5,32435321 секунды.

угу, про это читал, спасиб

источник

17:57пожаловаться #10

DA

Dastan A.K in Чат руби-школы

Kill Real

я бы и купил прокси, но как правило брал ключ доступа на proxyhub и особо не сказал бы что там надежно проверенные прокси для парсаа, поэтому не помогло

Тут дело такое, что дешевле? Покупать ключ к прокси серверам и пытаться парсить разными методами, что нет гарантии....или получить официальный партнерски API от Авито (json,xml)....?

источник

18:38пожаловаться #11

KR

Kill Real in Чат руби-школы

Dastan A.K

Тут дело такое, что дешевле? Покупать ключ к прокси серверам и пытаться парсить разными методами, что нет гарантии....или получить официальный партнерски API от Авито (json,xml)....?

ну дешевле без оф апи конечно)))))))

источник

19:48пожаловаться #12

R

R - G in Чат руби-школы

Всем доброй ночи!
Подскажите.
Застрял на "домашнем задании" про массивы в хэше.
Не могу понять, почему в моём примере не выводит количество элементов в массиве.
Понимаю, что скорее всего не правильно задаю это требование .
Задача: при введении слов "cat"/"girl"/"dog" вывести количество переводов; вывести сами переводы.

источник

21:38пожаловаться #13

R

R - G in Чат руби-школы