Size: a a a

2020 December 05

V

Valter in pro.python
Victor
Уверены, что это именно бан? Какие признаки?
заголовок и содержание страницы
403 Доступ с вашего IP-адреса временно ограничен — Авито
источник

A

Aliaksei Karatynski in pro.python
Valter
заголовок и содержание страницы
403 Доступ с вашего IP-адреса временно ограничен — Авито
Прокси юзал?
источник

V

Valter in pro.python
угу. Результата норм. Причем и тор пробовал, и на роутере менял ip. Нихера. Как так то?
источник

V

Valter in pro.python
За что они там зацепляются?
источник

V

Victor in pro.python
Valter
угу. Результата норм. Причем и тор пробовал, и на роутере менял ip. Нихера. Как так то?
Я думаю, что проблема где-то в копировании поведения браузера. Они могут вычислять, браузер это или какой-то другой клиент HTTP даже по неявным признакам
источник

V

Victor in pro.python
К примеру, если там используется сжатие gzip, то в requests тоже должно использоваться
источник

V

Victor in pro.python
Если там есть какие-то специфичные заголовки, то в requests тоже должны быть
источник

V

Victor in pro.python
Попробуйте, работает ли получение данных с помощью cURL
источник

V

Victor in pro.python
В отладчике Chrome есть возможность скопировать любой запрос с вкладки Network как cURL
источник

N

Neo in pro.python
Кто-нибудь знает, как долго будет работать бесплатный heroku worker, если не заходить в аккаунт?
источник

AF

Alex Familiya in pro.python
Есть кто учился или учится по книге Меле Антонио? Застрял на Parler
источник
2020 December 06

M

Maretsky in pro.python
Valter
Народ, может у кого был опыт. Написал парсер сайта Авито на requests. Парсит только одну страницу и делает это раз в час.  До поры - до времени это работало норм. Сейчас стали банить. Что я только не делал: менял хедеры, менял ip - один хрен. Скрипт запускаю на ПК, а вот если с этого же ПК захожу через браузер - то все норм. Можете подсказать, как обойти блокировку?
Юзер агент сфейкуй
источник

M

Maretsky in pro.python
Мб поможет
источник

/

/dev/desider in pro.python
Panchenko Andrey
С таки вопросами в соседний. В бегиннерс
А если там забанили?
источник

PA

Panchenko Andrey in pro.python
/dev/desider
А если там забанили?
То не факт что тут не забанят:)
источник

M

Maretsky in pro.python
Устанавливаю Chrome на vps через paramiko, но он не устанавливается
`i = 0
   while i < ServersNumber:

       ChromeLocal = ('C:/infinite/packages/chrome.deb')
       ChromeRemote = ('/home/chrome.deb')

       client = paramiko.SSHClient()
       client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

       client.connect(hostname=host[i], username='root', key_filename = 'C:/infinite/servers/key')
       hostname = host[i]
       print(hostname)
       sftp = client.open_sftp()
       stdin, stdout, stderr = client.exec_command('apt-get update')
       print(stdout.readlines())
       sftp.put(ChromeLocal, ChromeRemote)
       stdin, stdout, stderr = client.exec_command('dpkg -i chrome.deb')
       print(stdout.readlines())
       stdin, stdout, stderr = client.exec_command('apt-get install -f')
       print(stdout.readlines())
       stdin, stdout, stderr = client.exec_command('Y\n')
       print(stdout.readlines())        
       client.close()
       i+=1`
Получаю:
['Hit:1 http://ru.archive.ubuntu.com/ubuntu bionic InRelease\n', 'Get:2 http://ru.archive.ubuntu.com/ubuntu bionic-updates InRelease [88.7 kB]\n', 'Get:3 http://ru.archive.ubuntu.com/ubuntu bionic-backports InRelease [74.6 kB]\n', 'Get:4 http://security.ubuntu.com/ubuntu bionic-security InRelease [88.7 kB]\n', 'Fetched 252 kB in 1s (267 kB/s)\n', 'Reading package lists...\n']
['(Reading database ... 59368 files and directories currently installed.)\n', 'Preparing to unpack chrome.deb ...\n', 'Unpacking google-chrome-stable (87.0.4280.66-1) over (87.0.4280.66-1) ...\n', 'Processing triggers for mime-support (3.60ubuntu1) ...\n', 'Processing triggers for man-db (2.8.3-2ubuntu0.1) ...\n']
Пробовал по разному устанавливать и сам деб файл на сервер загружал и через wget, не работает. apt-get install -f На это получаю долгую загрузку в консоли и ничего в итоге не происходит.
источник

M

Maretsky in pro.python
И текст команды с консоли не возвращается в итоге
источник

/

/dev/desider in pro.python
Panchenko Andrey
То не факт что тут не забанят:)
А как мне там разбан получить? Можно контакты админов с той группы
источник

PA

Panchenko Andrey in pro.python
/dev/desider
А как мне там разбан получить? Можно контакты админов с той группы
Это не ко мне
источник

PA

Panchenko Andrey in pro.python
Maretsky
Устанавливаю Chrome на vps через paramiko, но он не устанавливается
`i = 0
   while i < ServersNumber:

       ChromeLocal = ('C:/infinite/packages/chrome.deb')
       ChromeRemote = ('/home/chrome.deb')

       client = paramiko.SSHClient()
       client.set_missing_host_key_policy(paramiko.AutoAddPolicy())

       client.connect(hostname=host[i], username='root', key_filename = 'C:/infinite/servers/key')
       hostname = host[i]
       print(hostname)
       sftp = client.open_sftp()
       stdin, stdout, stderr = client.exec_command('apt-get update')
       print(stdout.readlines())
       sftp.put(ChromeLocal, ChromeRemote)
       stdin, stdout, stderr = client.exec_command('dpkg -i chrome.deb')
       print(stdout.readlines())
       stdin, stdout, stderr = client.exec_command('apt-get install -f')
       print(stdout.readlines())
       stdin, stdout, stderr = client.exec_command('Y\n')
       print(stdout.readlines())        
       client.close()
       i+=1`
Получаю:
['Hit:1 http://ru.archive.ubuntu.com/ubuntu bionic InRelease\n', 'Get:2 http://ru.archive.ubuntu.com/ubuntu bionic-updates InRelease [88.7 kB]\n', 'Get:3 http://ru.archive.ubuntu.com/ubuntu bionic-backports InRelease [74.6 kB]\n', 'Get:4 http://security.ubuntu.com/ubuntu bionic-security InRelease [88.7 kB]\n', 'Fetched 252 kB in 1s (267 kB/s)\n', 'Reading package lists...\n']
['(Reading database ... 59368 files and directories currently installed.)\n', 'Preparing to unpack chrome.deb ...\n', 'Unpacking google-chrome-stable (87.0.4280.66-1) over (87.0.4280.66-1) ...\n', 'Processing triggers for mime-support (3.60ubuntu1) ...\n', 'Processing triggers for man-db (2.8.3-2ubuntu0.1) ...\n']
Пробовал по разному устанавливать и сам деб файл на сервер загружал и через wget, не работает. apt-get install -f На это получаю долгую загрузку в консоли и ничего в итоге не происходит.
Вот за такое точно можно получить
источник