Size: a a a

2020 May 19

LB

Linus Buhler in rupython
Я спарсил все эти страницы в наглую, не забанили, так что лимита видимо никакого
Плюс они столько плюшек приятных туда запихали, своего рода флаги для регулярных выражений, что честно говоря не думаю что они вообще будут банить за активность
источник

A

Alexsander_1 in rupython
Допустим у тебя есть список данных уже спарсины и лежат в файлеке на компе, пишешь парсер которые чекачет сраницу и списко постов(возможно там есть табуляция), собирает этот список до того как наткнется на совпадение первый пост из данных которые у тебя есть.
Потом передает спарсенный список постов а именно их url ворому парсеру который непосредсвенно парсит каждый пост и записывает их в список который у тебя на компе хранится!
И все это дело можно запускать в бесконечном цикле с задержкой по времени на час!
Можно настроить cron или supervisor чтобы он запускал скрипт сам, без бесконечного цикла!
Незабудь про try except потому что сеединения обычно подают чтобы все поднималось и не сыпалось об консоль
источник

A

Alexsander_1 in rupython
Если все на долговременной основе то делай генератор заголовков, и используй пару прокси хотябы чтобы не забанили! Скорее там все же есть ограничения на любом сервере они по дефолту стоят только какие знает только админ
источник

A

Alexsander_1 in rupython
Посмотри может быть на какой то запрос прилетает json с колличеством постов, тогда еще проще, чекаешь этот url получаешь json сравниваешь значения, если есть изменения парсишь данные. Проверяя если они новые!
источник

LB

Linus Buhler in rupython
Блин, спасибо огромное тебе
Ответил на все вопросы которые могли бы быть вообще
источник

A

Alexsander_1 in rupython
Да не за что )
источник

LB

Linus Buhler in rupython
Alexsander_1
Да не за что )
У меня тут еще возник вопрос
Ты писал бота для телеграмма когда нибудь?
источник

A

Alexsander_1 in rupython
Да, разок пробывал
источник

LB

Linus Buhler in rupython
источник

LB

Linus Buhler in rupython
Что этому братцу не нравится?
источник

A

Alexsander_1 in rupython
ты где его запускаешь ?
источник

LB

Linus Buhler in rupython
В каком смысле?
источник

A

Alexsander_1 in rupython
Ip интересует
источник

LB

Linus Buhler in rupython
источник

A

Alexsander_1 in rupython
Да нее
источник

LB

Linus Buhler in rupython
vpn + local
источник

LB

Linus Buhler in rupython
Я запутался(
источник

LB

Linus Buhler in rupython
Скрипт на моем компьютере
Запускаю на локальном сервере через впн, чтобы меня не блочило
источник

LB

Linus Buhler in rupython
Методом научного тыка определил что ругается на строку 67
источник

A

Alexsander_1 in rupython
А что бот делает ?
источник