Size: a a a

2020 November 01

AC

Amber Claes in Scrapy
Во флудилках т.е.?
источник

S

SoHard 🎄 in Scrapy
Amber Claes
Можете подсказать чат по селениуму?
источник

S

SoHard 🎄 in Scrapy
В телеге же поиск есть
источник

AC

Amber Claes in Scrapy
Я там есть, но там очень мало активности
источник

S

SoHard 🎄 in Scrapy
Я не думаю что ты найдёшь чат больше 4к пользователей
источник

A

Andrii in Scrapy
Amber Claes
Можете подсказать чат по селениуму?
А что надо?
источник

AC

Amber Claes in Scrapy
Бывают чаты на 300 пользователей, но намного активнее чем этот)
источник

A

Andrii in Scrapy
источник

AC

Amber Claes in Scrapy
Andrii
А что надо?
Та у меня такая вещь интересная, вызываю функцию жс с браузерной консоли, она работает по одному, вызываю с drv.execute_script() вообще по другому
источник

AC

Amber Claes in Scrapy
Вот интересно, влияет ли jsexecutor на функции или нет
источник

SS

Sergey Sergey in Scrapy
Коллеги, кто парсит циан, отзовитесь)
Работаю через пост запросы к апи. Раздробил на максимально мелкие комбинации, по типу зданий, количеству комнат и т д, чтобы выдача была меньше 1500 объектов(ограничение циана). Вроде в ограничение попадаю, но на выходе получаю меньшее, чем циан декларирует, количество. Циан пишет 30к объектов, а у меня получается 12к. Уже по-разному пробовал, и через пост запросы и через jsonrequest, и все равно не бьется. Контролирую получение данных и если что, делаю повторный запрос. Фильтр дубликатов отключил для чистотты эксперимента.
Кто сталкивался с такой проблемой и может подсказать причину?
источник

1

1101000010101111 in Scrapy
так пробывал? dont_filter=True
источник

МС

Михаил Синегубов... in Scrapy
Sergey Sergey
Коллеги, кто парсит циан, отзовитесь)
Работаю через пост запросы к апи. Раздробил на максимально мелкие комбинации, по типу зданий, количеству комнат и т д, чтобы выдача была меньше 1500 объектов(ограничение циана). Вроде в ограничение попадаю, но на выходе получаю меньшее, чем циан декларирует, количество. Циан пишет 30к объектов, а у меня получается 12к. Уже по-разному пробовал, и через пост запросы и через jsonrequest, и все равно не бьется. Контролирую получение данных и если что, делаю повторный запрос. Фильтр дубликатов отключил для чистотты эксперимента.
Кто сталкивался с такой проблемой и может подсказать причину?
Проверь на коротких фильтрах руками. Так может быть, что они говорят одно, а в реале отдают другое.
источник

AR

Andrey Rahmatullin in Scrapy
1101000010101111
так пробывал? dont_filter=True
написано что да
источник

SS

Sergey Sergey in Scrapy
1101000010101111
так пробывал? dont_filter=True
Да. Пофигу
источник

SS

Sergey Sergey in Scrapy
Михаил Синегубов
Проверь на коротких фильтрах руками. Так может быть, что они говорят одно, а в реале отдают другое.
Тоже пробовал. Вроде все как пишт отдает. Но как только массово работать начинаешь, лезет не то. Подозреваю, что циан одни и те же объекты может в разные категории засовывать и поэтому писать, что их больше. Но как раз хочу спросить, может кто уже разобрался в проблеме и сделал выводы...
источник

SS

Sergey Sergey in Scrapy
Sergey Sergey
Тоже пробовал. Вроде все как пишт отдает. Но как только массово работать начинаешь, лезет не то. Подозреваю, что циан одни и те же объекты может в разные категории засовывать и поэтому писать, что их больше. Но как раз хочу спросить, может кто уже разобрался в проблеме и сделал выводы...
Хоть на реквест все переписывай и логируй каждый пук, с подсчетом всех объектов
источник

AR

Andrey Rahmatullin in Scrapy
переписывать для этого необязательно
источник

S

SoHard 🎄 in Scrapy
не туда
источник

К

Кирилл in Scrapy
SoHard 🎄
не туда
было смешно
источник