Size: a a a

2020 November 01

i

i in Scrapy
Sergey Sergey
Тоже пробовал. Вроде все как пишт отдает. Но как только массово работать начинаешь, лезет не то. Подозреваю, что циан одни и те же объекты может в разные категории засовывать и поэтому писать, что их больше. Но как раз хочу спросить, может кто уже разобрался в проблеме и сделал выводы...
не переписывай, сделай аля дебаг, в виде заполнения доп-полей просто, с заполнением линков,  и метаинфой, условно из какой ты подкатегории пришел, по какому пагинатору, линк и какой-то универсальный айди циановский. Так и найдешь где собака зарыта, у меня бывало так (не на циане, а вообще), что и сайт "врал" про то, шо "у нас много", и так, что под разными категориями с разными линками выдавал на самом деле 1 и тот же товар (это довольно часто бывает, когда товар в условной "распродаже" также еще лежит и в своей родной категории).
источник

i

i in Scrapy
(бывало правда и так, что я неправильно писал обход по пагинатору)
источник

SS

Sergey Sergey in Scrapy
i
(бывало правда и так, что я неправильно писал обход по пагинатору)
Спасибо за совет. Подумаю, как это сделать. Видимо, надо в каждый айтем добавить поля с тем, как я его получил пошагово, + сделать отдельные айтемы со всеми комбинациями запросов и прогнозируемым количеством объектов. Чтобы потом сравнить в каждом случае с реальным количеством. Пока только такое решение вижу.
источник

SS

Sergey Sergey in Scrapy
Sergey Sergey
Спасибо за совет. Подумаю, как это сделать. Видимо, надо в каждый айтем добавить поля с тем, как я его получил пошагово, + сделать отдельные айтемы со всеми комбинациями запросов и прогнозируемым количеством объектов. Чтобы потом сравнить в каждом случае с реальным количеством. Пока только такое решение вижу.
Но это по сути все на реквест переписать. Только в реквесте все последовательно будет, и можно, например, при ошибке инпут поставить и прочиать по принтам, в каком мы месте сейчас и в чем проблема.
Я просто в продвинутых техниках дебага не очень силен. Обычно принтами, таймаутами да инпутами «дебажу», глазами на ходу...
источник

К

Кирилл in Scrapy
Sergey Sergey
Но это по сути все на реквест переписать. Только в реквесте все последовательно будет, и можно, например, при ошибке инпут поставить и прочиать по принтам, в каком мы месте сейчас и в чем проблема.
Я просто в продвинутых техниках дебага не очень силен. Обычно принтами, таймаутами да инпутами «дебажу», глазами на ходу...
Используй дебагер, брейкпоинты
источник

S

SoHard 🎄 in Scrapy
Кирилл
было смешно
ну тогда верну обратно)
источник

S

SoHard 🎄 in Scrapy
Переслано от SoHard 🎄
источник

S

SoHard 🎄 in Scrapy
Переслано от SoHard 🎄
источник

S

SoHard 🎄 in Scrapy
SoHard 🎄
Переслано от SoHard 🎄
в начале было 800 рублей
источник

К

Кирилл in Scrapy
Откуда эта дичь?
источник

S

SoHard 🎄 in Scrapy
Кирилл
Откуда эта дичь?
freelancehunt
источник

К

Кирилл in Scrapy
1000 не могу заплатить, вчера молоко купил
источник

i

i in Scrapy
лол, а что надо сделать, парсер?
источник

S

SoHard 🎄 in Scrapy
i
лол, а что надо сделать, парсер?
спарсить дзен
источник

S

SoHard 🎄 in Scrapy
оплатит только когда 376к строк в екселе скинешь
источник

S

SoHard 🎄 in Scrapy
источник

i

i in Scrapy
ты договорись с ним на миктротранзакции  - типа ты кидаешь тыщу строк, он тебе 0.00265957446 рубля кидает
источник

S

SoHard 🎄 in Scrapy
i
ты договорись с ним на миктротранзакции  - типа ты кидаешь тыщу строк, он тебе 0.00265957446 рубля кидает
да цена это еще ладно, таких много есть
источник

S

SoHard 🎄 in Scrapy
но не все пишут что работают в студии с 19 чел
источник

A

Andrii in Scrapy
😭
источник