Здравствуй, здесь можно поискать работника на проект?

Описание чата

Благодарю, я изначально про троллинг чёт подумал ;)

😁

Просто затрахались отправлять в нужное направление. 😁
Ты хоть спросил😏

Обожемой, насколько же это тупо... Они кей вообще константой сделали лол

Я весь код перелопатил хахха

Оо

Норм решение

Вполне себе. 2гис то же так делает. Хардкорят апи ключ😁

Харкод это считай защита от школьника. Может не полезет в код. А тут вообще тупость. Везде одинаковый ключ

Ну, Ajax в принципе защита от школьника. Часто из за него в селениум лезут, ибо "сложна"

allegro.pl я не смог со скрапи побороть, поэтому в селениум полез. Я наверное тоже школьник :D

Хотя бы тем, что это будет не нонейм чувак, а практикующий юрист, который может дать комментарий, а если очень попросить, то и юридически сильный комментарий

Ребят, привет!
А вы как сторите результаты парсинга - по одному айтему, напр. в методе process_item в классе пайплайна, или делаете сохранение батчами?
Вопрос даже скорее в том, как реализовать сохранение по батчам и стоит ли вообще.
На ум приходит вот что: сторить предметы по одному в какой-нибудь xml/json, а затем в методе close_spider пайплайна загружать этот файл и кидать его в postgres через либу dataset, например.
Но это похоже на какой-то некрутой и ненужный воркараунд. Если подскажите или поделитесь, как вы работаете, то буду оч благодарен)

Копишь в переменной и льёшь, когда накапливается 1000 штук

Я, примерно, так делаю обычно

Вообще, зависит от того, куда льёшь и надо ли вообще с батчами морочаться

С xml/json файлом так себе идейка, работай с базой. Данные в памяти можно хранить, просто не переборщи, не стоит пару млн записей копить

спасибо)