Size: a a a

2020 April 29

К

Кирилл in Scrapy
для более точного контроля над сессией используй куки банки https://docs.scrapy.org/en/latest/topics/downloader-middleware.html?highlight=cookies_jar#multiple-cookie-sessions-per-spider
источник

К

Кирилл in Scrapy
Andrii
и через селениум откривал, сессию работает - потом бан
уже не бан с первого запроса, дальше в сессии копай
источник

V

Victor in Scrapy
Народ а какие прокси используете? Фришные?
источник

К

Кирилл in Scrapy
не используй фришные
источник

V

Victor in Scrapy
какой сервис порекомендуешь?
источник

V

Victor in Scrapy
мне не гугл парсить, можно и попроще
источник

К

Кирилл in Scrapy
сделай поиск по чату, много раз обсуждали
источник

V

Victor in Scrapy
ок
источник

КБ

Константин Белов... in Scrapy
Ребят, а как научиться изменять код до неузнаваемости ? типо загуглил и по-своему переписал и на Python и  чтобы другой человек еще мог проверить его и не видеть кракозябры и ему понравилось ?
источник

🎅B

🎅 Austin Bluethy in Scrapy
Научиться писать не говнокод?
источник

МС

Михаил Синегубов... in Scrapy
Подозреваю, нужна кнопка "сделать красиво".
В принципе, все достаточно легко делается. Берешь нейронку, проводишь обучение, потом она за тебя кодить все будет. Только деньги сам принимай, а то она научится ещё и тратить их.
Но есть метод более быстрый и менее затратный, йопнуть этого человека по темечку монтировкой - тогда он будет ходить и улыбаться, и все ему будет нравиться.
источник

G

Georg in Scrapy
Михаил Синегубов
Подозреваю, нужна кнопка "сделать красиво".
В принципе, все достаточно легко делается. Берешь нейронку, проводишь обучение, потом она за тебя кодить все будет. Только деньги сам принимай, а то она научится ещё и тратить их.
Но есть метод более быстрый и менее затратный, йопнуть этого человека по темечку монтировкой - тогда он будет ходить и улыбаться, и все ему будет нравиться.
источник
2020 April 30

i

ildar in Scrapy
Мне прям интересно стало, что это за проблема века такая и зачем его до неузнаваемости менять? Препод хочет чтобы студенты сами кодили, а не со стековера?
источник

i

ildar in Scrapy
А я хочу себе кран, открываешь- деньги идут, закрываешь - не идут (напр не успел потратить или мало места стало).
источник

М

Мак in Scrapy
с таким краном ты утонешь, как раджа из мультика про антилопу)))
источник

МС

Михаил Синегубов... in Scrapy
Мак
с таким краном ты утонешь, как раджа из мультика про антилопу)))
не согласен, можно научится плавать как Скрудж в диснеевском мультике
так что идея с краном мне нравится
источник

G

Genadyi in Scrapy
Ребята я так понял если выкинуть БС4 то работать будет побыстрее? Тк можно и без него тк он и не нужен он просто работу упрощает? И голыш lxml лучше?
источник

МС

Михаил Синегубов... in Scrapy
ну, BS это либа для пасинга теста, не более и не менее. Парсить можно  и им, и lxml и регулярками.
если по тематике группы, то в скрапи используется parsel, х/з в чем глобальные отличия от голого lxml, но мне он больше всего нравится.
Про BS слышал разговоры, что он намного медленнее, чем lxml, но цифр не видел.
источник

G

Genadyi in Scrapy
Я думал в скрапи тоже lxml
источник

К

Кирилл in Scrapy
Тоже
источник