К
Size: a a a
2020 April 24
МС
https://docs.scrapy.org/en/2.1/news.html#scrapy-2-1-0-2020-04-24
кто там хотел в кучу форматов одновременно писать, вас услышали :)
кто там хотел в кучу форматов одновременно писать, вас услышали :)
EB
кто-то scrapydweb использует на heroku?
МС
кто-то scrapydweb использует на heroku?
ну "пользоваться" это громко сказано, я его запустил :))
EB
я не о том)
EB
не могу понять, как они персистентность хранилища обеспечили
EB
ну ладно логи там и айтемы можно на s3 грузить
EB
а что с эгами делают
МС
не могу понять, как они персистентность хранилища обеспечили
🙃, ты это, ты тут не ругайся.... 😂
EB
и как долгие джобы пускают, если в любой момент может ребутнуться
EB
🙃, ты это, ты тут не ругайся.... 😂
на хероку любой инстанс может перезагрузиться, и все сохраненные файлы удалятся
МС
охохох, ну, я просто тестового паучка запустил и все.
подозреваю, что про это никто не думал. Всегда есть отговорка "ну есть же палатный аккаунт" :)
но это все "высасывание из пальца", как на самом деле, не знаю
подозреваю, что про это никто не думал. Всегда есть отговорка "ну есть же палатный аккаунт" :)
но это все "высасывание из пальца", как на самом деле, не знаю
EB
платный тоже будет перезагружаться
EB
ну и любое подобное облако, тотже гугл апп эндайн
EB
вот и спрашиваю, если ли что-то для переопределения хранилища самих пауков…
EB
правильно ли я понял, что там есть дашборд, а есть сами scrapyd?
МС
да, если хочешь, могу в свой акк запустить, покопаешся