AR
и что такое циклический запуск
Size: a a a
2021 May 19
МС
я тебе уже сказал, что сделать надо
Y
Как автоматически перезапускать пауков по завершении их работы
A
Сразу же?
AR
взять нормальный менеджер процессов, их много
Y
да
AR
или переделать архитектуру паука
AR
или сунуть process.run в цикл, ага, только всё равно на этот скрипт нужен будет нормальный менеджер процессов
Y
такое не работает
AR
да, но идея та же
AR
просто реактор не останавливать
AR
но лучше так не делать конечно, т.к. см. выше
(
bash:
while true; do scrapy crawl spidername; done;
while true; do scrapy crawl spidername; done;
AR
ага
AR
к этом скрипту конечно тоже желательно нормальный менеджер процессов в свою очередь, но и без него будет нормально
(
Я за простые решения, пока можно без сложностей
H
Hello, I'm are scraping a site that have data in script tag.
The json payload is mixed with some trailing and leading JavaScript code. I can't use json.loads() on unclean / invalid json string.
Is there any library that removes the JS code and give valid string?
If someone have encountered similar case, your insights maybe helpful. Thanks
The json payload is mixed with some trailing and leading JavaScript code. I can't use json.loads() on unclean / invalid json string.
Is there any library that removes the JS code and give valid string?
If someone have encountered similar case, your insights maybe helpful. Thanks
G
Try this one https://github.com/Nykakin/chompjs
AR
Or in simple cases you can just cut it with a regex