я в него хочу список ссылок запихать, потом тем же кроном раз в час запускать скрипт (он примерно столько работает и отваливается). можно даже чаще, чтобы несколько потоков сидело. они будут по одной ссылке забирать, обрабатывать и сохранять. а редис будет сам следить, чтобы отработанные ссылки были удалены. и даже если скрипт отвалится, то не придётся с самого начала ссылки создавать.