Должно работать.

@task(queue='background')
@skip_if_maintenance
def get_futwatch_players_updates():
   process = CrawlerProcess(get_project_settings())
   process.crawl(PlayerSpider)
   process.start()

селери битом запускаю таск

насчет HEAD, это на конкретных сайтах надо тестить. Ибо, теортечески, могут запретрить

# vi /etc/nginx/nginx.conf

if ($request_method !~ ^(GET|HEAD|POST)$ ) {
return 444;
}

я бы, сначала прошелся HEAD, а потом, по ошибкам еще и GET

а можно как-то запретить скрапи качать тело?

нет, это противоречит логике запросов. Ну, насколько я понимаю.
можно попытаться рвать коннект, через ХХХ скачаных байт, но это, по моему, уже не скрапи

а что мешает сделать так, как  я предложил?
тем более, здесб можут сработать граничные условия
1. если не проходит HEAD на индекс - значит он запрещен
2. если не проходит HEAD на все картинки - значит он запрещен на каринки
3. если не проходит HEAD на часть картинок - значит картинки косячные

Нет.

>можно попытаться рвать коннект, через ХХХ скачаных байт
на да, я так и думаю, можно после \r\n\r\n, а что переопределять, это же в twisted лесть нужно?

можно, если сайт позволяет качать по частям "документ" :)

это к чему?

но это если отдается этот заголовок, а его можно получить методом HEAD, а если его можно получить методом HEAD, то нахрена качать кусочек 😂

это к тому, что можно скачать 1 байт тела

короче, принимаем за аксиому что качать "чуть чуть" картинки низзя, а то такой дур дом в коде будет... :)

понял в чем заключается идея)

ты универсальную проверялку пытаешся написать?

ну да, думаю может и правда слать head, потом get если ошибка

ага

по идеи можно Range слать