да это гугловская

где бы либу найти которая бы генерила отзывы на видео которые бы не повторялись?)

Создай лист с отзывами, и сам выдавай рандомный, я думаю если поискать, можно найти уже готовые листы

Кто-то работал с shadow_useragent, в какой момент в коде надо её применять?

в мидлвари конечно

OxYgEn здесь спрашивай

В каком моменте её инициализировать

кого её

def process_request(self, request, spider):
       # Called for each request that goes through the downloader
       # middleware.

       # Must either:
       # - return None: continue processing this request
       # - or return a Response object
       # - or return a Request object
       # - or raise IgnoreRequest: process_exception() methods of
       #   installed downloader middleware will be called
       request.headers['User-Agent'] = random.choice(user_agents)  # !! These 2 lines
       request.meta['proxy'] = random.choice(proxies)  # !! These 2 lines
       return None

Но не срабатывает

казалось бы при чём тут shadow_useragent

Изначально пытался со своим списком работать, чтобы потом подключить shadow

ну значит проблема в этом

код-то этот выполняется?

Нет, выдает кучу ошибок

Но уже не из этого модуля

значит это не работает потому что этот код не выполняется

Что может значит debug: starting new HTTP connection, после этого несколько раз пытается поменять порт и выдает ошибку

видимо кто-то ходит в сеть напрямую через урллиб, минуя скрапи

сам скрапи так не пишет