А вообще, попробуй экспериментом зайти через Selenium с настройками по умолчанию. Если пропустит, значит либо что-то с заголовками, куками или должен отработать JS
Для Яндекса нужны как минимум заголовки, а еще он кукисы сразу устанавливает. Попробуй просто сохранить вывод этого url-а в html и открыть его в браузере и, думаю, сразу будет видно чего не хватает.
