используется краулера для сбора данных с амазона.
и амазон отдает страницы иногда без breadcrumbs , без хлебных крошек, без этой пагинации по категориям.
потом ты берешь урл, по которому не отдал амазон полную страницу, скрапи шел этот урл, а хлебные крошки на месте.
что это такое? думаю, может проблема из-за проксей и поэтому он не отдает. или из=за кукисов, включить их?