отучайся, это я еще вчера не бухтел насчет твоих простынок с кодом 🤬
вооо, исправляешься

собтвенно по сабжу - там после start_urls идет дичайшая каша из приоритетов, времени ответа сервера, новых реквестов и прочей хрени.

но, если подходить в общих чертах, то да. К примеру. если у тебя 100 стартовых запросов и настройка в 20 конкурирующих, то возьмутся первые 20, полностью обработаются, и только потом возьмутся следующие. По крайней мере у меня такая ситуация была. Но там был идеал, пара доп реквестов и сайт шустрый был

Просто у меня должен парситься сайт, по нему он забирает вложенные ссылки, парсит их, идет на след страницу и так далее до скончания страниц. И вот таких вот категорий для парсинга 10-15, если там начнется каша и десинхрон, будет ад на выходе.

ага, будет дикая каша.
если ты хочешь упорядоченный вывод, делай постобработку данных. Это единственный приемлемый вариант

я с пандасом дружу, в нем буду. Но я могу быть уверен, что он не пропустит ни одной ссылки? Тут скорее опасения в этом

я тебе, наверное, открою страшную тайну, но, некоторые косяки вылезают дааалеко не сразу, тем более, на больших сайтах :)

да вот я чет вижу у себя 1000 элементов, хотя на сайте числится 1500 :D

от про это я и говорю.😂
кстати, не забывай про дубли, такое бывает часто на сайтах

отучайся, это я еще вчера не бухтел насчет твоих простынок с кодом 🤬
вооо, исправляешься

собтвенно по сабжу - там после start_urls идет дичайшая каша из приоритетов, времени ответа сервера, новых реквестов и прочей хрени.

но, если подходить в общих чертах, то да. К примеру. если у тебя 100 стартовых запросов и настройка в 20 конкурирующих, то возьмутся первые 20, полностью обработаются, и только потом возьмутся следующие. По крайней мере у меня такая ситуация была. Но там был идеал, пара доп реквестов и сайт шустрый был