а если нет то будешь "жсоны селениумами парсить"

ну, эт классика :)

Подскажите, как отключить фильтр дупликатов?

Один паук генерирует до 1.000.000 уникальных item'ов за пробег, при этом ожидается что паук встретит большое количество дубликатов (в несколько раз больше).
Каждый item имеет уникальный sku (8 цифр).
Одновременно работает 25 пауков (версии сайта для разных стран) на нескольких серверах, список уже встреченных item'ов нужно сделать доступным для каждого паука.
В среднем будет генерироваться 3.000 item'ов/минуту.

Какие инструменты, либы стоит использовать для фильтрации дубликатов?

Это есть в документации

Тебе именно в рантайме нужно? Намного проще сделать постпроцессинг

Еще можно просто пихать все айтемы в бд с уникальным полем, бд сама будет отсеивать дубликат инсерты

В рантайме

Или разделить логику на двух пауков, продюсер/консумер. Сначала собирать айтемы из списков, а потребителями консумить

так, это я вот только что нашёл. но вот вопрос почему requests не возвращает вообще пустые дивы

и тут замкнутый круг выходит..
в аякс запрос нужно кидать все эти id, где находиться ссылка. но в requests они почему то пустые
соотвественно у меня просто нет возможности сэмулировать ajax

потому что есть данные которые загружены сразу и те которые подгружаются когда ты скроллишь/или у тебя есть место на екране куда их вставить

если у браузера хватает данных чтобы сделать запрос то и у тебя должно хватить

да уже разобрался, херня какая то вышла. я изначально ответ реквестов сувал в html файл и запускал в браузере, и там уже по исходникам шуршал. а там почему-то дивов нет. когда если в пайчарме посмотреть, эти дивы есть и там ссылки все есть

уже просто пишу парсер ссылок этих

но bs4 уже такое говно, по сравнению со скрапи(для меня)

есть parsel

да я бы скрапи пользовался, просто заставили. в след раз буду настаивать аргументируя почему bs4 говно

я просто скакнул резко со скрапи на bs4 и это адище)))
не знаю как я на нём раньше парсеры писал, садомазохизм