там вебсокеты

Что делать, если видишь null, просматривая код элемента?

Можно ли как-то от него избавиться?

Немного нубский вопрос. Хочу использовать скрапи вместе с селениум. Вроде как можно просто в spyder дописывать куски селениума, также нашел такую вот библиотеку
https://github.com/clemfromspace/scrapy-selenium
Подскажите, что используют чаще всего?

чем просматривая и что хочется увидеть вместо него?

эту вроде

Хочется увидеть не null, а смотрел через код элемента в Гугл хром

если браузер показывает нулл, значит там нулл?

или что всё-таки делаешь

Я обычно такие вещи в виде словаря в список добавляю, а потом pandas корректно кол-во столбцов расставляет, даже если в каком-то из словарей полей больше/меньше, чем в остальных. Это если этот вопрос еще актуален...

все так любят цсв и пандас :)

я не люблю 👀

Ещё jsonl и jq

Я и не люблю. У меня практически на всё свои велосипеды, ну а вместо пандаса кастомизированный tablib

Актуален. Не знал, что пандас может корректно распознать. Надо будет потестить эта фичу, когда время свободное появится. Спасибо за подсказку

Под капотом все это дело векторизируется numpy-ем, поэтому кол-во стобцов, в т.ч. добавляемых диначески во время прохождения по данным, не имеет значения. На сегодняшний день это единственное рабочее решение из найденных мной для неоднородных данных. Но только ради этого тащить ~50 метров numpy + ~50 метров самого пандаса лично мне не улыбается. Поэтому у меня типа есть своего чисто питонячее решение, но оно еще не готово полностью для прода.

ага

но я не люблю язык jq, но приходится, не на питоне ж их обрабатывать