но это нужно писать в суппорт в любом случае.

Это год назад было, если не больше

Всем привет) ребят, есть вопрос, строго в объяснении не судите, я новичок🤝
пишу парсер и надо что бы он проходил по ссылкам и скачивал видео, но дело в чем,
Я перехожу по постам(их ссылкам), которая хранит в себе видео, и начинаю искать эту ссылку, с форматом .mp4, но один пост хранит ссылку на видео в одном теге, а другой пост хранит ссылку на видео в другом теге, и так же есть ещё один вариант, у которого нет ни первого и ни второго тега. Я сделал так, бот
заходит на сайт проверяет, есть ли такой тег, если есть верни результат, если нет, пробуй найти этот тег, а если и его нет, то напиши мне об этом и давай дальше, я использую try: и except: он работате, но если он не видит не того , не другого, он тупо возвращает ошибку. в общем думаю  понятно объяснил ))) в Гугл ответ никак не могу найти, вероятно, сам не понимаю, буду благодарен обратной связи, спасибо👌🏾

Регулярки?

Если есть явная ссылка с .mp4, но нет тегов, тогда используй регулярные выражения

CrawlSpider должен легко справится

Пишешь в allow=r'\.mp4'

я использую requests и bs4

Тогда используй re он везде будет работать. Выражение такое же

Такое же выражение если урл проверяешь, а если по всему тексту ищешь, тогда добавь часть для самого урла

я не знаю как там в bs, но по идеи можно css-селектор через запятую div a, div img написать и перебирать циклом.

всем спасибо, разобрался))

отдельное спасибо @trefto

отлично 👍

🤝

Кто-то работал с https://github.com/binux/pyspider ?
Выглядит привлекательно с простотой декораторов на перепарс, и сроком кэша, для каких-нибудь легких сайтов, что б актутальность данных держать.
Но напрягает, что репа какая-то дохлая, куча issues, и пр, которые овнер не комитит. Стоит ли связыватся с pyspider?

оно еще питон не выше 3.6,  как я понял
если тебя это не смущает, то пробуй. То что не обновлялос - не критерий "нельзя пользовать", тем более, для мелких проэктов.
У меня под Делфи либа до сих пор используется: последнее обновление в 2012 году, и там только поддежка новых версий делфей. Последнее функциональное обновление - в 2009 году. И ничего, на все 100500 работает :).

В том то и дело, что даже суппорт 3.7 есть на мастере, но овнер не релизит, и куча фиксов уже люди сделали, которые не вливаются

дак форкни и влей :). ну и можеш в наглую отписываться, что бы тебе мержили ;)

Синапс ?)