Size: a a a

2021 June 18

i

i in Scrapy
а если тебе по ним итерироваться надо то пишешь i.find_all
Единственно, чтобы там текст отстрипать тебе надо будет что-то вроде:
goods_names = [link.get_text(strip=True) for link in soup.find_all(class_="good_name")]
источник

NB

Nikita Baburov in Scrapy
мне дата нужна, которая после тега <b>  идет - и  до нее я добрался, но ощущение что "криво").
источник

i

i in Scrapy
а вообще, бросай эту гадость и переходи на css/xpath селекторы из парселя, типа:
from parsel import Selector
sel = Selector(page)
companies = sel.css('.listing.listing-search.listing-data')

Еще можешь поставить html_text либу, с ней будет легче тексты извлекать, работает даже лучше этого get_text('\n', strip=True)
источник

i

i in Scrapy
именно только первая самая дата?
источник

NB

Nikita Baburov in Scrapy
первую я спарсил вот так:
i.find(class_="section-procurement__item-date").find_next().b.next_sibling.strip()
далее
на этом же уровне еще 3 даты идет. до следующей добрался:
i.find(class_="section-procurement__item-date").find_next().next_sibling.next_sibling.b.next_sibling.strip()
источник

i

i in Scrapy
т.е. все три?
источник

NB

Nikita Baburov in Scrapy
всего 4, добрался до 2 из 4 )
источник

i

i in Scrapy
а надо 4?
источник

NB

Nikita Baburov in Scrapy
ага). вопрос то больше - что код визуально мне не нравится, но будучи нубом - не понимаю, может это и ОК - ведь задача выполняется.
источник

i

i in Scrapy
Тогда, если я ничо не напутал, лучше так, понятно шо тут происходит?:
[x.get_text(' ', strip=True) for x in i.find_all(class_="section-procurement__item-dateTo") if x]
источник

NB

Nikita Baburov in Scrapy
да, попробую с лист-комперхеншн. Спасибо.
источник

i

i in Scrapy
ну типа, когда у тебя такие штуки списковые идут, тебе надо или цикл фор, или foreach, или еще какой перебор, аля list comprehension/map ватева, но не по одному присваивать последовательно каждой переменной дописывать все больше и больше next_sibling
источник

A

Andrii in Scrapy
насколько правильно использовать такой делимитер? -
источник

AR

Andrey Rahmatullin in Scrapy
делимитер чего где?
источник

AR

Andrey Rahmatullin in Scrapy
вообще странный символ, почему он?
источник

O

OxYgEn in Scrapy
Смена user agent + отключение куки способствует как-то обходу капчи
источник

O

OxYgEn in Scrapy
Или обязательно менять proxy
источник

AR

Andrey Rahmatullin in Scrapy
смена айпи способствует обходу бана по айпи
источник

AR

Andrey Rahmatullin in Scrapy
если бан не по айпи то вряд ли там капча будет
источник

AR

Andrey Rahmatullin in Scrapy
но зависит
источник