Size: a a a

2019 July 04

EB

Elisei Badanin in Scrapy
там что-то из опенссл манкипатчить скорее всего
источник

АН

Алексей Нагорский in Scrapy
Ребят, а как жсоны с двух запросов слить и отдать одному обработчику?
источник

АН

Алексей Нагорский in Scrapy
Придержать один запрос в start_requests а потом в мете отдать вместе со вторым? :D
источник

s

serhii in Scrapy
Алексей Нагорский
Придержать один запрос в start_requests а потом в мете отдать вместе со вторым? :D
как вариант =)
источник

АН

Алексей Нагорский in Scrapy
Попробую пока так, если что скажите потом ground truth вариант :D
источник

s

serhii in Scrapy
хочу капчу побороть, читаю доку по тукапче и там пишут, что надо смотреть айфрейма номер этой капчи, ну ок. но этот айфрейм можно как-то запросами подгрузить без селениума?
источник

МС

Михаил Синегубов in Scrapy
serhii
хочу капчу побороть, читаю доку по тукапче и там пишут, что надо смотреть айфрейма номер этой капчи, ну ок. но этот айфрейм можно как-то запросами подгрузить без селениума?
дай страницу и условия для каптчи
источник

s

serhii in Scrapy
в общем есть у меня простой проект.
в конце функция, где нужная дата извлекается и засовывается в айтемлоадер.
```
for i in some_list:
   # и здесь код по извлечению данных и в конце с
   #  yield i.load_item()
```
все работает.
но!!! единственное, что я знаю в питоне, это что циклы не очень читаемы и с отступами легко натупить и такой код сложнее поддерэивать.
заменил я фор на деф и получилась функция в функции и я в конце решил прибегнуть к мапу
load_items = list(map(get_items, some_list))
но данных нет, там итератор в списке, елки-палки, хотя казалось-бы, что если лист стоит, то должно все исполняться...
как это с map переписать...?
источник

АН

Алексей Нагорский in Scrapy
serhii
в общем есть у меня простой проект.
в конце функция, где нужная дата извлекается и засовывается в айтемлоадер.
```
for i in some_list:
   # и здесь код по извлечению данных и в конце с
   #  yield i.load_item()
```
все работает.
но!!! единственное, что я знаю в питоне, это что циклы не очень читаемы и с отступами легко натупить и такой код сложнее поддерэивать.
заменил я фор на деф и получилась функция в функции и я в конце решил прибегнуть к мапу
load_items = list(map(get_items, some_list))
но данных нет, там итератор в списке, елки-палки, хотя казалось-бы, что если лист стоит, то должно все исполняться...
как это с map переписать...?
А в some_list именно список да?
источник

s

serhii in Scrapy
        d = json.loads(response.text)
       some_list = d["need_part_of_json"]
источник

АН

Алексей Нагорский in Scrapy
Окей, кажется да, а твой get_items?)
источник

АН

Алексей Нагорский in Scrapy
Может это, сделать load_items = [get_items(item) for item in some_list] и всё?)
источник

АН

Алексей Нагорский in Scrapy
Отступов нет, мап нет)
источник

s

serhii in Scrapy
Алексей Нагорский
Может это, сделать load_items = [get_items(item) for item in some_list] и всё?)
аналогично, не работает =)
источник
2019 July 05

АН

Алексей Нагорский in Scrapy
serhii
аналогично, не работает =)
Тогда есть мнение, что с get_items у тебя какая-то херня
источник

s

serhii in Scrapy
та все там нормально, я думаю.
посмотрю в общем внимательнее, как будет время.
============================================
Парни, вот у меня фор и в нем вызывается функция которая отдает часть айтемлоадера и потом дописывается айтем лоадер и елдом возвращается i.load_item()
думаю у вас бывало такое же.
когда возникают такие связи, например билет на поезд номер такой-то имеет вагоны купе, плацкарт, люкс.
ну так вот
i = set_item_loader(some_parametr)
i.add_value("купе", "купе")

я думаю, а не прикрутить элэрюкэш к функции сет_айтем_лоадер?
никто не пытался такое сделать?
ибо навскидку дикт хэша не будет иметь, ключи да. а вот значения нет и по идее элэрюкэш не сработает.
источник

I

Ivan in Scrapy
всем привет.
источник

I

Ivan in Scrapy
что-то сайт перестал отвечат на запросы scrapy
источник

s

serhii in Scrapy
а в браузере открывается сайт, капчи нет?
источник

s

serhii in Scrapy
парни, а по бест практисам, если класс паука разросся и я его разбил на кусочки, на функции, декомпозиция в общем, то куда по бест практису эти функции вынести?
источник