S
Size: a a a
2020 November 07
A
Что за нашествие в группе, один вопрос круче другого :)
МС
зато ещё один человек узнал почему нельзя запускать одного паука на 12 млн итемов
Легко. Но, только не предусматривать возможность отключения и продолжения парсинга на таких объемах...
8
Andrii
Что за нашествие в группе, один вопрос круче другого :)
Слушай вопрос был про то как правильно упорядочить столбци в CSV файл. Получил ответ что это надстройкаю Но к чему было мне неявным. Скинул код и в нем Админушка нашол его говнокодом (хотя должен признать небезосновательно ибо импортировал в scrapy сторонний модуль re незная что там уже встроеные свои регулярки. Да и xpath можно было уменьшить.) После чего сдела прменял бывшый код с :
opp = name.xpath('//tr/td[3]/text()')[i].get()
reqex = re.compile('(@\w+|\w+)', re.M)
items['opp'] = reqex.findall(opp)
на
items['opp'] = name.xpath('//tr/td[3]/text()')[i].re('(@\w+|\w+)')
Я благодарен за подсказки. Вот только не пойму от куда столько грязи в мою сторону?
opp = name.xpath('//tr/td[3]/text()')[i].get()
reqex = re.compile('(@\w+|\w+)', re.M)
items['opp'] = reqex.findall(opp)
на
items['opp'] = name.xpath('//tr/td[3]/text()')[i].re('(@\w+|\w+)')
Я благодарен за подсказки. Вот только не пойму от куда столько грязи в мою сторону?
AR
так ты не просто путаешь настройку и надстройку, но и не уверен как это слово пишется?
МС
85345
Слушай вопрос был про то как правильно упорядочить столбци в CSV файл. Получил ответ что это надстройкаю Но к чему было мне неявным. Скинул код и в нем Админушка нашол его говнокодом (хотя должен признать небезосновательно ибо импортировал в scrapy сторонний модуль re незная что там уже встроеные свои регулярки. Да и xpath можно было уменьшить.) После чего сдела прменял бывшый код с :
opp = name.xpath('//tr/td[3]/text()')[i].get()
reqex = re.compile('(@\w+|\w+)', re.M)
items['opp'] = reqex.findall(opp)
на
items['opp'] = name.xpath('//tr/td[3]/text()')[i].re('(@\w+|\w+)')
Я благодарен за подсказки. Вот только не пойму от куда столько грязи в мою сторону?
opp = name.xpath('//tr/td[3]/text()')[i].get()
reqex = re.compile('(@\w+|\w+)', re.M)
items['opp'] = reqex.findall(opp)
на
items['opp'] = name.xpath('//tr/td[3]/text()')[i].re('(@\w+|\w+)')
Я благодарен за подсказки. Вот только не пойму от куда столько грязи в мою сторону?
Да просто ты достал всех вопросами начального уровня. Причем, судя по количеству, ты даже не пытается сам разобраться.
A
"Импортировал в скрейпи сторонний модуль re" 🙄😆
8
это настройка.
я понял что ты про надстройку писал
AR
ну я и говорю
8
Да просто ты достал всех вопросами начального уровня. Причем, судя по количеству, ты даже не пытается сам разобраться.
За 2 дня задал 3 вопроса и то 1 с них был повторением второго. 😱
S
85345
Слушай вопрос был про то как правильно упорядочить столбци в CSV файл. Получил ответ что это надстройкаю Но к чему было мне неявным. Скинул код и в нем Админушка нашол его говнокодом (хотя должен признать небезосновательно ибо импортировал в scrapy сторонний модуль re незная что там уже встроеные свои регулярки. Да и xpath можно было уменьшить.) После чего сдела прменял бывшый код с :
opp = name.xpath('//tr/td[3]/text()')[i].get()
reqex = re.compile('(@\w+|\w+)', re.M)
items['opp'] = reqex.findall(opp)
на
items['opp'] = name.xpath('//tr/td[3]/text()')[i].re('(@\w+|\w+)')
Я благодарен за подсказки. Вот только не пойму от куда столько грязи в мою сторону?
opp = name.xpath('//tr/td[3]/text()')[i].get()
reqex = re.compile('(@\w+|\w+)', re.M)
items['opp'] = reqex.findall(opp)
на
items['opp'] = name.xpath('//tr/td[3]/text()')[i].re('(@\w+|\w+)')
Я благодарен за подсказки. Вот только не пойму от куда столько грязи в мою сторону?
Поменял , но это тоже говнокод
A
1. Кидать код на пастебин