Size: a a a

2020 April 18

🎅B

🎅 Austin Bluethy in Scrapy
Andrey Rahmatullin
Ну почитай доку про процессоры
Этот код из доки.
источник

AR

Andrey Rahmatullin in Scrapy
Значит должно быть понятно
источник

🎅B

🎅 Austin Bluethy in Scrapy
Обычно в доке мало что понятно
источник

🎅B

🎅 Austin Bluethy in Scrapy
Насколько я понял

TakeFirst - назначает, что будет выводится первым

MapCompose - указывает, что должно выводится(функция, селектор)

Join - выводит информацию

Верно?
источник

AR

Andrey Rahmatullin in Scrapy
Нет
источник

AR

Andrey Rahmatullin in Scrapy
Вообще ничего из этого никуда ничего не выводит
источник

AR

Andrey Rahmatullin in Scrapy
Каждый процессор это функция, сначала для каждого значения в поле вызывается инпут, потом для полного списка значений в поле вызывается аутпут
источник

AR

Andrey Rahmatullin in Scrapy
А что именно делает со значением каждая функция в доке написано, не надо ничего придумывать
источник

r

r4khic in Scrapy
что вы думаете над скраперами новостных ресурсов которым на вход надо лишь ссылку новости ?
источник

r

r4khic in Scrapy
что у них под капотом
источник

T

Thomas Shelby in Scrapy
Всем ку!
источник

T

Thomas Shelby in Scrapy
В чем трабл?
источник

T

Thomas Shelby in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
r4khic
что вы думаете над скраперами новостных ресурсов которым на вход надо лишь ссылку новости ?
Не понял вопроса
источник

AR

Andrey Rahmatullin in Scrapy
Кавычки забыл?
источник

r

r4khic in Scrapy
есть парсеры которые парсят новостные ресурсы, обычно чтобы выдернуть что-то с новости допустим заголовок или дату.надо прописывать для парсера структуру страницы.
а оказывается есть такие  библиотеки для парсинга новостных ресурсов и для которых структуру прописывать не нужно,им главное на вход дать ссылку на новости и все
источник

r

r4khic in Scrapy
думаю теперь понятнее объяснил
источник

AR

Andrey Rahmatullin in Scrapy
Machine learning, data science, computer vision и прочие страшные слова
источник

r

r4khic in Scrapy
https://pypi.org/project/newspaper3k/
https://pypi.org/project/boilerpy3/
что-то сомневаюсь что в этих либах юзается ml
источник

T

Thomas Shelby in Scrapy
Andrey Rahmatullin
Кавычки забыл?
хз ваще
источник