Size: a a a

2020 April 11

BK

Boris Krutskih in Scrapy
@ebadanin
1. Есть у нас пауки написаны с помощь scrapy
2. Есть у нас фронт на React

Сейчас у меня получается допустим запускать паука через cli, но я хочу запускать его в веб-апликейшене, допустим создать какие-то эндпоинты (парсить магазин к примеру) и после нажатия на кнопочку запускать этого самого паука который будет где-то отдельно запущен как сервис
источник

EB

Elisei Badanin in Scrapy
scrapyd
источник

EB

Elisei Badanin in Scrapy
или scrapydweb
источник

К

Кирилл in Scrapy
Или scrapy-do..
источник

BK

Boris Krutskih in Scrapy
посмотрел, это штука просто предоставляет возможность работать с пауками через апи?
источник

EB

Elisei Badanin in Scrapy
апи + небольшой интерфейс
источник

EB

Elisei Badanin in Scrapy
Elisei Badanin
или scrapydweb
это вообще полноценный дашборд
источник

BK

Boris Krutskih in Scrapy
ну мне ненужон готовый дашбоард) у меня свои фичи которые я хочу запилить в свой дашбоард, получается я его могу юзать чисто как api? этот scrapyd? @ebadanin
источник

EB

Elisei Badanin in Scrapy
да
источник

К

Кирилл in Scrapy
Бери scrapydweb и смотри как он сделан
источник

BK

Boris Krutskih in Scrapy
А ещё такой момент, если допустим будет много запросов выполняться можно это реализовать каким-то образом асинхронно?
источник

BK

Boris Krutskih in Scrapy
Кирилл
Бери scrapydweb и смотри как он сделан
спасибо, погляжу
источник

EB

Elisei Badanin in Scrapy
они одинаковые, *web обвертка над обычным
источник

BK

Boris Krutskih in Scrapy
Кирилл
Бери scrapydweb и смотри как он сделан
там получается связка scrapy + flask?
источник

BK

Boris Krutskih in Scrapy
@ebadanin правильно я понимаю, scrapyd это как-бы добавка к scrapy?
Т.е в основном делаются пауки с использованием scrapy и потом через scrapyd предоставляется доступ по api?
источник

EB

Elisei Badanin in Scrapy
ну да, от того же разработчика
источник

К

Кирилл in Scrapy
Boris Krutskih
там получается связка scrapy + flask?
Типа того
источник

Д

Данил in Scrapy
Django+celery+scrapy
источник

A

Andrii in Scrapy
Привет. Как собрать весь текст из всех субтегов за раз?  
<td id="hvrout2" currentmouseover="627" currentxpathtry="5">
<h2 currentmouseover="626">Category &amp; Type</h2>
<i class="fa fa-check fa-fw text-success" currentmouseover="614"></i> Trade Show<br>
<i class="fa fa-leaf fa-fw"></i>
<a href="/agriculture-forestry" currentmouseover="559" currentxpathtry="6">Agriculture &amp; Forestry</a>
<br><i class="fa fa-cutlery fa-fw"></i>
<a href="/food-beverage" currentmouseover="555">Food &amp; Beverages</a><br></td>
источник

AR

Andrey Rahmatullin in Scrapy
foo//text() ?
источник