@ebadanin
1. Есть у нас пауки написаны с помощь scrapy
2. Есть у нас фронт на React

Сейчас у меня получается допустим запускать паука через cli, но я хочу запускать его в веб-апликейшене, допустим создать какие-то эндпоинты (парсить магазин к примеру) и после нажатия на кнопочку запускать этого самого паука который будет где-то отдельно запущен как сервис

scrapyd

или scrapydweb

Или scrapy-do..

посмотрел, это штука просто предоставляет возможность работать с пауками через апи?

апи + небольшой интерфейс

это вообще полноценный дашборд

ну мне ненужон готовый дашбоард) у меня свои фичи которые я хочу запилить в свой дашбоард, получается я его могу юзать чисто как api? этот scrapyd? @ebadanin

да

Бери scrapydweb и смотри как он сделан

А ещё такой момент, если допустим будет много запросов выполняться можно это реализовать каким-то образом асинхронно?

спасибо, погляжу

они одинаковые, *web обвертка над обычным

там получается связка scrapy + flask?

@ebadanin правильно я понимаю, scrapyd это как-бы добавка к scrapy?
Т.е в основном делаются пауки с использованием scrapy и потом через scrapyd предоставляется доступ по api?

ну да, от того же разработчика

Типа того

Django+celery+scrapy

Привет. Как собрать весь текст из всех субтегов за раз?  

<td id="hvrout2" currentmouseover="627" currentxpathtry="5">
<h2 currentmouseover="626">Category &amp; Type</h2>
<i class="fa fa-check fa-fw text-success" currentmouseover="614"></i> Trade Show<br>
<i class="fa fa-leaf fa-fw"></i> 
<a href="/agriculture-forestry" currentmouseover="559" currentxpathtry="6">Agriculture &amp; Forestry</a>
<br><i class="fa fa-cutlery fa-fw"></i> 
<a href="/food-beverage" currentmouseover="555">Food &amp; Beverages</a><br></td>

foo//text() ?