Size: a a a

2020 October 21

i

i in Scrapy
можно через  CrawlerRunner скрипт, можно через edit configurations указать параметры запуска. Главное что - можно наставить брекпоинтов или запустить под профилировщиком и посмотреть кто там больше всех микросекунд сожрал
источник

AR

Andrey Rahmatullin in Scrapy
Victor
А как скрапи в пичарме пульнуть?
Так же.
источник

i

i in Scrapy
i
можно через  CrawlerRunner скрипт, можно через edit configurations указать параметры запуска. Главное что - можно наставить брекпоинтов или запустить под профилировщиком и посмотреть кто там больше всех микросекунд сожрал
и еще можно картинки интересные посмотреть
источник

i

i in Scrapy
хм, сегодня я узнал, что твистед сожрал основное время (как и ожидалось), что он 32-битный (ничоси)
источник

ЛГ

Лев Гареев in Scrapy
Вопрос, есть готовый парсер, готовая логика постобработки файла полученного(csv), как его запускать и реализовать на другом пк? Я не знаю, вплоть до тупого засунуть в exe (:O) и делать запуск, в ответ получить файл, который он выплевывает. Парсер прописан, интересует возможность и реальность его запуска тупым человеком, вне компиляра.
источник

i

i in Scrapy
а еще, в комментах твистеда, люди матерятся
источник

ЛГ

Лев Гареев in Scrapy
i
а еще, в комментах твистеда, люди матерятся
источник

i

i in Scrapy
Лев Гареев
Вопрос, есть готовый парсер, готовая логика постобработки файла полученного(csv), как его запускать и реализовать на другом пк? Я не знаю, вплоть до тупого засунуть в exe (:O) и делать запуск, в ответ получить файл, который он выплевывает. Парсер прописан, интересует возможность и реальность его запуска тупым человеком, вне компиляра.
докер
источник

ЛГ

Лев Гареев in Scrapy
так, хотя бы не зря ставил его, спасибо буду читать в ту сторону
источник

i

i in Scrapy
все сводится к проблеме поставить у этого человека докер
источник

ЛГ

Лев Гареев in Scrapy
i
все сводится к проблеме поставить у этого человека докер
:D
источник

i

i in Scrapy
а это уже проблема намного проще обычно
источник

A

Andrii in Scrapy
не понимаю зачем простому человеку парсер
источник

i

i in Scrapy
хм, если я правильно понял описание built in method select.select, 65% времени твистед тупо ждал ответа от IO, что-ли...
источник

i

i in Scrapy
источник

A

Andrii in Scrapy
нужно парсить - установи пз
источник

ЛГ

Лев Гареев in Scrapy
Andrii
не понимаю зачем простому человеку парсер
обновлять на сайте товар, тип каждый раз не хочет платить за это
источник

ЛГ

Лев Гареев in Scrapy
Andrii
нужно парсить - установи пз
там 100к товаров
источник

A

Andrii in Scrapy
и что?
источник

A

Andrii in Scrapy
установить пз делов на 10минут
источник