Size: a a a

Node.js — русскоговорящее сообщество

2019 November 06

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Владимир Ящиряков
Чат, дайте направление, плз. Сейчас скрипт кукловодом парсит spa-страницу каждую минуту: открывает броузер -> грузит страницу -> разбирает dom -> закрывает страницу, броузер -> отдаёт данные. Можно ли облегчить скрипт и открыть броузер и страницу 1 раз, а т.к. страница spa и данные там обновляются автоматом, просто периодически разбирать обновлённый dom? Не пойму, с какой стороны зайти. Заранее спасибо.
Почему не отправлять запросы на апи и тягать инфу ?
источник

ВЯ

Владимир Ящиряков in Node.js — русскоговорящее сообщество
Илья | 😶
Почему не отправлять запросы на апи и тягать инфу ?
у сайта, где тащу инфу, нет апи )
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Владимир Ящиряков
у сайта, где тащу инфу, нет апи )
Так спа же
Откуда данные тогда ?
источник

ВЯ

Владимир Ящиряков in Node.js — русскоговорящее сообщество
Илья | 😶
Так спа же
Откуда данные тогда ?
открытого имеется ввиду. с апи-то понятно, но в моём случае решение только в парсинге
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Тогда энивей нужен браузер пусть даже хедлесс
источник

ВЯ

Владимир Ящиряков in Node.js — русскоговорящее сообщество
сейчас так и есть, работает с puppeteer
источник

ВЯ

Владимир Ящиряков in Node.js — русскоговорящее сообщество
но перидически хром вылетает, поэтому, думал, можно облегчить обход и грузить броузер один раз, а потом получать dom
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Владимир Ящиряков
но перидически хром вылетает, поэтому, думал, можно облегчить обход и грузить броузер один раз, а потом получать dom
Можно запускать инстанс и просто на интервале перезагружать страницу
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Но такое легко отследить на самом деле
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Создание нового инстанса надежнее чуть чуть будет
источник

B

Blues in Node.js — русскоговорящее сообщество
@vyasch у него под капотом свой браузер
источник

Б

Богдан in Node.js — русскоговорящее сообщество
Господа, посоветуйте либу для форматирования даты? момент вроде очень жирный
источник

ВЯ

Владимир Ящиряков in Node.js — русскоговорящее сообщество
Илья | 😶
Можно запускать инстанс и просто на интервале перезагружать страницу
да, должно быть лучше. Но как логику изменить, не врублюсь. Сейчас CronJob'ом запускается функция-обработчик в которой тянутся данные от парсинг-функции. А если сделать перезагрузку страницы с интервалом внутри парсинг-функции, как мне данные в обработчик возвращать 😑
источник

G

GG in Node.js — русскоговорящее сообщество
Богдан
Господа, посоветуйте либу для форматирования даты? момент вроде очень жирный
date-template
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Владимир Ящиряков
да, должно быть лучше. Но как логику изменить, не врублюсь. Сейчас CronJob'ом запускается функция-обработчик в которой тянутся данные от парсинг-функции. А если сделать перезагрузку страницы с интервалом внутри парсинг-функции, как мне данные в обработчик возвращать 😑
Насчёт крона хз, не приверженец
А вот task queue норм
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Но тут уже вкусовщина
источник

Б

Богдан in Node.js — русскоговорящее сообщество
GG
date-template
сенкс
источник

ВЯ

Владимир Ящиряков in Node.js — русскоговорящее сообщество
Илья | 😶
Насчёт крона хз, не приверженец
А вот task queue норм
не принципиально что для крона, как правильно в puppeteer залезть) ладно, буду разбираться, все равно спасибо )
источник

И

Илья | 😶 in Node.js — русскоговорящее сообщество
Владимир Ящиряков
не принципиально что для крона, как правильно в puppeteer залезть) ладно, буду разбираться, все равно спасибо )
Как данные вернуть это уже последнее дело и не столь важное
источник

ВЯ

Владимир Ящиряков in Node.js — русскоговорящее сообщество
Илья | 😶
Как данные вернуть это уже последнее дело и не столь важное
Да, должно быть просто, но пока не въеду каким образом )
источник