VS
Фрилансер...
да на такого человека молиться надо)
Size: a a a
2021 March 23
Л
Ну так помочь может кто то?₽
AS
Ну так помочь может кто то?₽
$
AK
Ну так помочь может кто то?₽
лучше кинь на фриланс биржу
AK
лучше кинь на фриланс биржу
тут если и напишут то не очень хорошые программисты (обычно у хороших уже работа есть)
VS
тут если и напишут то не очень хорошые программисты (обычно у хороших уже работа есть)
иногда и больше одной)
KA
доброго времени суток. кто из вас использовал spatie/async? нужно при открытие страницы в каждом процессе пула сделать обращение к страницам других сайтов через Guzzle, распарсить и записать их заголовки в бд и вывести все в одну коллекцию... насколько это сложно реализуется?
KA
цель - используя асинхронные запросы, ускорить весь тот процесс, возможно ли это?
IM
доброго времени суток. кто из вас использовал spatie/async? нужно при открытие страницы в каждом процессе пула сделать обращение к страницам других сайтов через Guzzle, распарсить и записать их заголовки в бд и вывести все в одну коллекцию... насколько это сложно реализуется?
А не тяжело ли будет браузеру ждать загрузки всех страниц?
KA
А не тяжело ли будет браузеру ждать загрузки всех страниц?
в том то и суть. допустим если в пуле каждый процесс - это запрос на страницу и все эти процессы независимы друг от друга, то разве это не должно произойти быстрее, чем если бы делать все это банально через foreach?
IM
в том то и суть. допустим если в пуле каждый процесс - это запрос на страницу и все эти процессы независимы друг от друга, то разве это не должно произойти быстрее, чем если бы делать все это банально через foreach?
Я на коленке недавно написал graphQl парсер на ноде. Нода разворачивает хром на сервере, кушает запрос graphQl, и асинхронно парсит страницы
IM
Но не буду рекомендовать пет-проект без тестов для продакшина - просто могу показать один из путей решения проблемы
KA
мне со страницы всего-лишь нужно тайтл вытащить...
KA
Я на коленке недавно написал graphQl парсер на ноде. Нода разворачивает хром на сервере, кушает запрос graphQl, и асинхронно парсит страницы
к слову сказать, гугл предоставляет простенький метод получения фавикона со страницы
KA
но я не нашел чего-то подобного для заголовков
IM
мне со страницы всего-лишь нужно тайтл вытащить...
У меня там puppeeter стоит, а ещё парсер не надо писать - просто graphQl запрос ыормируешь с селекторами и всё
KA
в противном случае я бы не занимался этой поебенью... а в странице проекта нужно показать заголовки ссылок на различный сайты. эти ссылки идут вообще из другого апи, откуда я их и запрашиваю. мой бэкенд отвечает лишь за проксирование и авторизацию.
KA
У меня там puppeeter стоит, а ещё парсер не надо писать - просто graphQl запрос ыормируешь с селекторами и всё
окей, можем в лс списаться по этому поводу
ПУ
в противном случае я бы не занимался этой поебенью... а в странице проекта нужно показать заголовки ссылок на различный сайты. эти ссылки идут вообще из другого апи, откуда я их и запрашиваю. мой бэкенд отвечает лишь за проксирование и авторизацию.
Если ссыдки тянутся из другого АПИ. То не проще заранее получать title этих страниц и класть в БД?
KA
Если ссыдки тянутся из другого АПИ. То не проще заранее получать title этих страниц и класть в БД?
они каждый раз меняются.