Size: a a a

2020 March 27

СТ

Семён Трояновский in Scrapy
видимо дело в ссылке, проверю.спасибо )
источник

СТ

Семён Трояновский in Scrapy
либо я туплю, это второй вариант)
источник

СТ

Семён Трояновский in Scrapy
похоже и то и другое вместе
источник

СТ

Семён Трояновский in Scrapy
Да, слушай разобрался спс реально )
источник

СТ

Семён Трояновский in Scrapy
Чего-то я тупанул )
источник

EB

Elisei Badanin in Scrapy
Есть html страница со скриптами. Как лучше реализовать получение скриншота несколько раз в секунду? Обновлять страницу нельзя
источник

МС

Михаил Синегубов in Scrapy
Elisei Badanin
Есть html страница со скриптами. Как лучше реализовать получение скриншота несколько раз в секунду? Обновлять страницу нельзя
ммм, пупетер?
const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});
 const page = await browser.newPage();
 await page.goto('https://buddy.works');
 await page.screenshot({path: 'buddy-screenshot.png'});

 await browser.close();
})();

так то, можно команду на скриншот в цикл воткунуть
источник

МС

Михаил Синегубов in Scrapy
но это так, пальцем в небо :)
источник

И

Илья in Scrapy
Есть где то туториал на русском, для тупых ?
источник

И

Илья in Scrapy
Нашел только кучу видео на Ютубе на английском и пару статей на хабре
источник

AR

Andrey Rahmatullin in Scrapy
а толку от него? углублённого-то на русском точно не будет ничего
источник

МС

Михаил Синегубов in Scrapy
Илья
Нашел только кучу видео на Ютубе на английском и пару статей на хабре
если хабр это:
"Scrapy: собираем данные и сохраняем в базу данных",
"Собираем данные с помощью Scrapy",
"Скрапинг бесконечно прокручивающейся страницы"

то больше и нафиг не надо. Это как раз основа. Все остальное - нюансы, которые ахренеешь перечислять. Причем большая часть из кооторых может и не пригодится

А вообще, оф. доки + гугл в помощь, ибо либа меняется постепенно
источник

EB

Elisei Badanin in Scrapy
Михаил Синегубов
ммм, пупетер?
const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});
 const page = await browser.newPage();
 await page.goto('https://buddy.works');
 await page.screenshot({path: 'buddy-screenshot.png'});

 await browser.close();
})();

так то, можно команду на скриншот в цикл воткунуть
Нужно делать серию скриншотов, но идея понятна...
источник

МС

Михаил Синегубов in Scrapy
у селениума, вроде как, то же самое есть :)
источник

EB

Elisei Badanin in Scrapy
А в селениуме скриншоты стабильно работаю?
источник

МС

Михаил Синегубов in Scrapy
я - хз, может кто отпишется кто юзал :)
источник

AR

Andrey Rahmatullin in Scrapy
сплеш вообще изначально для скриншотов делался
источник

AR

Andrey Rahmatullin in Scrapy
хз правда как там с несколько раз в секунду
источник

К

Кирилл in Scrapy
Elisei Badanin
А в селениуме скриншоты стабильно работаю?
я делал, но насчет стабильно, не знаю
источник

И

Илья in Scrapy
Михаил Синегубов
если хабр это:
"Scrapy: собираем данные и сохраняем в базу данных",
"Собираем данные с помощью Scrapy",
"Скрапинг бесконечно прокручивающейся страницы"

то больше и нафиг не надо. Это как раз основа. Все остальное - нюансы, которые ахренеешь перечислять. Причем большая часть из кооторых может и не пригодится

А вообще, оф. доки + гугл в помощь, ибо либа меняется постепенно
Спасибо
источник