IB
?
Size: a a a
2019 July 19
АП
Да.
Y
😄
Y
нужна помощь, паршу данные с сайта, использую скрапи и селениеум, все данные записываються в csv файл, как мне не записывать дубликат в этот файл, возможно у скраппи есть такая функция
Storage URI parameters
https://doc.scrapy.org/en/1.6/topics/feed-exports.html#std:setting-FEED_FORMAT
https://doc.scrapy.org/en/1.6/topics/feed-exports.html#std:setting-FEED_FORMAT
IB
Yurii
Storage URI parameters
https://doc.scrapy.org/en/1.6/topics/feed-exports.html#std:setting-FEED_FORMAT
https://doc.scrapy.org/en/1.6/topics/feed-exports.html#std:setting-FEED_FORMAT
Спасибо, буду разбираться
2019 July 21
JW
Подскажите, Olx.ua похоже использует эту штуку
https://security.stackexchange.com/questions/182895/anti-bot-javascript-library-identification
Anti-bot library Akamai и она же(вроди бы) не пускает Scrapy-Splash браузер на страницу объяв. Это как бы финиш, эту штуку не обмануть(особенно новичку)?
https://security.stackexchange.com/questions/182895/anti-bot-javascript-library-identification
Anti-bot library Akamai и она же(вроди бы) не пускает Scrapy-Splash браузер на страницу объяв. Это как бы финиш, эту штуку не обмануть(особенно новичку)?
G
Подскажите, Olx.ua похоже использует эту штуку
https://security.stackexchange.com/questions/182895/anti-bot-javascript-library-identification
Anti-bot library Akamai и она же(вроди бы) не пускает Scrapy-Splash браузер на страницу объяв. Это как бы финиш, эту штуку не обмануть(особенно новичку)?
https://security.stackexchange.com/questions/182895/anti-bot-javascript-library-identification
Anti-bot library Akamai и она же(вроди бы) не пускает Scrapy-Splash браузер на страницу объяв. Это как бы финиш, эту штуку не обмануть(особенно новичку)?
Обмануть
JW
Запрос нормально сделав
А нормально, это более круто, чем
Chrome -> devtools -> network -> клик на страницу -> copy as curl, и в params, в pt=из хедера сайта с скрипта берем var phoneToken. Ну и делаем Форм реквест https://www.olx.ua/ajax/misc/contact/phone/tNG1o/?pt=+ varPhoneToken.
Пробовал запросами логинится на сайты, если сайт простой copy as curl+токен и заходит. А вот на реддит или мамбу уже не прокатило.
Chrome -> devtools -> network -> клик на страницу -> copy as curl, и в params, в pt=из хедера сайта с скрипта берем var phoneToken. Ну и делаем Форм реквест https://www.olx.ua/ajax/misc/contact/phone/tNG1o/?pt=+ varPhoneToken.
Пробовал запросами логинится на сайты, если сайт простой copy as curl+токен и заходит. А вот на реддит или мамбу уже не прокатило.
JW
Вау. подкинули мне гуглежа спасибо.
А еще такой вот кейс... сайт https://event-order.ru/anketa/aleksandr-rishar
На нем кнопка контакты, повторяю пост запрос, а в форм дате уже все данные которые нужны, т.е отправляешь то что пытаешься узнать. Глянул в боди, а там скрипт js функция со всей нужной датой. Я так понимаю, такое уже не запросами, а регуляркой взять данные из js функции, Верно?
А еще такой вот кейс... сайт https://event-order.ru/anketa/aleksandr-rishar
На нем кнопка контакты, повторяю пост запрос, а в форм дате уже все данные которые нужны, т.е отправляешь то что пытаешься узнать. Глянул в боди, а там скрипт js функция со всей нужной датой. Я так понимаю, такое уже не запросами, а регуляркой взять данные из js функции, Верно?
2019 July 23
РТ
Может кто подскажет: складываю данные в табличку sqlite3, в ней всего 3 поля: 1 текстовое и 2 numeric. Так вот, в таблице 13 млн записей, а бд весит уже за 5 гигов - это нормально?
РТ
В каждой строке только url'ы
РТ
Длиной максимум 50-70
АН
Может кто подскажет: складываю данные в табличку sqlite3, в ней всего 3 поля: 1 текстовое и 2 numeric. Так вот, в таблице 13 млн записей, а бд весит уже за 5 гигов - это нормально?
vacuum её меньше не делает?РТ
Уменьшилась на 300мб