Нужно было по быстрому данные дикта сохранить куда и время от времени расширять. Я быстро пикл прикрутил. Но это решение не очень, так как все будет это в ОЗУ.
Среди простых аналогов, что порекомендовать можете? Сиквеллайт
?

Среди простых вариантов

Среди простых вариантов

aspx мать его

Люди подскажите, есть такой луа скрипт для scrapy\splash на логин на редите, итог которого:
{"dest": "https://www.reddit.com"}
Как все таки залогинится на редите?
https://www.reddit.com/login
function main(splash, args)
 splash:set_user_agent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3770.142 Safari/537.36')
 assert(splash:go(args.url))
 splash:set_viewport_size(1920, 1080)
 assert(splash:wait(1.5))
 local login = splash:select('#loginUsername')
 login:mouse_click()
 assert(splash:wait(0.5))
 login:send_keys('Login')
 assert(splash:wait(0.5))
 local pass = splash:select('#loginPassword')
 pass:mouse_click()
 assert(splash:wait(0.5))
 pass:send_keys('Pass')
 assert(splash:wait(0.5))
 local submit = splash:select('button')
 assert(splash:wait(0.5))
 submit:mouse_click()
 assert(splash:runjs('document.querySelector("body > div > div > div.PageColumn.PageColumn__right > div > form > fieldset:nth-child(10) > button").click()'))
 assert(splash:wait(1.5))
 return {
   url = splash:url(),
   html = splash:html(),
   png = splash:png(),
 }
end

а ты читал про scrapy.FormRequest.from_response?
если нет глянь тут: https://blog.scrapinghub.com/2016/04/20/scrapy-tips-from-the-pros-april-2016-edition

Есть такие сайты которые без селениума никак?

Нужно было по быстрому данные дикта сохранить куда и время от времени расширять. Я быстро пикл прикрутил. Но это решение не очень, так как все будет это в ОЗУ.
Среди простых аналогов, что порекомендовать можете? Сиквеллайт
?

import dbm - прекрасная тулза, то что надо. Спасибо!!!