Телеграмм чат группы scrapy

Используй это

18:47пожаловаться #1

🎩

🎩 Vlad in Scrapy

посмотрю, спасибо

18:48пожаловаться #2

У тебе в коде селениум и скрапи работают независимо друг от друга

18:48пожаловаться #3

🎩

🎩 Vlad in Scrapy

да, я тоже заметил)

18:49пожаловаться #4

https://github.com/clemfromspace/scrapy-selenium

Кирилл

GitHub

clemfromspace/scrapy-selenium

Scrapy middleware to handle javascript pages using selenium - clemfromspace/scrapy-selenium

Remote юзал?

18:51пожаловаться #5

Ты про remote webdriver? Да он там есть вроде

Да про него - пробовал?

18:53пожаловаться #8

Да, в докере селениум был

18:54пожаловаться #9

Ок - Спасибо за либу...

18:55пожаловаться #10

Genadyi in Scrapy

Ребята мне надо обойти кэширование при запросе? Какие есть методы кроме ?_=1111 и ПОСТ запроса?

19:40пожаловаться #11

Andrey Rahmatullin in Scrapy

чьё кэширование?

19:46пожаловаться #12

Мак in Scrapy

а к базе sqlite, если она будет на впс, можно чем по подключиться извне? база же не имеет своего сервера вроде как

21:19пожаловаться #13

Andrey Rahmatullin in Scrapy

да, поэтому "подключиться" можно разве что по sshfs

21:21пожаловаться #14

я даже видел либу для джанго, чтобы подключаться к s3 sqlite o_O

21:22пожаловаться #15

Мак in Scrapy

сделать туннель чем то типа puttyy, получается...

21:23пожаловаться #16

вообще сомнительное, если не ошибаюсь, то фтп/ссх передает объект полностью

21:24пожаловаться #17

Мак in Scrapy

или поднять nginx и засунуть базу в расшаренную папку?

21:24пожаловаться #18

в итоге на каждый чих весь файл будет гоняться туда и назад

21:24пожаловаться #19

Мак

сделать туннель чем то типа puttyy, получается...

sftp на 21 порт