Size: a a a

2019 August 26

АН

Алексей Нагорский in Scrapy
источник

АН

Алексей Нагорский in Scrapy
Ебат шакально, простите, но идея думаю понятна, просто хотел уточнить, может уже все изобретено до нас и такое можно еще более проще провернуть
источник

К

Кирилл in Scrapy
Алексей Нагорский
кидаю в curl.trillworks и словарик в kdiff
Даже интересно стало, зачем так делать)
источник

АН

Алексей Нагорский in Scrapy
источник

МС

Михаил Синегубов in Scrapy
Алексей Нагорский
Ребят, а кто-то юзает например kdiff что бы сравнить запросы?
х/з, я по старинке. Глазками да глазками.
источник

АН

Алексей Нагорский in Scrapy
Михаил Синегубов
х/з, я по старинке. Глазками да глазками.
Ну шоб не делать пяток реквестов с вот такой формдатой
'scriptManager': 'scriptManager|ReportViewerControl$ctl09$Reserved_AsyncLoadTarget',
 '__EVENTTARGET': 'ReportViewerControl$ctl09$Reserved_AsyncLoadTarget',
 '__EVENTARGUMENT': '',
 '__VIEWSTATE': '_______________________',
 '__VIEWSTATEGENERATOR': 'CA0B0334',
 '__EVENTVALIDATION': '________________',
 'ReportViewerControl$ctl03$ctl00': '',
 'ReportViewerControl$ctl03$ctl01': '',
 'ReportViewerControl$ctl10': 'ltr',
 'ReportViewerControl$ctl11': 'standards',
 'ReportViewerControl$AsyncWait$HiddenCancelField': 'False',
 'ReportViewerControl$ctl04$ctl03$txtValue': 'Border\xA0points; Industry; LDC\xA0points; PDC\xA0points; Storages; LNG\xA0Terminals; Production',
 'ReportViewerControl$ctl04$ctl05$ddValue': '1',
 'ReportViewerControl$ctl04$ctl07$txtValue': '1-8-2019 0:00:00',
 'ReportViewerControl$ctl04$ctl09$ddValue': '1',
 'ReportViewerControl$ctl04$ctl11$txtValue': '26-8-2019 0:00:00',
 'ReportViewerControl$ctl04$ctl13$ddValue': '1',
 'ReportViewerControl$ctl04$ctl15$ddValue': '1',
 'ReportViewerControl$ctl04$ctl17$ddValue': '2',
 'ReportViewerControl$ctl04$ctl19$ddValue': '2',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl00': 'on',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl01': 'on',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl02': 'on',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl03': 'on',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl04': 'on',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl05': 'on',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl06': 'on',
 'ReportViewerControl$ctl04$ctl03$divDropDown$ctl07': 'on',
 'ReportViewerControl$ToggleParam$store': '',
 'ReportViewerControl$ToggleParam$collapse': 'false',
 'ReportViewerControl$ctl05$ctl00$CurrentPage': '',
 'ReportViewerControl$ctl08$ClientClickedId': '',
 'ReportViewerControl$ctl07$store': '',
 'ReportViewerControl$ctl07$collapse': 'false',
 'ReportViewerControl$ctl09$VisibilityState$ctl00': 'None',
 'ReportViewerControl$ctl09$ScrollPosition': '',
 'ReportViewerControl$ctl09$ReportControl$ctl02': '',
 'ReportViewerControl$ctl09$ReportControl$ctl03': '',
 'ReportViewerControl$ctl09$ReportControl$ctl04': '100',
 '__ASYNCPOST': 'true',
 '': ''
источник

VP

Valera Pupkin in Scrapy
Ребят, а как в скрапи с кодировкой работать, чтобы вместо \xa0 (utf-8) и прочего выводило читаемый текст?
источник

М

Мак in Scrapy
text.decode('utf-8')
источник

VP

Valera Pupkin in Scrapy
str object have no atribute decode
источник

VP

Valera Pupkin in Scrapy
get же стринг на выходе подаёт
источник

G

Grigory in Scrapy
Есть размеры на сайте - надо посмотреть откуда грузятся

В нетворке нет
Нигде нет


Есть какие-то программы для более глубокого поиска?
источник

М

Мак in Scrapy
Valera Pupkin
Ребят, а как в скрапи с кодировкой работать, чтобы вместо \xa0 (utf-8) и прочего выводило читаемый текст?
u'русский текст'
источник

М

Мак in Scrapy
Valera Pupkin
Ребят, а как в скрапи с кодировкой работать, чтобы вместо \xa0 (utf-8) и прочего выводило читаемый текст?
источник

AB

Anton Bakhankov in Scrapy
Valera Pupkin
Ребят, а как в скрапи с кодировкой работать, чтобы вместо \xa0 (utf-8) и прочего выводило читаемый текст?
источник

VP

Valera Pupkin in Scrapy
спасибо, надо попробовать
источник

B

Bulatbulat48 in Scrapy
Valera Pupkin
Ребят, а как в скрапи с кодировкой работать, чтобы вместо \xa0 (utf-8) и прочего выводило читаемый текст?
print(..)
источник

E

Evgen in Scrapy
Grigory
Есть размеры на сайте - надо посмотреть откуда грузятся

В нетворке нет
Нигде нет


Есть какие-то программы для более глубокого поиска?
Ищите в json в разных полях. Могут конечно из какого нить шифра генерироваться но вряд-ли. Дайте ссылку чтоль
источник

МС

Михаил Синегубов in Scrapy
Grigory
Есть размеры на сайте - надо посмотреть откуда грузятся

В нетворке нет
Нигде нет


Есть какие-то программы для более глубокого поиска?
есть, просто не там ищеш. Не, ну все может быть, может и по сокету данные гуляют, но с таким единицы извращаются, вряд ли это тот случай
сайт можешь показать?
источник

МС

Михаил Синегубов in Scrapy
кста, к слову говоря. Sqlite, как безопасно экранировать всякую хрень? ткните в меня мордой в функцию, или это ORM какую пользовать?
источник

АП

Агент Печенька in Scrapy
Михаил Синегубов
кста, к слову говоря. Sqlite, как безопасно экранировать всякую хрень? ткните в меня мордой в функцию, или это ORM какую пользовать?
Обычный коннектор который import sqlite3 умеет экранировать данные, вторым параметром в ексекут передавать нужно.
В доке есть.
источник