Size: a a a

2019 October 08

EB

Elisei Badanin in Scrapy
Bulatbulat48
по идеи можно Range слать
ну я уже понял твою идею, наверное так и сделаю
источник

МС

Михаил Синегубов in Scrapy
Bulatbulat48
по идеи можно Range слать
я уже сказал, если сайт не позволяет - то он тупо выдаст весь документ в ответ, уже кипятил себе мозг с этим.
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
источник

EB

Elisei Badanin in Scrapy
ну это уже всяко лучше, чем для всех грузить полностью
источник

B

Bulatbulat48 in Scrapy
r = requests.get('https://ukranews.com/upload/news/2018/12/29/5c27d01c15f57-screenshot-395_1200.png', headers={'range':'bytes=0-1'})
r.text
Out[4]: u'\u2030P'
r.headers
Out[5]: {'Content-Length': '2', 'Expires': 'Tue, 15 Oct 2019 11:19:42 GMT', 'Content-Range': 'bytes 0-1/1367522', 'Server': 'nginx', 'Last-Modified': 'Sat, 29 Dec 2018 19:50:57 GMT', 'Connection': 'keep-alive', 'ETag': '"5c27d021-14dde2"', 'Cache-Control': 'max-age=604800', 'Date': 'Tue, 08 Oct 2019 11:19:42 GMT', 'Content-Type': 'image/png'}
источник

B

Bulatbulat48 in Scrapy
просто слать range 0-1
источник

B

Bulatbulat48 in Scrapy
Михаил Синегубов
я уже сказал, если сайт не позволяет - то он тупо выдаст весь документ в ответ, уже кипятил себе мозг с этим.
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
а ну вроде тоже самое что и я предлагаю)
источник

B

Bulatbulat48 in Scrapy
Михаил Синегубов
я уже сказал, если сайт не позволяет - то он тупо выдаст весь документ в ответ, уже кипятил себе мозг с этим.
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
>> r = requests.get('https://file-examples.com/wp-content/uploads/2017/02/zip_2MB.zip', headers={'range':'bytes=0-1'})
r
>>: <Response [206]>
r.text
>>: u'PK'
r.headers
>>: {'Content-Length': '2', 'Accept-Ranges': 'bytes', 'Expires': 'Tue, 08 Oct 2019 11:29:53 GMT', 'Connection': 'Keep-Alive', 'Keep-Alive': 'timeout=5, max=100', 'Server': 'Apache/2.4.10', 'Last-Modified': 'Mon, 13 Nov 2017 10:19:05 GMT', 'Content-Range': 'bytes 0-1/2036861', 'ETag': '"1f147d-55dda99a12fb6"', 'Cache-Control': 'max-age=0', 'Date': 'Tue, 08 Oct 2019 11:29:53 GMT', 'Content-Type': 'application/zip'}
источник

B

Bulatbulat48 in Scrapy
кстати вроде ок
источник

МС

Михаил Синегубов in Scrapy
Bulatbulat48
кстати вроде ок
ну ладно, уболтал чертяка языкастый, может мне просто в свое время так повезло 😄
источник

B

Bulatbulat48 in Scrapy
хах)
источник

МС

Михаил Синегубов in Scrapy
оно то и HEAD не должны запрещать, теоретически....
просто я еще тот параноик :)
источник

МС

Михаил Синегубов in Scrapy
Я всегда думаю как бы я усложнил себе жизнь
источник

s

serhii in Scrapy
вопрос не по скрапи, а по питону, буду рад, если кто-то подскажет =)
https://ru.stackoverflow.com/q/1032489/277812
источник

К

Кирилл in Scrapy
input = {'python': 'guido van rossum', 'ruby': 'Yukihiro Matsumoto'}
out = {key.title():value for key, value in input.items()}
источник

s

serhii in Scrapy
о, спасибо огромное.
источник

s

serhii in Scrapy
решение простое, а я что-то под вечер...мозг аж не думает.
источник
2019 October 09

B

Bulatbulat48 in Scrapy
Danil Denysenko
Ого, я не заметил как тут 276 человек появилось)
Помню 100ке радовались)
да кстати уже давно 270-280 человек держится, похоже это предел русскоязычных скраперов 🙂
источник

МС

Михаил Синегубов in Scrapy
Bulatbulat48
да кстати уже давно 270-280 человек держится, похоже это предел русскоязычных скраперов 🙂
хватит-хватит, а то понабегут, всю работу разгребут....😂
тут, блин, 1,5 к.руб за сайт скажешь, и нос воротят...
источник

EB

Elisei Badanin in Scrapy
я просто оставлю это здесь upwork.com
источник

B

Bulatbulat48 in Scrapy
Elisei Badanin
я просто оставлю это здесь upwork.com
@Mifody это тебе похоже сообщение было 🙂
источник