EB
по идеи можно Range слать
ну я уже понял твою идею, наверное так и сделаю
Size: a a a
2019 October 08
МС
по идеи можно Range слать
я уже сказал, если сайт не позволяет - то он тупо выдаст весь документ в ответ, уже кипятил себе мозг с этим.
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
EB
ну это уже всяко лучше, чем для всех грузить полностью
B
r = requests.get('https://ukranews.com/upload/news/2018/12/29/5c27d01c15f57-screenshot-395_1200.png', headers={'range':'bytes=0-1'})
r.text
Out[4]: u'\u2030P'
r.headers
Out[5]: {'Content-Length': '2', 'Expires': 'Tue, 15 Oct 2019 11:19:42 GMT', 'Content-Range': 'bytes 0-1/1367522', 'Server': 'nginx', 'Last-Modified': 'Sat, 29 Dec 2018 19:50:57 GMT', 'Connection': 'keep-alive', 'ETag': '"5c27d021-14dde2"', 'Cache-Control': 'max-age=604800', 'Date': 'Tue, 08 Oct 2019 11:19:42 GMT', 'Content-Type': 'image/png'}B
просто слать range 0-1
B
я уже сказал, если сайт не позволяет - то он тупо выдаст весь документ в ответ, уже кипятил себе мозг с этим.
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
а ну вроде тоже самое что и я предлагаю)
B
я уже сказал, если сайт не позволяет - то он тупо выдаст весь документ в ответ, уже кипятил себе мозг с этим.
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
дня два искал ошибку в коде, а выяснилось что архив по частям нелься качать :)
>> r = requests.get('https://file-examples.com/wp-content/uploads/2017/02/zip_2MB.zip', headers={'range':'bytes=0-1'})
r
>>: <Response [206]>
r.text
>>: u'PK'
r.headers
>>: {'Content-Length': '2', 'Accept-Ranges': 'bytes', 'Expires': 'Tue, 08 Oct 2019 11:29:53 GMT', 'Connection': 'Keep-Alive', 'Keep-Alive': 'timeout=5, max=100', 'Server': 'Apache/2.4.10', 'Last-Modified': 'Mon, 13 Nov 2017 10:19:05 GMT', 'Content-Range': 'bytes 0-1/2036861', 'ETag': '"1f147d-55dda99a12fb6"', 'Cache-Control': 'max-age=0', 'Date': 'Tue, 08 Oct 2019 11:29:53 GMT', 'Content-Type': 'application/zip'}B
кстати вроде ок
МС
кстати вроде ок
ну ладно, уболтал чертяка языкастый, может мне просто в свое время так повезло 😄
B
хах)
МС
оно то и HEAD не должны запрещать, теоретически....
просто я еще тот параноик :)
просто я еще тот параноик :)
МС
Я всегда думаю как бы я усложнил себе жизнь
s
вопрос не по скрапи, а по питону, буду рад, если кто-то подскажет =)
https://ru.stackoverflow.com/q/1032489/277812
https://ru.stackoverflow.com/q/1032489/277812
2019 October 09
B
Ого, я не заметил как тут 276 человек появилось)
Помню 100ке радовались)
Помню 100ке радовались)
да кстати уже давно 270-280 человек держится, похоже это предел русскоязычных скраперов 🙂
МС
да кстати уже давно 270-280 человек держится, похоже это предел русскоязычных скраперов 🙂
хватит-хватит, а то понабегут, всю работу разгребут....😂
тут, блин, 1,5 к.руб за сайт скажешь, и нос воротят...
тут, блин, 1,5 к.руб за сайт скажешь, и нос воротят...
EB
я просто оставлю это здесь upwork.com
B
я просто оставлю это здесь upwork.com
@Mifody это тебе похоже сообщение было 🙂