Size: a a a

Python для анализа данных

2018 December 25

b

bacchus in Python для анализа данных
ну ок, видимо есть место быть если способ доставки уже продан
источник

b

bacchus in Python для анализа данных
Алексей Макаров
Там какая-то большая бесплатная квота?
хз, этими сервисами можно пользоваться бесплатно, но, я хз про детали
источник

b

bacchus in Python для анализа данных
и еще раз скажу хз
источник

b

bacchus in Python для анализа данных
))
источник

АМ

Алексей Макаров... in Python для анализа данных
Для менеджеров, как оказалось, это один из самых простых способов доставки несложных репортов. Скриптом генерю xlsx, а потом по расписанию гружу
источник

АМ

Алексей Макаров... in Python для анализа данных
Прелесть в том, что если у людей настроена синхра GDrive на жесткий диск, то тогда эти файлы сразу оказываются на конечных компах. Сначала сделал эту штуку через свой WebDAV, но это для восприятия оказалось сложным)
источник

A

Andrei in Python для анализа данных
Алексей Макаров
Пишу сейчас новую статью в свой блог, про использование API Google Drive. Пока осветил заливку больших файлов (более 500 мб), а также выгрузку файлов. На неделе выложу. Кому ещё какие нюансы использования интересны?
Как заливать на Google Drive через командную строку, при этом ограничивая скорость отдачи, и наблюдая прогресс-бар?
источник

АМ

Алексей Макаров... in Python для анализа данных
Вот с прогресс-баром сам пока не разобрался( Надо будет поковыряться в методе
источник

АМ

Алексей Макаров... in Python для анализа данных
А по поводу скорости отдачи вообще нет пока нет в голове вариантов как это можно сделать
источник

A

Andrei in Python для анализа данных
Есть программа-клиент. Там есть прогресс-бар, и позволяет менять скорость загрузки и скачивания.

Известно, она работает через публичный АПИ?
источник

АМ

Алексей Макаров... in Python для анализа данных
Andrei
Есть программа-клиент. Там есть прогресс-бар, и позволяет менять скорость загрузки и скачивания.

Известно, она работает через публичный АПИ?
Скорее всего она работает через RestAPI, которое публично. Но ограничение скорости скорее всего на уровне самого клиента, т.е. методы API тут не при чем. А прогресс-бар строится на основе chunk'ов, на которые разбивается файл для загрузки, когда загрузка идёт с помощью метода upload resumable (https://developers.google.com/drive/api/v3/resumable-upload)
источник

АМ

Алексей Макаров... in Python для анализа данных
Так что upload speed надо будет как-то ограничивать в самом скрипте, например впринудиловку говорить urllib, что скорость должна быть не выше определенной
источник

A

Andrei in Python для анализа данных
Ну вот. Как такое самому собрать? Разбивку на чанки, ограничение отдачи, отслеживание прогресса.

Может достаточно curl какой обвязать?
источник

АМ

Алексей Макаров... in Python для анализа данных
У curl есть —limit-rate http://infoheap.com/curl-with-rate-limit/
источник

АМ

Алексей Макаров... in Python для анализа данных
Но вот как одним курлом заливать файлы - это вопрос. Я через метод в питоновском SDK заливаю, где разбивка на чанки уже сделана за меня
источник

A

Andrei in Python для анализа данных
Алексей Макаров
Но вот как одним курлом заливать файлы - это вопрос. Я через метод в питоновском SDK заливаю, где разбивка на чанки уже сделана за меня
Что такое питоновский SDK?
источник

АМ

Алексей Макаров... in Python для анализа данных
Andrei
Что такое питоновский SDK?
источник

DS

Dmitriy Shashkin in Python для анализа данных
А чанки там большие? Мб после очередного чанка просто ждать в качестве ограничения скорости?)
источник

АМ

Алексей Макаров... in Python для анализа данных
Судя по исходному коду чанки по 3 мегабайта
источник

АМ

Алексей Макаров... in Python для анализа данных
Ещё есть вариант ограничить скорость загрузки для процесса. Вот что стаковерфлоу по этому поводу советует https://unix.stackexchange.com/questions/34116/how-can-i-limit-the-bandwidth-used-by-a-process
источник