AP
Именно
Size: a a a
2021 June 23
IL
спасибо за подсказку!
AP
ЛА
понял, спс.
а кроме таймаута, есть ли еще рекомендации?
а кроме таймаута, есть ли еще рекомендации?
AP
Контекст передавать. Всё остальное по-умолчанию достаточно хорошо
ЛА
приятно слышать. помню, был какой-то доклад авито про парсер веб-страниц, там было много настроек, что-то про хендшейк еще, но нагуглить не смог, да и возможно устарело
AP
А у вас масштабы Авито?
ЛА
сложно оценить, их масштабы я не знаю.
у меня сама каждая таска довольно тяжелая - не скачивание, а загрузка сотен гб в google cloud storage, ну и время нужно минимизировать.
у меня сама каждая таска довольно тяжелая - не скачивание, а загрузка сотен гб в google cloud storage, ну и время нужно минимизировать.
ЛА
причем ее нельзя масштабировать, она последовательная. resumable и чанками, но последовательная
ВС
так тогда время хендшейка на фоне передачи такого объема даже не заметите)
ЛА
общая ситуация такова - за один запуск грузится неск тысяч файлов, есть малого размера, есть на много сотен ГБ.
файлы грузятся параллельно разными рутинами.
файлы, чей размер больше текущего чанка в 16 мб, грузятся последовательным циклом c retry-логикой, в каждой итерации которого HTTPS запрос.
те отдельных запросов все равно много.
Вот хочется не наступить на грабли
файлы грузятся параллельно разными рутинами.
файлы, чей размер больше текущего чанка в 16 мб, грузятся последовательным циклом c retry-логикой, в каждой итерации которого HTTPS запрос.
те отдельных запросов все равно много.
Вот хочется не наступить на грабли
ЛА
самые разные файлы, меня их контент не интересует
ЛА
в гугле есть либа для этого, но она не решает некоторые вопросы, которые критичны для моей задачи, именно загрузка по авторизованному урлу. в итоге адаптировал эту либу и написал свою реализацию - сейчас тайминги идентичны гугловой либе, в которой используется дефолтный клиент
MM
Окружение поднятно на удаленном сервере, наружу торчит только nginx. А нужно дебажить какой-либо из сервисов удаленно.
ВС
Надо закинуть в контейнер delve и запускать через него, не забыв открыть порты для него. Удалённый дебаг в goland имеется