А точно запрос правильно составлен? API Explorer https://developers.google.com/apis-explorer/#p/ нормально отрабатывает?

Да. Используем провайдер терраформа. С конфигурацией которая работала 3 дня назад. Что интересно спуста какое-то время, общения с поддержкой gcloud и очередной смены service account'а, проблема ушла и появилась другая - insufficient scope. Чуть позже для того же аккаунта создали новый json ключ и проблема исчезла. Ощущение что у гугла им-то причинам приостановился процесс верификации ключей service account'ов или что-то в этом роде

Terraform где запускается? В облаке или на on-premise машине?

На серверах gcloud

Если быть точнее в гитлаб раннере на сервере gcloud в отдельном проекте

Тогда по хорошему, вам вообще не нужен ключ для сервис-аккаунта. По поводу scope, поставьте максимальное разрешение на гитлаб-раннер - cloud-platform (https://cloud.google.com/compute/docs/access/service-accounts#accesscopesiam).

А в конфигурации провайдера попробуйте опустить строку credentials, чтобы Terraform использовал сервис-аккаунт виртуалки.

Ключ не нужен на  виртуалках, он используется только на внешних машинах: https://cloud.google.com/iam/docs/creating-managing-service-account-keys#creating_service_account_keys

а кто тут юзал deployment manager от гугла, тоже IaaC
как оно вообще в плане работы / стабильности ?

Очень стабильно, конфигурация хранится прямо в проекте, а не в отдельном файле, все бета-фичи доступны сразу, можно напрямую вызывать API, но сложно вести отладку, есkи что-то пошло не так. Масса примеров и готовых темплейтов есть здесь: https://github.com/GoogleCloudPlatform/cloud-foundation-toolkit/tree/master/dm

Мне в Pub/Sub каждую секунду закидывается сообщение. С помощью Dataflow надо эти сообщения сохранить в GCS и подсчитать их количество за минуту (и тоже сохранить).

Проблема: подсчитанное количество за минуту почти никогда не равно 60. Это что-то между 57 и 63.

Кто знает, из-за чего это может быть? Как можно пофиксить?

Но в среднем 60 в минуту? Значит, по статистике всё хорошо? :)

Да)) но тут важно именно точно подсчитать, чтобы если ивентов реально меньше 60, подрываться и искать причину

А считаете как?

На стэковерфлов это обсуждали и ссылались на spotify: https://stackoverflow.com/questions/53197855/google-pub-sub-performance-latency-under-low-load

Сначала собираем сообщения в минутное окно. Потом через "Aggregate Count" >> beam.CombineGlobally(logcount).without_defaults() считаем

Функция logcount и группировка есть на скрине

Не сильно в этом шарю, но не вижу отсылки к Timestamp, это какой-то Timestamp из сообщения?

PubSub разработан для передачи миллионов сообщений в секунду, эта нагрузка для него нетипична и поэтому могут быть большие задержки в передаче единичных сообщений. DataFlow тоже может вносить непредсказуемую задержку. Попробуте использовать PubSub Lite, он может оказаться более предсказуемым на вашей загрузке.

Привет всем!
Нужна наводка куда копать. Есть firebase, который в realtime шлет события в bigquery. Хочется эти события каким-то образом в dataflow в realtime обрабатывать. Не нашел способа складывать из firebase в pubssubs или хотя бы экспортировать как-то во внутреннюю кафку