у сайта есть апи которое выдаёт такие вот ссылки

ну а причем тут aws?

ну у меня с домашнего пк около тысячи в час просто реквестов. А скачать картинки, модель натрейнить, звучит как задача для клауда

ну подними ec2, запусти скрипт оттуда - проверь скорость.

глянь лс

Всем привет, кто-то работал с AWS Batch?

Может кто-то подскажет как реализовать такую схему?

Есть образ в ECR, выполняем на его основе разные задачи, пробрасывая ему разные команды через AWS Batch
Но сами задачи имеют зависимости, например:
Выполняется одна, пока она не выполнилась, ничего не запускаем, по ее выполнение, запускаем 3 разные задачи, они могут работать параллельно, после выполенения всех 3 - идут еще задачи со своими зависимостями. Собственно такая схема должна запускаться каждый день.

Пока едиственный вариант который я вижу - писать что-то на Python, что будет контролировать  выполнения Batch задач.

Коллеги, а никто не заметил в eu-central-1 подтормаживаний инета?

да, тормозит нещадно

у меня сборки периодически падают (в которых ставятся пакеты)

плюсую, не только в этом регионе.
из рф и рб есть потери пакетов

А пробовали в поддержку писать?

из инета из новостей: "Нидерландское информагентство ANP сообщает о крупной аварии в телекоммуникационных компаниях KPN, Vodafone и Ziggo, без связи остались больницы страны"

у нас из NL все ок

думаю могло и амазон заафкетить

это не у авс проблемы, а где-то на магистралях скорее всего

+

вероятно, но может они разбираются сейчас с магистралами

We were unable to charge your credit card for the amount of $0.53 for your use of AWS services during the month of Feb-2020.

круть

Route$0.53