Модели OpenAI GPT-5.6 (Sol, Terra, Luna) уже некоторое время доступны в Amazon Bedrock, но до последнего обновления их инференс был жёстко привязан к региону развёртывания. Это создавало проблемы: региональные лимиты упирались в потолок, а запасной регион приходилось поднимать вручную. С запуском кросс-регионального инференса Bedrock ситуация изменилась: одни и те же модели теперь работают более чем в 25 регионах AWS, а трафик распределяется автоматически. Разберём, как это устроено и что нужно для перехода.
Что изменилось в Bedrock для GPT-5.6
Набор моделей остался прежним - Sol, Terra и Luna, это три варианта GPT-5.6 под разные задачи: от лёгких сценариев с быстрым ответом до тяжёлой генерации. Раньше для каждой модели приходилось выбирать конкретный регион и жить с его квотами. Теперь Bedrock позволяет создать inference profile, который охватывает сразу несколько регионов.
Ключевая цифра - больше 25 регионов AWS, где доступен кросс-региональный инференс. Это не значит, что модель одновременно загружена в каждом из них: запросы маршрутизируются в тот регион, где есть свободная мощность. Для разработчика это выглядит как единый эндпоинт, за которым скрывается пул ресурсов.
Как кросс-региональный инференс распределяет запросы
Внутри механизм построен на inference profiles. Их два типа: US geographic и global. Первый ограничивает обработку данных регионами США - подходит для сценариев, где действуют требования к географии хранения данных. Второй не привязан к стране и может использовать любые доступные регионы AWS, где включена модель.
Роутинг запросов происходит автоматически: когда один регион перегружен, следующий запрос уходит в другой, с меньшей задержкой или свободными мощностями. За счёт этого повышается суммарный throughput по сравнению с одиночным регионом. При этом пользователю не нужно знать, в каком регионе фактически выполнился запрос - всю логику берёт на себя профиль.
Как вызывать модели: OpenAI API и Converse API
Для вызова доступны два интерфейса. Первый - OpenAI-совместимый API, привычный по работе с оригинальным API OpenAI. Второй - Converse API от Bedrock, который унифицирует работу с разными моделями внутри AWS. Оба принимают идентификатор профиля вместо конкретного региона.
Настройка доступа стандартная для Bedrock: создаётся inference profile, затем в IAM-политике разрешается его использование, после чего выставляются квоты. Мониторинг ведётся через CloudWatch: там видны метрики количества запросов, ошибок, потребления токенов и задержек. Механика простая, но важно не забыть обновить политику, если раньше доступ был ограничен одним регионом.
Практический пример: настройка и первый запрос
Чтобы перейти на кросс-региональный инференс, нужно выполнить три шага. Сначала в консоли Bedrock создать inference profile нужного типа (US geographic или global). Затем убедиться, что IAM-роль, из которой идут вызовы, имеет разрешение на использование этого профиля. И наконец, в коде указать ARN профиля вместо region-specific endpoint.
Пример работы с профилем через Converse API выглядит так: в конфигурации клиента указывается идентификатор профиля, а модель остаётся той же (например, sol). Запрос строится как обычный диалог: системный промпт, сообщение пользователя, параметры температуры и максимального числа токенов. Ответ возвращается в стандартном формате, поэтому код мигрирует без серьёзных переделок.
Такой подход особенно удобен для приложений с пиковой нагрузкой: вместо того чтобы угадывать, какой регион выдержит поток, профиль решает это сам. Правда, стоит учитывать, что для задач, где данные обязаны оставаться внутри конкретной страны, US geographic профиль надёжнее - глобальный может увести запрос в другой регион той же AWS-партнёрки.
Когда кросс-региональный инференс реально нужен
Основной сценарий - боевые сервисы, которые упираются в региональные лимиты Bedrock. Если приложение периодически получает ошибки о превышении квоты, кросс-региональный профиль сглаживает эти пики. Он также полезен для отказоустойчивости: при сбое одного региона трафик автоматически уходит в другие, не требуя ручного переключения.
Обратная сторона - мониторинг становится чуть сложнее: метрики агрегируются по профилю, а не по отдельному региону, и при необходимости локализовать проблему придётся смотреть каждую точку отдельно. Но для большинства продуктов выигрыш в стабильности перевешивает. Начать стоит с малого: создать профиль, переключить тестовый трафик, сравнить задержки и число ошибок со старым региональным эндпоинтом. Если разница заметна - переносить оставшиеся вызовы.