OpenAI продлила срок жизни кэша промптов до 12 часов

OpenAI обновила механизм кэширования промптов: теперь можно сохранять кэш входного контекста минимум на 12 часов вместо стандартных 30 минут. Изменение рассчитано на длительные агентные задачи, где модель многократно использует одни и те же инструкции, описания инструментов и историю работы.

Раньше после длительного перерыва кэш мог перестать использоваться, и модели приходилось заново обрабатывать общий контекст. Увеличенный срок хранения позволяет повторно использовать его даже после нескольких часов бездействия — если последующие запросы содержат подходящий неизменённый префикс.

Что изменилось в API

Для поддерживаемых моделей в Responses API появился параметр prompt_cache_options.ttl, который принимает значения 30m и 12h.

За увеличение срока хранения приходится платить больше при записи кэша:

• 30 минут: 1,25× обычной стоимости входных токенов.

• 12 часов: 2,5× обычной стоимости входных токенов.

Это полная стоимость записи, а не дополнительная комиссия. Повторное чтение кэша тарифицируется по прежней сниженной ставке. Поэтому 12-часовой режим может быть выгоднее, если контекст повторно используется спустя несколько часов, но не гарантирует экономию в каждом сценарии.

Зачем?

Длительные сессии Codex и других ИИ-агентов могут включать десятки последовательных запросов с общим контекстом. Если кэш приходится записывать заново после каждого длительного перерыва, расходы растут, а обработка занимает больше времени.

Увеличенный TTL помогает сохранять повторно используемый контекст между такими обращениями.