Context Caching

LLMの入力コンテキストをキャッシュして再利用することでコストとレイテンシを削減する技術。Gemini 1.5 Pro等で提供され、固定的な参照データやLLM Wikiを安価に保持できる。これにより、従来の要約による管理ではなく、生のログ全てをキャッシュに保持し続ける運用の経済的合理性が高まった。