Vertiefende Analyse · Etwa 6 Min. Lesezeit
AWS erklärt Prompt-Caching für Bedrock-Agenten: stabile Präfixe und getrennte Kostenbeispiele
Der Leitfaden verbindet explizite gemeinsame Präfixe mit implizitem Verlauf und trennt Werkzeugwechsel, Helfer, modellierte Kosten und Endpunkt-Monitoring.
- Hier veröffentlicht
- Datum der Quelle
- Quelle geprüft
Der technische AWS-Leitfaden von Claudio Mazzoni vom 26. Oktober erklärt die Wiederverwendung von Berechnungen mit OpenAI-Modellen auf Amazon Bedrock. Er ist keine Ankündigung eines neuen Modells. Unsere Analyse nutzt den vollständigen Text und die Kostengrafiken; AISubHub hat weder Code ausgeführt noch Kosten, Latenz oder Verfügbarkeit unabhängig gemessen.
Nachrichten anhören
Diesen Artikel vorlesen oder mit den Nachrichten fortfahren.
Vorlesen wird vorbereitet…
Gerätestimme
Browser oder Gerät verarbeiten die Sprache. AISubHub sendet den Text nicht an eine Audio-API. Stimmen und Wiedergabe bei gesperrtem Bildschirm hängen vom Gerät ab.
Beim Fortsetzen kann sich ein kurzer Satzteil wiederholen.
Auf einen Blick
- Ein Präfix benötigt mindestens 1 024 Tokens. AWS beschreibt mindestens 30 Minuten Lebensdauer nach Schreiben oder erfolgreicher Wiederverwendung; Schreibvorgänge kosten das 1,25-Fache des normalen Eingabetarifs.
- Abbildung 4 zeigt relative Eingabekosten von 0,38 für eine implizite Konfiguration und 0,39 für rollende Grenzen gegenüber 1,00 ohne Cache: Ergebnisse dieser konkreten Last.
- Ein anderes modelliertes Beispiel verwendet 8 000 Start-Tokens und sechs Runden mit je 2 000 zusätzlichen Tokens: 0,87 USD ohne Cache, 0,50 statisch und 0,32 mit rollenden Grenzen.
1. Berechnungen wiederverwenden, kein dauerhaftes Gedächtnis schaffen
Ein Agent sendet üblicherweise Werkzeuge, Anweisungen und bisherige Interaktionen erneut. Beim Prefill entsteht der Schlüssel-Wert-Zustand; der Cache verwendet einen passenden Präfix wieder und verarbeitet den neuen Rest. Die Eingabe-Tokens müssen gleich sein. Deshalb bleiben Serialisierung und Werkzeugreihenfolge stabil, während Zeitstempel, Namen und Anfragekennungen hinter dem wiederverwendbaren Präfix stehen.
Explizite Markierungen definieren einen gemeinsamen Endpunkt nach Werkzeugen und Anweisungen; der implizite Modus folgt geeigneten Gesprächsenden. Beides lässt sich verbinden und erfordert mindestens 1 024 Tokens. store=False belässt im Beispiel den Verlauf bei der Anwendung und deaktiviert Caching nicht. Die Optimierung erzeugt weder dauerhafte Agentenerinnerung noch die Erlaubnis, erforderlichen Anfrageverlauf wegzulassen.
2. Frühere Grenzen beim Wachsen des Verlaufs erhalten
Die Schleife ergänzt Modellausgaben und zugehörige Werkzeugergebnisse einschließlich verschlüsselter Reasoning-Inhalte, ohne alte Nachrichten zu verändern. Im rein expliziten Modus erhält der neueste Ergebnisblock eine Grenze; frühere bleiben bestehen. Nur statisches Caching verarbeitet späteren Verlauf wiederholt. Auch eine einzelne zum neuesten Schritt verschobene Grenze kann Wiederverwendung verlieren. Ein impliziter Endpunkt nach einer Aufgabe garantiert keinen kürzeren gemeinsamen Präfix für andere Aufgaben.
Abbildung 4 betrifft sechs Werkzeugrunden mit GPT-6 Astra und ungefähr 2 000 Tokens Werkzeugausgabe pro Runde. Die relativen Eingabekosten betragen 0,38 für die gezeigte implizite Konfiguration, 0,39 für rollende Grenzen, 0,61 für rein statisches Caching und 0,72 für nur die neueste Runde, verglichen mit 1,00 ohne Cache. Rund 62 % und 61 % Einsparung gehören zu diesen Konfigurationen, nicht zu den modellierten 64 % aus Abbildung 9.
3. Aufrufbare Werkzeuge ändern, den Anfangskatalog erhalten
Für bekannte Werkzeuge bleibt dieselbe sortierte TOOLS-Liste bestehen; allowed_tools in tool_choice begrenzt die Aufrufauswahl. auto lässt über einen erlaubten Aufruf entscheiden, required verlangt mindestens einen erlaubten Aufruf. Der gespeicherte Katalog ändert sich nicht. AISubHub versteht das als Prompt-Organisation, nicht als Nachweis abgesicherter Anwendungsberechtigungen oder Werkzeugausführung.
Für Werkzeuge, die während einer Sitzung hinzukommen, nennt AWS additional_tools auf Runtime und Mantle für GPT-6 Astra, GPT-6.1 Sol und GPT-5.6 Luna. Das Schema wird an den Verlauf angehängt und später weitergesendet, während der Anfangskatalog gleich bleibt. additional_tools kann selbst keine Cache-Grenze tragen; das rein explizite Beispiel setzt sie in einen folgenden input_text-Block und erhält alte Grenzen. Unterschiedliche Rollen wählen eigene stabile Kataloge. Daraus folgt keine Verfügbarkeit für sämtliche Modelle oder Regionen.
4. Gemeinsamen Kontext vor parallelen Helfern vorwärmen
Die gewöhnliche Aufwärmanfrage muss vor dem parallelen Start abgeschlossen sein. Sie und die Helfer markieren das gemeinsame Präfix auch im impliziten Modus und verwenden gleiche Werkzeuge, Modell und Schlüssel. Zähler bestätigen zunächst Cache-Aktivität. Ein Zusammenfasser kann den vollständigen Elternverlauf kopieren und eine eigene Anweisung ergänzen, ohne das Original zu ändern; diese Ergänzung schafft nicht automatisch einen neuen Cache-Endpunkt.
Wiederverwendung verlangt dasselbe Modell, AWS-Konto, Region, Schlüssel und passendes Präfix sowie einen noch verfügbaren Eintrag. Sitzungsspezifische Schlüssel trennen auch identische Sitzungen; ein stabiler Gruppenschlüssel erlaubt vorgesehenes Teilen. AWS nennt mindestens 30 Minuten nach letztem Schreiben oder erfolgreicher Wiederverwendung, gegebenenfalls länger. Auffrischen kostet ebenfalls. Schlüssel und Lebensdauer versprechen weder dauerhafte Speicherung noch eine Sicherheitsgarantie durch getrennte Kostenabrechnung.
5. Modellierte Eingabekosten von der Produktionsrechnung trennen
Abbildung 9 modelliert einen GPT-6-Astra-Supportagenten mit 8 000 Start-Tokens und sechs Runden, die jeweils 2 000 Tokens hinzufügen. Unter den On-Demand-Preisannahmen des Leitfadens ergeben sich kumuliert 0,87 USD ohne Cache, 0,50 mit statischer Grenze und 0,32 mit rollenden Grenzen. Die 64 % gelten für dieses Modellbeispiel, nicht für Abbildung 4 oder eine von AISubHub getestete Installation.
Cache-Schreiben kostet das 1,25-Fache normaler Eingabe; Lesepreise hängen vom Modell ab. Kurze Aufgaben oder häufig veränderte Präfixe amortisieren Schreiben und Aufwärmen möglicherweise nicht. Der Autor empfiehlt, Leseersparnisse gegen diese Kosten zu prüfen. Ausgabetokens bleiben beim Vergleich von Eingabekostenanteilen außen vor, zählen aber separat zur Gesamtrechnung. Die Beispielbeträge sind kein aktuelles Preisangebot und keine garantierte Gesamtersparnis.
6. Passende Zähler verwenden und Governance beibehalten
usage liefert cached_tokens und cache_write_tokens. Runtime bietet außerdem CacheReadInputTokenCount und CacheWriteInputTokenCount in CloudWatch; Aufrufprotokolle ermöglichen die Prüfung einzelner Anfragen. Mantles CloudWatch-Namensraum hat laut Leitfaden derzeit keine getrennten Cache-Zähler, daher protokolliert die Anwendung die Antwortwerte. Cost Explorer trennt nach Usage type Lese-, Schreib- und nicht gecachte Eingabekosten.
Der Autor warnt vor möglichem Abfluss oder Missbrauch von Werkzeugdefinitionen und Systemprompts und bezieht Caching in Governance ein. Unsere Einordnung verlangt gesonderte Prüfung von Freigabeumfang, Berechtigungen und Monitoring; der Artikel weist weder einen konkreten Vorfall noch einen vollständigen Schutz nach. Verlinkte Zusatzdokumente und Beispiele haben wir nicht unabhängig geprüft oder ausgeführt. Modell, Endpunkt, Region, Kosten und Latenz müssen vor Ort verifiziert werden.
Warum es wichtig ist
Die hilfreiche Trennung betrifft stabiles gemeinsames Präfix, nur ergänzten Verlauf und bewusst freigegebenen Helferkontext. Ersparnisse hängen von diesen Grenzen und beobachteten Lese- und Schreibvorgängen ab, nicht allein vom Einschalten des Caches.
Grenzen und Verfügbarkeit
Grundlage sind der vollständige offizielle Leitfaden und die notwendigen Grafiken. AWS-Lastversuche und modellierte Kosten sind unterschiedliche Evidenz. Code, Zusatzdokumente, aktuelle Preise und eine Installation wurden nicht unabhängig getestet.
Quellen und Belege
Datum der Quelle: · Quelle geprüft:
KI-gestützte redaktionelle Beiträge, anhand der genannten Primärquellen geprüft. Anbieterangaben werden zugeordnet; eine Aufnahme ist keine Empfehlung.