KI-Infrastruktur
Agentenbasierte KI-Infrastruktur auf Kubernetes betreiben – Agenten-Gateways, MCP und Inferenz
Hier geht’s los: KI-Infrastruktur für Einsteiger
Was ist ein Agent-Gateway? Die Datenebene für agentenbasierte KI
Erfahren Sie, was ein Agent-Gateway ist: eine einheitliche Datenebene für MCP-, Agent-zu-Agent- und LLM-Datenverkehr, und warum agentenbasierte Systeme auf Kubernetes ein solches benötigen.
Installation eines Agent-Gateways auf Kubernetes
Installieren Sie agentgateway mit Helm der Gateway-API auf einem Kubernetes-Cluster und leiten Sie anschließend Ihre erste Anfrage darüber weiter. Eine praktische Anleitung, die ausschließlich auf Open-Source-Lösungen basiert.
Ihr erstes MCP-Gateway
Stellen Sie einen Model Context Protocol (MCP)-Server über ein Agent-Gateway auf Kubernetes bereit und können Sie anschließend dessen Tools über einen einzigen regulierten Endpunkt ermitteln und aufrufen.
Weiterleitung von LLM-Datenverkehr über verschiedene Anbieter hinweg
Leiten Sie LLM-Chat-Vervollständigungen über ein Agent-Gateway weiter: Leiten Sie den Datenverkehr an ein Modell weiter, das Sie selbst betreiben, und sorgen Sie anschließend für eine Lastverteilung auf mehrere Anbieter – ganz ohne Änderungen an Ihrer Anwendung.
Kommunikation zwischen Agenten
Leiten Sie den Agent-zu-Agent-Verkehr (A2A) über ein Agent-Gateway in Kubernetes, sodass sich die Agenten über einen einzigen, verwalteten Endpunkt gegenseitig erkennen und ansprechen können.
Sicherung des Agent-Datenverkehrs durch Richtlinien und Überwachbarkeit
Richten Sie mit agentgateway eine Sicherheitsrichtlinie für den Agent-Datenverkehr ein: Erzwingen Sie die API-Schlüssel-Authentifizierung am Gateway und lesen Sie die Zugriffsprotokolle aus, in denen jede Anfrage aufgezeichnet wird.