NVIDIA Triton Inference Server (2024)

KI für jede beliebige Anwendung auf jeder beliebigen Plattform bereitstellen, ausführen und skalieren.

Inferenz für Large Language Models

TensorRT-LLM, im Early Accessverfügbar, ist eine Open-Source-Bibliothek zum Definieren, Optimieren und Ausführen von Large Language Models (LLM) für die Inferenz in der Produktion. Die Kernfunktionalität von FasterTransformer wird zusammen mit dem Deep-Learning-Compiler von TensorRT in einer Open-Source-Python-API beibehalten, um neue Modelle und Anpassungen schnell zu unterstützen.

Modell-Ensembles

Viele moderne KI-Workloads erfordern die Ausführung mehrerer Modelle, häufig mit Vor- und Nachverarbeitungsschritten für jede Abfrage. Triton unterstützt Modell-Ensembles und -Pipelines, kann verschiedene Teile des Ensembles auf der CPU oder dem Grafikprozessor ausführen und ermöglicht mehrere Frameworks innerhalb des Ensembles.

Baumbasierte Modelle

Das Backend der Forest Inference Library (FIL) in Triton bietet Unterstützung für die Hochleistungs-Inferenz von baumbasierten Modellen mit Erklärbarkeit (SHAP-Werte) auf CPUs und GPUs. Es unterstützt Modelle von XGBoost, LightGBM, scikit-learn RandomForest, RAPIDS cuML RandomForest und anderen im Treelite-Format.

Erfahren Sie, wie Amazon die Kundenzufriedenheit mit NVIDIA-KI verbesserte, indem es die Inferenz um das Fünffache beschleunigte.

Erfahren Sie, wie American Express die Betrugserkennung durch die 50Mal schnellere Analyse von Millionen von Transaktionen pro Tag verbesserte.

Erfahren Sie, wie Siemens Energy Inspektionen durch KI-basierte Fernüberwachung auf Lecks, anomale Geräusche und vieles mehr verbesserte.

Erfahren Sie, wie Microsoft Teams mithilfe von Triton Inference Server Live-Untertitel und Transkriptionen in mehreren Sprachen mit sehr geringer Latenz optimierte.

Erfahren Sie, wie NIO einen Inferenz-Workflow mit geringer Latenz umsetzte, indem es den NVIDIA Triton Inference Server in die Inferenzpipeline für autonomes Fahren integrierte.

Einführung ansehen

Lernen Sie die wichtigsten Funktionen von Triton Inference Server kennen, mit denen Sie KI-Modelle in der Produktion ganz einfach bereitstellen, ausführen und skalieren können.

Das sagen Experten

Sehen Sie sich die GTC-Sessions zu Inferenz und den ersten Schritten mit Triton Inference Server an.

Technische Blogs erkunden

Lesen Sie Blogs über Triton Inference Server.

E-Book ansehen

Entdecken Sie die moderne Landschaft der KI-Inferenz, Produktions-Anwendungsfälle von Unternehmen sowie Herausforderungen und Lösungen aus der Praxis.