Nvidia und Microsoft lösen mit Copilot+ ein großes Problem

Luke Larsen / Digital Trends

Als Microsoft vor einigen Wochen Copilot+-PCs ankündigte, stand eine Frage im Vordergrund: Warum kann ich diese KI-Anwendungen nicht einfach auf meiner GPU ausführen? Auf der Computex 2024 lieferte Nvidia endlich eine Antwort.

Nvidia und Microsoft arbeiten gemeinsam an einer Anwendungsprogrammierschnittstelle (API), mit der Entwickler ihre KI-beschleunigten Apps auf RTX-Grafikkarten ausführen können. Dazu gehören die verschiedenen Small Language Models (SLMs), die Teil der Copilot-Laufzeit sind und als Grundlage für Funktionen wie Recall und Live Captions dienen.

Mit dem Toolkit können Entwickler Apps lokal auf Ihrer GPU statt auf der NPU ausführen. Dies öffnet nicht nur die Tür zu leistungsfähigeren KI-Anwendungen, da die KI-Fähigkeiten von GPUs im Allgemeinen höher sind als die von NPUs, sondern auch die Möglichkeit, sie auf PCs auszuführen, die derzeit nicht unter den Copilot+-Schirm fallen.

Holen Sie sich Ihren wöchentlichen Teardown der Technik hinter PC-Spielen

Das ist ein toller Schritt. Copilot+-PCs benötigen derzeit eine Neural Processing Unit (NPU), die mindestens 40 Tera-Operationen pro Sekunde (TOPS) ausführen kann. Derzeit erfüllt nur der Snapdragon X Elite dieses Kriterium. Trotzdem verfügen GPUs über viel höhere KI-Verarbeitungskapazitäten, wobei selbst Low-End-Modelle bis zu 100 TOPS erreichen und High-End-Optionen sogar noch höher skalieren.

Die neue API läuft nicht nur auf der GPU, sondern ergänzt die Copilot-Laufzeit auch um Retrieval-Augmented Generation (RAG)-Funktionen. RAG gibt dem KI-Modell lokalen Zugriff auf bestimmte Informationen und ermöglicht es so, hilfreichere Lösungen bereitzustellen. Wir haben RAG Anfang des Jahres in voller Pracht bei Nvidias Chat mit RTX gesehen.

Nvidia

Außerhalb der API hat Nvidia auf der Computex das RTX AI Toolkit angekündigt. Diese Entwicklersuite, die im Juni erscheint, kombiniert verschiedene Tools und SDKs, mit denen Entwickler KI-Modelle für bestimmte Anwendungen optimieren können. Nvidia sagt, dass Entwickler mit dem RTX AI Toolkit im Vergleich zu Open-Source-Lösungen Modelle viermal schneller und dreimal kleiner erstellen können.

Wir erleben eine Welle von Tools, mit denen Entwickler spezifische KI-Anwendungen für Endbenutzer erstellen können. Einige davon sind bereits in Copilot+-PCs enthalten, aber ich vermute, dass wir im nächsten Jahr noch viel mehr KI-Anwendungen sehen werden. Schließlich haben wir die Hardware, um diese Apps auszuführen; jetzt brauchen wir nur noch die Software.