So verwenden Sie Nvidias neuen Chat mit RTX AI-Bot
Seit der bahnbrechenden Veröffentlichung von ChatGPT wartet die Computerwelt auf einen lokalen KI-Chatbot, der unabhängig von der Cloud ausgeführt werden kann. Nvidia hat jetzt eine Antwort mit Chat with RTX, einem lokalen KI-Chatbot, der es Ihnen ermöglicht, ein KI-Modell zu nutzen, um Ihre Offline-Daten zu durchsuchen.
In dieser Anleitung zeigen wir Ihnen, wie Sie Chat mit RTX einrichten und verwenden. Dies ist nur eine Demo. Rechnen Sie also mit einigen Fehlern, wenn Sie mit dem Tool arbeiten. Aber hoffentlich wird es die Tür zu mehr lokalen KI-Chatbots und anderen lokalen KI-Tools öffnen.
So laden Sie Chat with RTX herunter
Der erste Schritt besteht darin, Chat with RTX herunterzuladen und zu konfigurieren, was tatsächlich etwas komplizierter ist, als Sie vielleicht erwarten. Sie müssen lediglich ein Installationsprogramm ausführen. Das Installationsprogramm kann jedoch fehlschlagen und Sie müssen einige Mindestsystemanforderungen erfüllen.
Sie benötigen eine RTX-GPU der 40er- oder 30er-Serie mit mindestens 8 GB VRAM sowie 16 GB System-RAM, 100 GB Festplattenspeicher und Windows 11.
Schritt 1: Laden Sie das Chat with RTX-Installationsprogramm von der Nvidia-Website herunter. Dieser komprimierte Ordner ist 35 GB groß, daher kann der Download eine Weile dauern.
Schritt 2: Sobald der Download abgeschlossen ist, klicken Sie mit der rechten Maustaste auf den Ordner und wählen Sie ihn aus Alles extrahieren.
Jacob Roach / Digitale Trends
Holen Sie sich Ihren wöchentlichen Einblick in die Technik hinter PC-Gaming
Schritt 3: Im Ordner finden Sie einige Dateien und Ordner. Wählen setup.exe und gehen Sie durch das Installationsprogramm.
Schritt 4: Bevor die Installation beginnt, werden Sie vom Installationsprogramm gefragt, wo Sie Chat with RTX speichern möchten. Stellen Sie sicher, dass an dem von Ihnen ausgewählten Speicherort mindestens 100 GB Speicherplatz vorhanden sind, da Chat with RTX tatsächlich die KI-Modelle herunterlädt.
Jacob Roach / Digitale Trends
Schritt 5: Der Installationsvorgang kann bis zu 45 Minuten dauern. Machen Sie sich also keine Sorgen, wenn er kurzzeitig hängen bleibt. Es kann auch Ihren PC verlangsamen, insbesondere während der Konfiguration der KI-Modelle. Wir empfehlen daher, während der Installation einen Moment innezuhalten.
Schritt 6: Die Installation schlägt möglicherweise fehl. Wenn dies der Fall ist, führen Sie einfach das Installationsprogramm erneut aus und wählen Sie den gleichen Speicherort für die Daten wie zuvor. Das Installationsprogramm wird dort fortgesetzt, wo es aufgehört hat.
Schritt 7: Sobald das Installationsprogramm abgeschlossen ist, erhalten Sie eine Verknüpfung zu „Chat with RTX“ auf Ihrem Desktop und die App wird in einem Browserfenster geöffnet.
So verwenden Sie Chat mit RTX mit Ihren Daten
Der große Vorteil beim Chatten mit RTX besteht darin, dass Sie Ihre eigenen Daten verwenden können. Es nutzt etwas, das Retrieval-Augmented Generation (RAG) genannt wird, um Dokumente durchzublättern und Ihnen Antworten auf der Grundlage dieser Dokumente zu geben. Anstatt irgendeine Frage zu beantworten, ist Chat mit RTX gut darin, spezifische Fragen zu einem bestimmten Datensatz zu beantworten.
Nvidia stellt einige Beispieldaten zur Verfügung, damit Sie das Tool ausprobieren können. Sie müssen jedoch Ihre eigenen Daten hinzufügen, um das volle Potenzial von Chat mit RTX auszuschöpfen.
Schritt 1: Erstellen Sie einen Ordner, in dem Sie Ihren Datensatz speichern. Notieren Sie sich den Speicherort, da Sie Chat with RTX auf diesen Ordner verweisen müssen. Derzeit unterstützt Chat with RTX .txt-, .pdf- und .doc-Dateien.
Schritt 2: Öffnen Sie „Chat mit RTX“ und wählen Sie das Stiftsymbol im aus Datensatz Abschnitt.
Jacob Roach / Digitale Trends
Schritt 3: Navigieren Sie zu dem Ordner, in dem Sie Ihre Daten gespeichert haben, und wählen Sie ihn aus.
Schritt 4: Wählen Sie im Chat mit RTX das Aktualisierungssymbol aus Datensatz Abschnitt. Dadurch wird das Modell basierend auf den neuen Daten neu generiert. Sie möchten das Modell jedes Mal aktualisieren, wenn Sie dem Ordner neue Daten hinzufügen oder einen anderen Datensatz auswählen.
Jacob Roach / Digitale Trends
Schritt 5: Nachdem Sie Ihre Daten hinzugefügt haben, wählen Sie im Abschnitt „KI-Modell“ das Modell aus, das Sie verwenden möchten. Chat mit RTX umfasst Llama 2 und Mistral, wobei letzteres die Standardeinstellung ist. Experimentieren Sie mit beiden, aber für neue Benutzer ist Mistral am besten geeignet.
Schritt 6: Von dort aus können Sie beginnen, Fragen zu stellen. Nvidia weist darauf hin, dass Chat mit RTX den Kontext nicht berücksichtigt, sodass frühere Antworten keinen Einfluss auf zukünftige Antworten haben. Darüber hinaus führen spezifische Fragen im Allgemeinen zu besseren Ergebnissen als allgemeine Fragen. Abschließend weist Nvidia darauf hin, dass Chat with RTX bei der Bereitstellung einer Antwort manchmal auf die falschen Daten verweist. Denken Sie also daran.
Schritt 7: Wenn Chat mit RTX nicht mehr funktioniert und ein Neustart das Problem nicht behebt, können Sie laut Nvidia die Datei „preferences.json“ löschen, um das Problem zu lösen. Dieser befindet sich unter C:\Benutzer\\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
So verwenden Sie Chat mit RTX mit YouTube
Zusätzlich zu Ihren eigenen Daten können Sie mit RTX auch mit YouTube-Videos chatten. Das KI-Modell basiert auf dem Transkript eines YouTube-Videos, daher gibt es einige natürliche Einschränkungen.
Erstens sieht das KI-Modell nichts, was nicht im Transkript enthalten ist. Man kann zum Beispiel nicht fragen, wie jemand in einem Video aussieht. Darüber hinaus sind YouTube-Transkripte nicht immer perfekt. Bei Videos mit unordentlichen Transkripten erhalten Sie möglicherweise nicht die gewünschten Antworten.
Schritt 1: Öffnen Sie den Chat mit RTX und im Datensatz Abschnitt, wählen Sie das Dropdown-Menü aus und wählen Sie Youtube.
Schritt 2: Fügen Sie im Feld unten einen Link zu einem YouTube-Video oder einer YouTube-Playlist ein. Neben diesem Feld finden Sie eine Zahl, die die maximale Anzahl der Transkripte angibt, die Sie herunterladen möchten.
Jacob Roach / Digitale Trends
Schritt 3: Wählen Sie die Download-Schaltfläche neben diesem Feld und warten Sie, bis der Download der Transkripte abgeschlossen ist. Wenn Sie fertig sind, klicken Sie auf die Schaltfläche „Aktualisieren“.
Schritt 4: Sobald das Transkript fertig ist, können Sie wie zuvor mit Ihren eigenen Daten chatten. Spezifische Fragen sind besser als allgemeine Fragen, und wenn Sie über mehrere Videos chatten, erhält Chat with RTX möglicherweise die falsche Referenz, wenn Ihre Frage zu allgemein ist.
Schritt 5: Wenn Sie über eine neue Reihe von Videos chatten möchten, müssen Sie die alten Transkripte manuell löschen. Neben der Schaltfläche „Aktualisieren“ finden Sie eine Schaltfläche zum Öffnen eines Explorer-Fensters. Gehen Sie dorthin und löschen Sie die Transkripte, wenn Sie über andere Videos chatten möchten.
