Aus diesem Grund sagen die Leute, dass GPT-4 langsamer wird

OpenAI und seine Technologien befanden sich den größten Teil des Novembers mitten in einem Skandal. Zwischen der schnellen Entlassung und Wiedereinstellung von CEO Sam Altman und dem seltsamen Fall der eingestellten kostenpflichtigen ChatGPT Plus-Abonnements hält OpenAI die Branche der künstlichen Intelligenz wochenlang in den Nachrichten.

Jetzt haben KI-Enthusiasten ein Problem wieder aufgegriffen, bei dem sich viele fragen, ob GPT-4 mit dem weiteren Training des Sprachmodells „fauler“ wird. Viele, die es nutzen, um intensivere Aufgaben zu beschleunigen, sind zu X (ehemals Twitter) gegangen, um ihren Unmut über die wahrgenommenen Veränderungen zu äußern.

OpenAI hat GPT-4 ausreichend gesichert, sodass es faul und inkompetent geworden ist.

Diese Datei konvertieren? Zu lang. Eine Tabelle schreiben? Hier sind die ersten drei Zeilen. Lesen Sie diesen Link? Tut mir leid, das geht nicht. Diese Py-Datei lesen? Ups, nicht erlaubt.

So frustrierend.

– Rohit (@krishnanrohit) 28. November 2023

Rohit Krishnan auf Er erklärte, dass der Chatbot mehrere seiner Anfragen abgelehnt oder ihm gekürzte Versionen seiner Anfragen gegeben habe, obwohl er zuvor detaillierte Antworten erhalten konnte. Er wies auch darauf hin, dass das Sprachmodell andere Tools als die, die es verwenden soll, verwenden wird, wie etwa Dall-E, wenn eine Eingabeaufforderung nach einem Code-Interpreter fragt. Krishnan fügte außerdem sarkastisch hinzu, dass „Fehleranalyse“ die Art und Weise des Sprachmodells sei, „AFK“ auszudrücken [away from keyboard]„Ich bin in ein paar Stunden zurück.“

Matt Wensing auf die Ausgangsaufgabe.

Wharton-Professor Ethan Mollick teilte auch seine Beobachtungen zu GPT-4 mit, nachdem er Sequenzen mit dem Code-Interpreter, den er im Juli ausgeführt hatte, mit neueren Abfragen vom Dienstag verglichen hatte. Er kam zu dem Schluss, dass GPT-4 immer noch kenntnisreich ist, stellte jedoch fest, dass es ihm erklärte, wie er seinen Code reparieren konnte, anstatt den Code tatsächlich zu reparieren. Im Wesentlichen müsste er die Arbeit erledigen, die er von GPT-4 verlangte. Obwohl Mollick nicht die Absicht hatte, die Sprache zu kritisieren, stimmen seine Beobachtungen mit dem überein, was andere als „Gegenrede“ von GPT-4 beschrieben haben.

Es ist bekannt, dass ChatGPT Antworten auf Informationen halluziniert, die es nicht kennt, aber diese Fehler scheinen weit über die üblichen Fehltritte des KI-Chatbots hinauszugehen. GPT-4 wurde im März eingeführt, aber bereits im Juli tauchten Berichte auf, dass das Sprachmodell „dümmer“ wurde. Eine in Zusammenarbeit mit der Stanford University und der University of California, Berkeley durchgeführte Studie ergab, dass die Genauigkeit von GPT-4 allein zwischen März und Juni von 97,6 % auf 2,4 % sank. Darin wurde ausgeführt, dass die kostenpflichtige Version von ChatGPT nicht in der Lage war, die richtige Antwort auf eine mathematische Gleichung mit einer detaillierten Erklärung zu liefern, während die unbezahlte Version, auf der noch ein älteres GPT 3.5-Modell läuft, die richtige Antwort und eine detaillierte Erklärung des mathematischen Prozesses lieferte.

Während dieser Zeit deutete Peter Welinder, Vizepräsident für OpenAI-Produkte, an, dass bei intensiven Benutzern ein psychologisches Phänomen auftreten könnte, bei dem die Qualität der Antworten mit der Zeit scheinbar nachlässt, während das Sprachmodell tatsächlich effizienter wird.

Es gab Diskussionen darüber, ob GPT-4 „faul“ geworden ist. kürzlich. Meine anekdotischen Tests deuten darauf hin, dass es wahr sein könnte.

Ich habe eine Reihe alter Analysen wiederholt, die ich mit Code Interpreter durchgeführt habe. GPT-4 weiß immer noch, was zu tun ist, fordert mich aber immer wieder auf, die Arbeit zu erledigen. Ein Schritt ist jetzt viele & einige sind seltsam. pic.twitter.com/OhGAMtd3Zq

– Ethan Mollick (@emollick) 28. November 2023

Laut Mollick könnten die aktuellen Probleme ebenfalls vorübergehender Natur sein und auf eine Systemüberlastung oder eine Änderung des Eingabeaufforderungsstils zurückzuführen sein, die den Benutzern nicht bewusst gemacht wurde. OpenAI nannte insbesondere eine Systemüberlastung als Grund für die Schließung der ChatGPT Plus-Anmeldung, nachdem das Interesse an dem Dienst gestiegen war, nachdem auf der ersten DevDay-Entwicklerkonferenz eine Vielzahl neuer Funktionen für die kostenpflichtige Version des KI-Chatbots vorgestellt wurden. Für ChatGPT Plus gibt es noch eine Warteliste. Der Professor fügte außerdem hinzu, dass ChatGPT auf Mobilgeräten einen anderen Eingabeaufforderungsstil verwendet, was zu „kürzeren und prägnanteren Antworten“ führt.

Yacine auf Andere Benutzer haben erwähnt, dass sie sich inmitten des Niedergangs des Sprachmodells für Open-Source-Optionen entschieden haben.

In ähnlicher Weise erklärte der Reddit-Benutzer Mindless-Ad8595, dass GPT-4 durch neuere Updates zu intelligent für sein eigenes Wohl geworden sei. „Es gibt keinen vordefinierten ‚Pfad‘, der sein Verhalten steuert, was es unglaublich vielseitig macht, aber auch standardmäßig etwas richtungslos“, sagte er.

Der Programmierer empfiehlt Benutzern, benutzerdefinierte GPTs zu erstellen, die auf Aufgaben oder Anwendungen spezialisiert sind, um die Effizienz der Modellausgabe zu erhöhen. Er bietet keine praktischen Lösungen für Benutzer, die im OpenAI-Ökosystem bleiben.

App-Entwickler Nick Dobos teilte seine Erfahrungen mit GPT-4-Pannen mit und bemerkte dies, als er ChatGPT dazu aufforderte schreibe Pong in SwiftUIentdeckte er verschiedene Platzhalter und Aufgaben im Code. Er fügte hinzu, dass der Chatbot Befehle ignorieren und diese Platzhalter und Aufgaben weiterhin in den Code einfügen würde, selbst wenn er dazu aufgefordert würde, etwas anderes zu tun. Mehrere X-Benutzer bestätigten ähnliche Erfahrungen dieser Art mit eigenen Codebeispielen mit Platzhaltern und To-Dos. Dobos‘ Beitrag erregte die Aufmerksamkeit eines OpenAI-Mitarbeiters, der sagte, dass er Beispiele zur Fehlerbehebung an das Entwicklungsteam des Unternehmens weiterleiten würde, mit dem Versprechen, in der Zwischenzeit etwaige Aktualisierungen mitzuteilen.

Insgesamt gibt es keine klare Erklärung dafür, warum es bei GPT-4 derzeit zu Komplikationen kommt. Benutzer, die ihre Erfahrungen online diskutieren, haben viele Ideen vorgeschlagen. Diese reichen von der Zusammenführung von OpenAI-Modellen über eine anhaltende Serverüberlastung durch die Ausführung von GPT-4 und GPT-4 Turbo bis hin zu dem Versuch des Unternehmens, unter anderem durch die Einschränkung der Ergebnisse Geld zu sparen.

Es ist bekannt, dass OpenAI einen äußerst kostspieligen Vorgang durchführt. Im April 2023 gaben Forscher an, dass es 700.000 € pro Tag oder 36 Cent pro Abfrage kostete, um ChatGPT am Laufen zu halten. Branchenanalysten erklärten damals, dass OpenAI seine GPU-Flotte um 30.000 Einheiten erweitern müsste, um seine kommerzielle Leistung für den Rest des Jahres aufrechtzuerhalten. Dies würde zusätzlich zur Rechenleistung für alle Partner die Unterstützung von ChatGPT-Prozessen beinhalten.

Während sie darauf warteten, dass sich die Leistung von GPT-4 stabilisierte, tauschten Benutzer mehrere Witze aus, in denen sie die Situation auf X herunterspielten.

„Das nächste, was Sie wissen, ist, dass Sie sich krank melden“, sagte Southrye.

„So viele Antworten mit „und du machst den Rest.“ Nein, DU machst den Rest.“ sagte MrGarnett.

Die Anzahl der Antworten und Beiträge zu dem Problem ist definitiv schwer zu ignorieren. Wir müssen abwarten, ob OpenAI das Problem in einem zukünftigen Update direkt angehen kann.