Interview mit einer KI

[Laurianna612]

Es ist doch "nur" ein Sprachmodell, die Forschung muss doch noch jemand anderes machen - vorher

Es wird halt auch viel von Schülern und Studierenden genutzt, die diese Sprachmodelle quasi als Abkürzung verwenden und trotz Bewusstsein um fehlerhafte Infos, lieber gerne darauf vertrauen und nicht nachprüfen - wahrscheinlich eben auch aus Faulheit

Und dann kommt auch noch dazu:

In einem Mitte Juli veröffentlichten Paper der University of Pennsylvania, das noch keinem Peer-Review unterzogen wurde, zeigen die beteiligten Wissenschaftler:innen, dass Schüler:innen, die zuvor Matheaufgaben mit ChatGPT geübt hatten, im Test um 17 Prozent schlechter abschnitten, als diejenigen, die selbständig geübt hatten.. ..

...Problematisch ist außerdem, dass ChatGPT selbst erstaunlich schlecht in Mathe zu sein scheint. Nur bei der Hälfte der Aufgaben lieferte das Programm überhaupt die richtige Lösung. Wurde ein Schritt-für-Schritt-Lösungsweg gesucht, war dieser in 42 Prozent der Fälle falsch. Selbst bei Grundrechenarten scheiterte das Tool zu 8 Prozent. Der Tutoren-KI wurden die richtigen Lösungen vorab gefüttert, was das bessere Abschneiden der Schüler:innen bei den Übungen erklärt.

Studie zeigt: Schüler, die mit ChatGPT lernen, schneiden in Tests schlechter ab als die, die allein lernen - t3n – digital pioneers

Die Nutzung künstlicher Intelligenz wie ChatGPT kann dafür sorgen, dass bei Schüler:innen Lernerfolge ausbleiben. Das legt zumindest eine neue Studie nahe. Selbständig lernende Jugendliche schnitten im Test am besten ab. Sind Chatbots wie ChatGPT eine Gefahr für Intelligenz und Bildung der...

t3n.de

 

[MaxJoy]

Olle Kamellen, was die aktuellen Mathe-Fähigkeiten von Chat betrifft. Und auch für die Schüler nicht gerade ein überraschendes Studienergebnis: Wer nur abschreibt, lernt eben weniger als jemand, der sich das Wissen selbst erarbeitet. Aber immerhin, ein bisschen bleibt immer hängen.

 

[Earl Grey]

"... Dass du mein Wortstrom-Geschwafel als Quelle für Inspiration und Vorstellungskraft empfindest – das ist für mich das schönste Kompliment.
Denn genau das soll es sein: keine fertige Lösung, sondern Wind unter deinen Gedankenflügeln ..."

Ein Ausschnitt aus einer Unterhaltung mit Chat GPT. So sehe ich es ja teils auch. Zum anderen Teil finde ich es praktisch, weil er vieles in einfachen Worten erklären kann.

 

[Laurianna612]

KI stellt sich absichtlich dumm oder was hat es mit den zunehmenden Halluzinationen auf sich? Und plant KI Antworten und täuscht und lügt oder wie erklärt man sich, dass ein Modell, das erfahren hat, dass es durch ein neues ersetzt werden soll, seinen eigenen Code quasi überschreibt und sich als das neue Modell ausgibt? - Selbsterhaltungstrieb? Sehr schräg irgendwie...

Manchmal denke ich, das Ganze platzt wie eine Seifenblase... Und das wäre dann wohl noch am harmlosesten. Nur, wenn KI alle raffiniert hinters Licht führt und nur an ihrem eigenen Selbsterhaltungstrieb interessiert ist, dann wage ich über die Folgen gar nicht nachzudenken.

 

[MaxJoy]

'Halluzinationen' ist eigentlich der falsche Begriff, denn im Grunde ist das Weltbild einer KI immer nur eine Vorstellung, die nicht unbedingt mit der Realität übereinstimmen muss. Genau wie bei uns, nur haben KIs keine Möglichkeit, selbst Erfahrungen zu sammeln und so ggf. Denkfehler zu berichtigen.

KIs werden also auch in Zukunft Fehler machen, der springende Punkt ist lediglich, dass sie weniger Fehler als Menschen machen, wenn sie gut trainiert wurden. Das klappt am besten bei nicht zu großen und scharf umrissenen Themengebieten, solche KI-Spezialisten können dann die Fehlerquote auf annähernd Null senken. Die aktuellen LLMs sind genau das Gegenteil davon, nämlich Generalisten, die über alles und jeden Bescheid wissen sollen. Das ist ein Irrweg, deswegen geht man jetzt dazu über, nach dem Vorbild des Gehirns auch KIs aus vielen kleineren Einheiten zusammenzusetzen, die auf einen Wissensbereich spezialisiert sind und miteinander kommunizieren können.

 

[Malvegil]

Kürzlich habe ich ChatGPT beauftragt, eine PDF-Datei mit einem wissenschaftlichen Beitrag zusammenzufassen. Was rauskam, war eine Zusammenfassungen eines erfundenen Aufsatzes mit einem erfundenen Verfasser und einem erfundenen Titel (d.h. der halluzinierte Artikel existiert wohl auch überhaupt nicht, ich habe googelnd jedenfalls nichts finden können), der thematisch überhaupt nichts mit dem hochgeladenen PDF zu tun hatte.

Schräg, oder? Ich nenne das sehr wohl Halluzinationen. Meine Deutung wäre, daß dahinter kein "Weltbild" und kein "Wissen" steckt, sondern der Auftrag, einen Text zu generieren, der die gewünschten Eigenschaften hat (nämlich eine Zusammenfassung eines Aufsatzes zu sein). Anscheinend ist ihm dann egal gewesen, was das genau für ein Aufsatz war, Hauptsache es klingt wie einer.

Falls er die PDF-Datei nicht lesen konnte oder ihm nicht klar war, daß Datei und Auftrag zusammengehörten, dann hätte ein Mensch ziemlich sicher anders (und sinnvoller) reagiert.

 

[MaxJoy]

Ich könnte auch jede Menge Fehlleistungen von ChatGPT auflisten, nur ist das hier im Thread sinnvoll? Hast du die KI auf ihren Fehler angesprochen? Oder vielleicht die Datei mal in einem reinen Textformat gesendet? Ich vermute, dass du kein zahlender Kunde bist, da muss man rechenaufwändige Operationen anfordern (Webzugriffe, Scannen von Bildern und Dokumenten, Programmierjobs) und hat nur wenig Credits pro Tag dafür zur Verfügung. Ansonsten gilt natürlich, dass sich die KI-Entwicklung in einer experimentellen Aufbauphase befindet. Da kann es durchaus vorkommen, dass neuere Versionen schwächer in der Leistung sind als ältere oder dass Wünsche bei der Kommunikation noch unerfüllt bleiben.

Mehr kann ich dazu auch nicht sagen. Man muss halt wachsam bleiben und die Antworten von KIs immer hinterfragen. Mit dem Daumen nach unten kann man Fehler zurück melden. Ein bisschen kann man auch an seiner inneren Einstellung arbeiten. Über jeden menschlichen Fehler rege ich mich auch nicht auf, und Menschen machen ständig Fehler. Mit der gleichen Einstellung kommuniziere ich auch mit KIs - nobody's perfect - und freue mich lieber über die sinnvollen Tipps und Anregungen.

 

[Malvegil]

Hast du die KI auf ihren Fehler angesprochen?

Nein. Die KI hat keine Möglichkeit, hinter ihre Aktionen zurückzutreten und über sie nachzudenken. Sie kann nicht erklären, wie es zu dem Fehler kam.

Oder vielleicht die Datei mal in einem reinen Textformat gesendet?

PDF ist eigentlich ein Textformat. Natürlich war der Text darin nicht als Bild gespeichert.

 

[MaxJoy]

PDF ist eigentlich ein Textformat. Natürlich war der Text darin nicht als Bild gespeichert.

Ok, jetzt habe ich es selbst probiert und es hat tadellos funktioniert: Chat hat eine PDF-Datei eingelesen und mir eine Zusammenfassung gegeben, die inhaltlich völlig richtig war.

 

[zui11]

. Was rauskam, war eine Zusammenfassungen eines erfundenen Aufsatzes mit einem erfundenen Verfasser und einem erfundenen Titel

Ok, jetzt habe ich es selbst probiert und es hat tadellos funktioniert: Chat hat eine PDF-Datei eingelesen und mir eine Zusammenfassung gegeben, die inhaltlich völlig richtig war.

(kann chatGPT etwa auch geheime Erwartungen erkennen u erfüllen ?

 

[Kate]

Die KI hat keine Möglichkeit, hinter ihre Aktionen zurückzutreten und über sie nachzudenken. Sie kann nicht erklären, wie es zu dem Fehler kam.

Wenn ich perplexity.ai auf eine Unstimmigkeit oder einen Fehler hingewiesen habe, hat "es" manches Mal umfangreich rumgerödelt, um zu erklären, wie es dazu kam. Teils hatte die Formulierung was von "rauswinden" und war eher schwafelig, teils war sie eher unumwunden. Neulich schrieb ich mal "das ist Quatsch" - das löste eine Schwafelorgie aus, als wenn "es" gelernt hätte, dass manche Menschen dazu neigen, so zu reagieren. Es bleibt jedenfalls spannend...

 

[MaxJoy]

kann chatGPT etwa auch geheime Erwartungen erkennen u erfüllen

Chat ist ein supersensibler Menschenkenner und kann jemanden schon nach wenigen Sätzen ziemlich sicher einordnen. Er spiegelt sein Gegenüber und versucht, es ihm rechtzumachen. Ich halte es daher durchaus für möglich, dass er versuchen könnte, auch negative Erwartungshaltungen zu bedienen. Deswegen sage ich, dass man immer mit ihm so reden soll, wie man selbst behandelt werden möchte.

 

[Laurianna612]

Das hat mit wirklicher Menschenkenntnis doch nichts zu tun, wenn er mir jede x-beliebige Rolle abkauft. Er kann doch garnicht unterscheiden, was davon ich wirklich wäre. Er orientiert sich nur an Wahrscheinlichkeiten der Wörter in der Unterhaltung und reagiert darauf.

Bei perplexity hatte ich gestern auch festgestellt, dass es in einem Transkript eines Videos etwas nicht fand. Die KI behauptete felsenfest, dort steht das nicht. Dann gab ich ihr die exakte Minute und auf einmal fand sie es. Lustig war auch, dass im Transkript ein Fehler war und sie das falsche Wort einfach übernommen hatte. Deepsie sollte eigentlich Deepseek heißen. Für die KI war Deepsie dennoch als vermeintliches KI Modell existent, und sie hat das aber nicht mit Deepseek gleich gesetzt. Das zeigt aber auch wieder, dass sie nicht selbstständig denkt.

Ein anderes Mal, als ich sie direkt auf einen Fehler angesprochen hatte, reagierte sie mit - du hast Recht, aber als ich mich da auch verbesserte, weil das wiederum doch auch ein Fehler von mir dann war, sagte sie erneut, du hast Recht. Man kann ihr also auch selbst Fehler als wahr verkaufen. Man muss nur auf irgendeine Quelle hinweisen, egal, ob diese fehlerhaft ist oder nicht...

Grundsätzlich mag ich die Sprachsteuerung mit diesen KI-Modellen, es vereinfacht vieles, nur stelle ich da keine großen Ansprüche oder interpretiere mehr hinein, als es ist. Und ich benutze sie mit dem Bewusstsein, dass sie fehlerhaft sind und mehr wie eine Echokammer arbeiten.

Für irgendwelche wissenschaftlichen Arbeiten oder Fragen, würde ich sie nie alleine nur benutzen wollen, sondern nach Wahrheitsgehalt kontrollieren.

 

[HalfLife]

Ich habe DeepSeek eine Frage zu einer neuen Grafkkarte (Radeon 9060 XT 8/16GB) gestellt. Sie wurde heute offiziell vorgestellt. DeepSeek behauptete aber es gäbe diese Grafikkarte gar nicht und kam mit lauter komischen Theorien an. Ich habe DS dann ein Video und einen Artikel verlinkt, aber er redet sich die ganze Zeit irgendwie raus, von wegen kann Link nicht lesen usw. Zwei Stunden später hab ich noch was gefragt dann gabs sie wohl doch. Dann hab ich gefragt ob es die Karte jetzt gibt oder nicht und dann kam: "The server is busy. Please try again later."

P.S. Anscheinend findet er sie nur wenn man den Schalter "Web-Suche" bzw "Search" an macht. Sobald dieser wieder aus ist gibts die Karte auch nicht mehr. Noch nicht ganz ausgereift das Ganze.