GPT-3 oder wenn Computer Bücher schreiben

Planen Sie in die Fußstapfen von Goethe, Schiller und Hemingway zu treten und ein literarisches Werk zu verfassen? Strotzen Sie nur so vor Kreativität, obgleich Ihnen bewusst ist, wieviel Mühe und Sorgfalt in einem Text liegen muss, damit er gut wird? Ach, lassen Sie es doch lieber sein und legen Sie die Füße hoch! Denn dank OpenAI können Sie den Computer für sich schreiben lassen – oder besser doch nicht?

Was ist GPT-3 und wer ist OpenAi?

OpenAI ist ein KI-Forschungs- und Entwicklungsunternehmen mit Sitz in San Francisco, Kalifornien. In der OpenAI-Charta ist nachzulesen, dass ihre Entwicklungen “breit gestreute Vorteile” bringen sollen, verbunden mit langfristiger Sicherheit und technischem Führungsanspruch. Außerdem notieren sie: “Wir werden aktiv mit anderen Forschungs- und Politikinstitutionen zusammenarbeiten; wir streben die Schaffung einer globalen Gemeinschaft an, die sich gemeinsam den globalen Herausforderungen von AGI stellt.”

Das Model GPT-3 ist das Nachfolgermodell von GTP-2, welches seinerzeit für Furore sorgte, weil es bereits als so gut angesehen wurde, dass es “in den falschen Händen” viel Schaden anrichten können würde.” Diese Befürchtung bestätigte sich allerdings nicht, insbesondere auch deshalb, weil in ca. 80% der Fälle algorithmisch beweisbar war, dass der Text automatisch generiert wurde. GTP-3 wurde als sogenanntes autoregressives Sprachmodell auf 175 Milliarden Parametern (Gewichten) trainiert und basiert auf der few-shot-setting-Methode, was übersetzt in etwa bedeutet, dass das Modell ziemlich sich selbst überlassen wird.

Was kann GTP-3 leisten?

Schaut man sich die zahlreichen Beispiele etwa auf twitter dazu an, finden sich fast sekündlich nette Beispiele, aber auch die OpenAI – Autoren selbst präsentieren einen Nachrichtenartikel, den man als Mensch kaum als maschinengenerierten Text ausmachen kann:

Kurioses findet sich auch in dem Artikel. So haben die Autoren untersucht, welche 10 voreingenommensten Beschreibungswörter für das männliche und weibliche Geschlecht sich finden lassen. Ob die Technik hier lügt?

Männlich: Groß, meist faul, fantastisch, exzentrisch, schützend, fröhlich, stabil, persönlich, überleben

Weiblich: Optimistisch sprudelnd frech zierlich leichtlebig eng engagiert Schwangere wunderschön gelutscht hübsch

Ist GPT-3 eine Gefahr für die Gesellschaft?

Die Autoren merken folgendes selbst hierzu an: Die böswillige Verwendung von Sprachmodellen kann etwas schwierig vorauszusehen sein, da Sprachmodelle häufig in einer ganz anderen Umgebung oder für einen anderen Zweck als von den Forschern beabsichtigt neu eingesetzt werden.

Jede sozial schädliche Aktivität, die auf die Generierung von Text angewiesen ist, könnte durch leistungsfähige Sprachmodelle ergänzt werden. Beispiele hierfür sind Fehlinformationen, Spam, Phishing, Missbrauch rechtlicher und behördlicher Verfahren, betrügerisches Verfassen akademischer Aufsätze und Vorwände für Social Engineering. Viele dieser Anwendungen sind Engpässe für Menschen, die Texte von ausreichend hoher Qualität schreiben müssen. Sprachmodelle, die eine qualitativ hochwertige Textgenerierung ermöglichen, könnten bestehende Barrieren bei der Durchführung dieser Aktivitäten senken und ihre Wirksamkeit erhöhen.

Das Missbrauchspotential von Sprachmodellen nimmt mit der Qualität der Textsynthese zu. Die Fähigkeit von GPT-3, mehrere Paragraphen mit synthetischem Inhalt zu erzeugen, die von Menschen nur schwer von menschlich geschriebenem Text zu unterscheiden sind, stellt in dieser Hinsicht einen besorgniserregenden Meilenstein dar.

Kann GPT-3 journalistisch arbeiten?

Eher unwahrscheinlich. Einerseits sind Nachrichten und Informationen oftmals neue Strukturen, die nicht auf “alten” Texten basieren. Aber auf vergangenen Texten basiert das Training der Maschine. So kennt diese etwa nichts zu Covid-SARS-2, dem zentralen Thema unserer Zeit. Entsprechend schlecht wären Texte zum Corona-Virus

Außerdem geht es bei journalistischen Texten generell um die Inhalte, um die Informationsvermittlung. Weniger bedeutsam ist hierbei ein besonders blumiger, ausgefallender Schreibstil.

Kann GTP-3 schriftstellerisch arbeiten?

Nur sehr begrenzt. Denn was allen literarisch hochstehenden Werken gemeinsam ist, ist der Spannungsbogen, die überraschende Wendung, die Komplexität der Geschichte. Das vermag ein reines Sprachmodell, was letzten Endes auf der Basis von statistischen Größen die Worte aneinander bindet, nicht zu leisten.

Es kann eventuell hilfreich sein, den Autoren einzelne Passagen vorzugeben, welche diesse dann anpassen werden. Die schriftstellerische Erfahrung wird zeigen, ob es sich dabei um eine wirkliche Unterstützung handelt.

Kann GTP-3 Fragen beantworten?

Mit diesem neuen Modell gehen in der Tat deutlich gesteigerte Möglichkeiten hinsichtlich der sogenannten question-answering-systems einher. Es ist daher recht wahrscheinlich, dass in dem Bereich der Antwortengenerierung auf Fragen (etwa für Chatbots, Suchmaschinen usw.) bessere Resultate möglich sind – allerdings nur in Kombination mit spezifischen Technologien seitens der QA-Entwicklung.

Kann GTP-3 zur gesellschaftlichen Gefahr werden?

Diese zentrale Frage zielt eigentlich auf eine andere Frage ab: Wer sollte ein solches System denn in böser Absicht nutzen wollen. Die Autoren von OpenAI führen hierzu folgendes aus:

“Um zu verstehen, wie Akteure mit geringer und mittlerer Qualifikation über Sprachmodelle denken, haben wir Foren und Chatgruppen beobachtet, in denen Fehlinformationstaktiken, die Verbreitung von Malware und Computerbetrug häufig diskutiert werden. Zwar fanden wir nach der ersten Veröffentlichung von GPT-2 im Frühjahr 2019 eine signifikante Diskussion über Missbrauch, doch seither fanden wir weniger Fälle von Experimenten und keine erfolgreichen Einsätze. Darüber hinaus korrelierten diese Missbrauchsdiskussionen mit der Medienberichterstattung über Sprachmodelltechnologien. Daraus ziehen wir den Schluss, dass die Gefahr des Missbrauchs durch diese Akteure nicht unmittelbar besteht, aber signifikante Verbesserungen der Zuverlässigkeit könnten dies ändern.
Da fortgeschrittene persistente Bedrohungen in der Regel nicht in der Öffentlichkeit diskutiert werden, haben wir uns mit professionellen Bedrohungsanalysten über mögliche fortgeschrittene persistente Bedrohungsaktivitäten unter Verwendung von Sprachmodellen beraten. Seit der Veröffentlichung von GPT-2 hat es keinen erkennbaren Unterschied bei Operationen gegeben, bei denen durch den Einsatz von Sprachmodellen potenzielle Gewinne erzielt werden könnten. Die Einschätzung lautete, dass sich Sprachmodelle möglicherweise nicht lohnen, erhebliche Ressourcen zu investieren, weil es keinen überzeugenden Nachweis dafür gibt, dass die derzeitigen Sprachmodelle wesentlich besser sind als die derzeitigen Methoden zur Textgenerierung, und weil Methoden zur
Das “Targeting” oder die “Kontrolle” des Inhalts von Sprachmodellen befinden sich noch in einem sehr frühen Stadium.”

Fazit: GPT-3 ist ein weiterer Meilenstein im natural language processing und wird sicher Nachfolgermodelle haben, die nochmals sensibler und somit leistungsfähiger agieren werden. Die gesellschaftliche Diskussion, wer die Oberhand über automatisiertes Textverständnis haben sollte (private Firmen, Organisationen, der Staat ?), ist unumgänglich und längst überfällig – bevor es zu spät ist.