WEBVTT

generative-ki-0001
00:00:00.140 --> 00:00:00.950
<v Moderation>Am 30.

generative-ki-0002
00:00:00.960 --> 00:00:05.770
<v Moderation>November 2022 stellte OpenAI ChatGPT vor.

generative-ki-0003
00:00:06.050 --> 00:00:08.530
<v Moderation>Die Grundlagen dafür sind allerdings älter.

generative-ki-0004
00:00:08.940 --> 00:00:16.230
<v Korrespondent>2014 kamen die GANs: Ein Generator erzeugt Daten, ein Diskriminator prüft, ob sie echt sind.

generative-ki-0005
00:00:16.681 --> 00:00:19.441
<v Moderation>2017 folgte der Transformer.

generative-ki-0006
00:00:19.711 --> 00:00:23.560
<v Moderation>Diese Architektur beruht allein auf Aufmerksamkeitsmechanismen.

generative-ki-0007
00:00:23.950 --> 00:00:27.120
<v Korrespondent>2018 zeigte OpenAI mit GPT:

generative-ki-0008
00:00:27.390 --> 00:00:33.020
<v Korrespondent>Ein Sprachmodell lernt erst aus viel unbeschriftetem Text und wird dann für Aufgaben verfeinert.

generative-ki-0009
00:00:33.490 --> 00:00:35.520
<v Moderation>Dann wuchsen die Modelle rasant.

generative-ki-0010
00:00:35.770 --> 00:00:44.268
<v Moderation>GPT-2 hatte 1,5 Milliarden Parameter, GPT-3 im Jahr 2020 schon 175 Milliarden.

generative-ki-0011
00:00:44.678 --> 00:00:47.388
<v Korrespondent>Forschende fanden dafür eine empirische Regel:

generative-ki-0012
00:00:47.638 --> 00:00:52.688
<v Korrespondent>Der Fehler sinkt nach einem Potenzgesetz mit Modellgröße, Daten und Rechenaufwand.

generative-ki-0013
00:00:53.418 --> 00:01:03.688
<v Moderation>2022 trainierte Google das Sprachmodell PaLM mit 540 Milliarden Parametern, auf 6144 Spezialchips.

generative-ki-0014
00:01:04.121 --> 00:01:07.141
<v Korrespondent>Auch Bilder erzeugten Maschinen jetzt in hoher Qualität,

generative-ki-0015
00:01:07.271 --> 00:01:09.391
<v Korrespondent>mit sogenannten Diffusionsmodellen.

generative-ki-0016
00:01:09.861 --> 00:01:12.931
<v Moderation>ChatGPT wurde mit menschlichem Feedback trainiert.

generative-ki-0017
00:01:13.131 --> 00:01:15.571
<v Moderation>Schon zum Start räumte OpenAI ein:

generative-ki-0018
00:01:15.771 --> 00:01:19.981
<v Moderation>Das System schreibe manchmal plausibel klingende, aber falsche Antworten.

generative-ki-0019
00:01:20.415 --> 00:01:25.435
<v Korrespondent>Laut Analysten hatte ChatGPT nach zwei Monaten 100 Millionen Nutzer.

generative-ki-0020
00:01:25.665 --> 00:01:28.325
<v Korrespondent>Das ist eine Schätzung, keine offizielle Zahl.

generative-ki-0021
00:01:28.795 --> 00:01:33.025
<v Moderation>Zum Nachfolger GPT-4 nennt OpenAI keine Modellgröße,

generative-ki-0022
00:01:33.265 --> 00:01:35.815
<v Moderation>keine Hardware und keine Trainingsdaten.

generative-ki-0023
00:01:36.228 --> 00:01:40.158
<v Korrespondent>Und die alte Frage bleibt: Verstehen solche Systeme, was sie sagen?

generative-ki-0024
00:01:40.408 --> 00:01:45.118
<v Korrespondent>John Searle bestritt das schon 1980 für jede reine Symbolverarbeitung.