KI
Was ist ChatGPT eigentlich?
Die Grundlage bildet das Sprachmodell GPT-3.5 (GPT steht für Generative Pre-trained Transformer), eine verbesserte Version von GPT-3, die ebenfalls von OpenAI stammt. GPT basiert auf Transformern, einem von Google Brain vorgestellten Maschinenlernmodell, und wurde durch selbstüberwachtes Lernen trainiert.
Danach wurde das Sprachmodell durch überwachtes Lernen auf die eigentliche Aufgabe trainiert (Fine-Tuning): Das Generieren von Antworten auf vorher gestellte Fragen. Hierfür wurden vorgefertigte Antworten bereitgestellt.
Im letzten Schritt wurde das Modell durch bestärkendes Lernen weiter optimiert: Hierfür wurde zunächst ein weiteres Modell (Reward-Model) mit überwachtem Lernen trainiert, dem beigebracht wurde, die Antworten von ChatGPT qualitativ in Form einer Rangliste zu bewerten. Schließlich kam der „Proximal Policy Optimization“-Algorithmus zum Einsatz, der das Reward-Model als die zu maximierende Belohnungsfunktion nutzte.
Aufgrund der Erfahrungen bei der Entwicklung von GPT und Codex (eine andere KI von OpenAI zur Erstellung von Quell-Code) wurde ChatGPT mit Schutzmechanismen versehen, mit denen falsche oder schädliche Antworten vermieden werden sollen.
Dennoch wird auf der Website darauf hingewiesen, dass es sich bei der Beta-Version um eine öffentlich zugängliche Forschungsvorschau handelt und der Chatbot gelegentlich inkorrekte Informationen generieren kann.
Im Grunde basiert der Chatbot auf einer speziellen Art von künstlicher Intelligenz, die als Deep Learning bezeichnet wird. Seine Funktionsweise beruht auf einem Netzwerk von künstlichen Neuronen, die in Schichten organisiert sind und mithilfe von Algorithmen trainiert wurden, um eine bestimmte Aufgabe zu erfüllen – in seinem Fall menschenähnliche Konversationen zu führen.
Wie erkenne ich, ob eine KI „gut trainiert“ ist?
- Testdatensatz: Eine gut trainierte KI sollte in der Lage sein, Muster in Daten zu erkennen und zu verallgemeinern. Um zu überprüfen, ob dies der Fall ist, sollte man die KI auf einem Testdatensatz testen, der nicht in das Training einbezogen wurde. Wenn die KI eine hohe Genauigkeit auf dem Testdatensatz aufweist, deutet dies darauf hin, dass sie gut trainiert wurde.
- Overfitting vermeiden: Eine KI sollte in der Lage sein, Muster in Daten zu erkennen, ohne zu sehr auf die spezifischen Details der Trainingsdaten zu achten. Ist sie zu sehr auf die Trainingsdaten fokussiert, kann das zu „Overfitting“ führen, was bedeutet, dass die KI sehr genau bei den Trainingsdaten ist, aber schlecht bei neuen Daten abschneidet.
- Performance-Metriken: Je nachdem, wofür die KI trainiert wurde, können verschiedene Performance-Metriken genutzt werden. Zum Beispiel kann bei einer Bilderkennungs-KI die Genauigkeit (Accuracy) oder der F1-Score relevant sein. Bei einer Text-KI könnte man den Bleu-Score oder Perplexität verwenden. Eine gute KI sollte eine hohe Genauigkeit auf den relevanten Metriken aufweisen.
- Interpretierbarkeit: Eine KI sollte auch transparent und interpretierbar sein. Wenn eine KI Entscheidungen trifft, sollte man in der Lage sein, diese Entscheidungen zu verstehen und zu erklären. Es ist wichtig sicherzustellen, dass die KI nicht nur eine hohe Genauigkeit aufweist, sondern auch nachvollziehbare und verständliche Entscheidungen trifft.
- Anwendungsspezifische Anforderungen: Schließlich ist es wichtig, die KI anhand der spezifischen Anforderungen und Ziele zu bewerten, für die sie entwickelt wurde. Eine KI, die gut trainiert wurde, kann immer noch nicht den spezifischen Anforderungen und Zielen eines bestimmten Projekts entsprechen. Es ist wichtig sicherzustellen, dass die KI auf die Anforderungen des spezifischen Projekts abgestimmt ist und die erforderliche Genauigkeit und Performance aufweist.
