GPT

Das Akronym GPT steht für Generative Pretrained Transformer (dt. generativer vortrainierter Transformator). Es beschreibt eine spezifische Art von Sprachmodell, das im Bereich der Generativen künstlichen Intelligenz (GenAI) eingesetzt wird, wobei ChatGPT ein bekanntes Beispiel ist.

Jeder Teil des Akronyms hat eine wichtige Bedeutung:

• Generative: Dies weist darauf hin, dass die Technologie die Fähigkeit besitzt, eigenständig neue Inhalte zu erzeugen. Das können Texte, Bilder, Videos oder Softwarecode sein, wodurch originelle Ausgaben geschaffen werden, anstatt nur bestehende Informationen zu reproduzieren.
• Pretrained: Dieser Begriff bedeutet, dass das Modell vor seiner eigentlichen Nutzung auf riesigen Mengen von Daten trainiert wurde. Während dieses umfangreichen Trainingsprozesses lernt das System komplexe Muster, grammatikalische Regeln, den Kontext von Wörtern und die Wahrscheinlichkeit ihres Auftretens.
• Transformer: Dies bezieht sich auf die zugrundeliegende neuronale Netzwerkarchitektur. Transformer-Modelle sind für ihren Selbstaufmerksamkeits-Mechanismus (Self-Attention) bekannt, der es ihnen ermöglicht, Beziehungen und Abhängigkeiten zwischen einzelnen Elementen einer Anfrage zu verstehen. Diese Architektur verarbeitet Daten parallel, was die Bearbeitung großer Informationsmengen erheblich beschleunigt und einen wesentlichen Durchbruch in der effizienten Generierung von Inhalten ermöglicht hat.

zurück zum ifaa-Lexikon