GPT er en sprogmodel, der ud fra et tekstinput (kaldet en prompt) kan skrive videre på en måde, som minder om menneskeskabt tekst. GPT er en kunstig intelligens til naturlig tekstanalyse, skabt af det amerikanske AI-firma OpenAI. Den bruger et autoregressivt neuralt netværk trænet på store mængder naturlig tekst og computerkode hentet fra internettet.
Generative Pre-trained Transformer
Tredje og fjerde generation af GPT, GPT-3 (2020) og GPT-4 (2023), er offentligt tilgængelig gennem en API. Det har muliggjort en række anvendelser af teknologien, bl.a. disse:
Alle udgaver af GPT har brugt den samme type neural netværk-arkitektur, en såkaldt transformer. Størrelsen af modellen og mængden af træningsdata er vokset for hver ny version.
GPT-3 modellen har 175 milliarder parametre og er trænet på tekst med i alt cirka 200 milliarder ord på stort set alle sprog. Heraf er knap 50 procent på engelsk, og 0,4 procent eller cirka 800 millioner ord er på dansk.
De tekniske detaljer om størrelsen og træningen af GPT-4 (2023) er forretningshemmeligheder. GPT-4 er udvidet til at være multimodal. Den skrive tekst og generere billeder ud fra både tekst- og billedinput.
Træningen af de anvendte modeller foregår i to skridt:
GPT er en statistisk model. Den skriver tekst, som er en syntese af data fra træningssættet, der passer godt som en fortsættelse af det input, brugeren giver. Da GPT er trænet på store dele af internettet, er det let at få den til at svare med næsten enhver mulig holdning, inklusive holdninger, der vil virke stødende på de fleste.
En statistisk syntese af tekst vil oftest være forskellig fra teksten i træningsdata. Det betyder at GPT kan hallucinere, det vil sige bruge fx navne og titler, som virker plausible i konteksten, men er frit opfundne.
I justeringsskridtet vurderer mennesker tekst, som er skrevet af GPT, og modellen trænes videre på feedback, der fortæller GPT, hvilken tekst, der er ønskelig. Fx vil man kunne få den oprindelige GPT til at argumentere for vaccineskeptiske konspirationsteorier, hvorimod ChatGPT vil anbefale vaccination og blot anerkende eksistensen af disse konspirationsteorier. I nogle tilfælde er det dog stadig muligt at omgå justeringen ved at fortælle ChatGPT, at svarene ikke må indeholde indvendinger.
OpenAI arbejder løbende med at justere modellen således at færre emner kan give anledning til stødende svar. Justeringen kan også bruges til at gøre ChatGPT bedre til bestemte opgaver såsom at være tutor for elever.
OpenAI o1 (2024) er en videreudvikling af GPT4 som bruger principper fra selvforstærkende læring for blive bedre til at ræsonnere og dermed løse mere komplekse opgaver.
OpenAI o1 udforsker og validerer forskellige mulige løsningsmetoder og svar ved at skrive tekst kaldet tankekæder (chain of thought) før den opsummerer med et endeligt svar. Det øger svarkvaliteten fx for matematik og computerprogrammering.
OpenAI o3, OpenAI deep research og DeepSeek R1 (alle 2025) er videreudviklinger af principperne brugt i OpenAI o1.
DeepSeek R1 udmærker sig ved, at være den første open source model og metode indenfor den klasse af modeller. Det har ført til store fremskridt indenfor åben forskning og software.
Det anslås at koste mere end 1 milliard dollars at træne en sprogmodel som GPT. Det er derfor primært forbeholdt private firmaer at lave store sprogmodeller.
OpenAI, Google, Perplexity og Anthropic laver primært rent kommercielle store sprogmodeller. Store sprogmodeller i open source er til rådighed fra Mistral (Mixtral), Meta (Llama), Alibaba (Qwen), Microsoft (Phi), Google (nogle udgaver af Gemini) og DeepSeek.
Der findes også nationale og internationale open source initiativer som træner eller oftere videretræner open source sprogmodeller med det formål, at gøre dem bedre indenfor et bestemt domæne, fx videretræning af Mixtral på et dansk datasæt for at gøre modellen bedre til at svare på dansk med kendskab til danske sammenhænge.
GPT-modellen har en række begrænsninger og kan potentielt skabe nogle samfundsudfordringer:
OpenAI's mission er, at kunstig generel intelligens skal komme menneskeheden til gode. Generel betyder i denne sammenhæng, at en kunstig intelligens skal kunne lære det samme som mennesker kan. I modsætning hertil står en snæver kunstig intelligens, der kun kan én ting.
OpenAI's tilgang til kunstig intelligens har mødt følgende kritik:
Sprogmodeller kan bruges til at skabe falske nyheder. Det er en risiko, der kun bliver større, jo mere overbevisende teksten bliver. Det kan blive sværere at spore kilden til information, og ved at lade modellen efterligne specifikke forfatteres skrivestil kan plagiat blive et alvorligere problem.
ChatGPT kan desuden bestå eksamener i programmering og skrive skoleopgaver til topkarakter. I en simuleret amerikansk advokatafgangseksamen (bar exam) ville GPT-4 ligge i top 10% af besvarelserne.
De bedste modeller er så store, at man skal bruge enorme mængder computerberegninger både til at træne og efterfølgende bruge dem. Det medfører betydelige CO2-udslip og skaber desuden en situation, hvor kun organisationer med betydelige ressourcer (typisk teknologivirksomheder) kan bedrive forskning indenfor de største og mest avancerede modeller.
Krigen i Ukraine begyndte med Ruslands invasion af landet den 24. februar 2022. Baggrunden for krigen var Ukraine-konflikten, der havde stået på siden 2013.
Få overblik over vigtige personer, begivenheder, krige og konflikter i Mellemøsten lige nu.
Kernevåben er masseødelæggelsesvåben bestående af en kerneladning og et fremføringsmiddel. Kernevåben indgår i overvejelserne om et fælleseuropæisk forsvarssamarbejde.
Kommentarer
Kommentarer til artiklen bliver synlige for alle. Undlad at skrive følsomme oplysninger, for eksempel sundhedsoplysninger. Fagansvarlig eller redaktør svarer, når de kan.
Du skal være logget ind for at kommentere.