De analogie van de ijsberg van David McClelland (Behaviour & Knowledge) is door Leon Frunze toegepast om Generative AI en met name ChatGPT te conceptualiseren.
Stel je een ijsberg voor die in de oceaan drijft. Het zichtbare deel boven de waterlijn is relatief klein vergeleken met de enorme structuur die onder het oppervlak verborgen ligt. Stel je nu voor dat deze ijsberg een LLM (Large Language Model) voorstelt, zoals GPT 4.0, Claude of Google Gemini, met verschillende componenten die zijn verdeeld boven en onder de waterlijn.
De Dataset: De bulk van de ijsberg, verborgen onder water, vertegenwoordigt de enorme dataset waarop het LLM is getraind. Deze gegevens vormen de basis van de kennis en mogelijkheden van het model. Het is enorm en grotendeels onzichtbaar tijdens interacties met het model, maar het is er altijd, en beïnvloedt elke output.
Verschillende modellen worden getraind op verschillende combinaties van datasets. Voor bedrijven als OpenAI en Google is een deel van die informatie eigendom. OpenAI sluit regelmatig samenwerkingen met bedrijven zoals Dow Jones en Hearst (met 60 tijdschriften) om hun content up-to-date te houden en het risico op eenvormigheid ("inbreeding") te vermijden.
Verder weten we dat deze grote modellen gegevens bevatten uit bronnen als Common Crawl, The Pile, Wikipedia en de codeer site GitHub. Google gebruikt ook You Tube als informatie bron. Ze kunnen ook getraind zijn op sociale media sites zoals Twitter en Reddit.
Dit alles brengt veel bijeffecten met zich mee, waaronder het soort vooroordelen en discriminatie (Bias in het Engels). Voor zover nu bekend, worden persoonlijke gegevens van individuele gebruikers niet toegevoegd aan de database.
Het Large Language Model (LLM): Boven de waterlijn verschijnt het LLM zelf, het resultaat van het trainingsproces dat gevoed wordt door de enorme dataset eronder. Dit zichtbare gedeelte is waar we mee interacteren wanneer we applicaties gebruiken die bovenop het LLM zijn gebouwd. Het is vergelijkbaar met de complexe structuur van de ijsberg die we kunnen zien, gevormd en ondersteund door de gegevens "onder water".
Een Large Language Model is een kunstmatig intelligentiesysteem dat is getraind om menselijke taal te begrijpen en te genereren. Deze modellen zijn ontworpen om de waarschijnlijkheid van een bepaald woord te voorspellen, gegeven de woorden die eraan voorafgingen in een zin of tekst.
Dit vermogen stelt hen in staat om samenhangende en contextueel passende zinnen, paragrafen en zelfs hele teksten te genereren.
De meest besproken LLM op dit moment is OpenAI's GPT 4 (abonnement of gratis). Maar er zijn er veel meer, zoals Claude en Perplexity die zelfs nu door kenners hoger worden ingeschat dan ChatGPT.
Sommige zijn open source, en sommige eigendom van bedrijven als Google (Gemini) en Anthropic (Claude) in de nabije toekomst waarschijnlijk Amazon.
De Sneeuwpop sculptuur: Stel je ten slotte een zorgvuldig gebeeldhouwde sneeuwpop voor die bovenop de ijsberg zit. Dit vertegenwoordigt een applicatie zoals ChatGPT, die bovenop het algemene LLM is gebouwd. De sneeuwpop is een meer gespecialiseerde figuur, gevormd uit het ruwe materiaal van de ijsberg, net zoals ChatGPT een versie is van het GPT-model die specifiek is verfijnd voor conversatietaken.
Je zult ChatGPT zien omschreven (en zichzelf zien omschrijven) als een Large Language Model getraind door OpenAI. GPT is het krachtige deel van het model en ChatGPT een verfijning daarvan.
De metafoor opgerekt:
1. De Oceaan: In deze analogie kan de oceaan waarin de ijsberg drijft het internet in het algemeen voorstellen. Het internet is de enorme omgeving waaruit de dataset (het onderwatergedeelte van de ijsberg) wordt gehaald. Net als de oceaan is het internet uitgestrekt, divers en gevuld met...
2. Haaien: Haaien of andere gevaarlijke zeedieren kunnen symbool staan voor potentiële bedreigingen of uitdagingen in de internetomgeving. Dit kunnen desinformatie, vooroordelen, ongepaste en toxische inhoud of problemen met gegevensprivacy zijn. Deze gevaren kunnen de dataset en vervolgens het gedrag van het LLM beïnvloeden.
Gebaseerd op Furze, L. The AI Iceberg [Infographic]. Retrieved July 20, 2024, from https://leonfurze.com & David McClelland's Iceberg Model