Historisch Perspectief
De kracht van prompts en de realiteit van LLMs
An expert knows all the answers if you ask him the right questions" (Claude Levi-Strauss, French anthropologist).
Deze uitspraak weerspiegelt treffend hoe prompts werken bij Large Language Models (LLMs). Bij prompts zit de kracht inderdaad in de vraag die je stelt. Echter, er zijn enkele cruciale nuances:
Hallucinatie als eigenschap is een feature van het LLM model. In je prompt moet je daarom expliciet vragen naar feiten en aangeven dat het model niet moet hallucineren. LLMs kunnen je naar feiten navigeren, maar ze genereren deze niet zelf. Dit is een essentieel verschil dat je bij het formuleren van prompts moet begrijpen en respecteren.
Het vermogen om effectieve prompts te schrijven (het zgn. prompt engineering) wordt steeds belangrijker. Een goed geformuleerde prompt kan het verschil maken tussen een nauwkeurig en een misleidend antwoord. De toepassingen zijn talrijk: in text, beeld, video en codering.
De, ook voor professionals onverwachte, doorbraak kwam in november 2022 met de introductie van Chat GPT van OpenAI. De rest is geschiedenis…
Interessant is dat de nieuwe iPhone eind 2024 met ingebouwde AI standaard de instructie "no hallucination" meekrijgt. Dit duidt op een groeiend bewustzijn van de beperkingen van LLMs en pogingen om deze aan te pakken.
Het is belangrijk om te onthouden dat, hoewel LLMs indrukwekkend zijn, ze fundamenteel patroon herkenningssystemen blijven die getraind zijn op bestaande data. Ze 'weten' niet in de menselijke zin van het woord, maar kunnen informatie op zeer geavanceerde wijze herstructureren en presenteren.
Op een conferentie in 1956 in Dartmouth werd het begrip AI al geïntroduceerd, en de eerste chatbot, ELIZA, was er al in 1964. De essentie van de recente AI-doorbraak is de toegenomen computerkracht. Natuurlijk spelen ook de ontwikkelingen in Machine Learning, Algoritmes en Deep Learning een rol, geïnspireerd in de jaren 80 door het onderzoek naar het menselijk brein (neuronen).
Deep Learning, een subset van Machine Learning, maakt gebruik van complexe, meerlaagse neurale netwerken om patronen in grote hoeveelheden data te herkennen en te leren. Dit heeft geleid tot significante vooruitgang in gebieden zoals beeldherkenning, natuurlijke taalverwerking en spraakherkenning.
Maar laten we niet vergeten dat AI fundamenteel gebaseerd blijft op wiskunde en binaire logica - het verwerken van enen en nullen, zij het nu op een ongekende schaal en snelheid.
Deze artificiële neurale netwerken kunnen nu door de enorme rekenkracht van computers gebruikmaken van Big Data (databases van Google, OpenAI, Reddit, Wikipedia) en getraind worden door slimme algoritmes. De laatste doorbraak die nodig was om tot Generatieve AI en een grootschalige applicatie te komen is de gebruikersinterface - en dat zijn dus de ChatGPT-achtige systemen, ook wel bekend als Large Language Models (LLMs), die interactie via natuurlijke taal mogelijk maken. LLMs zijn geavanceerde AI-modellen die enorme hoeveelheden tekstdata verwerken en begrijpen, waardoor ze in staat zijn mensachtige tekst te genereren en complexe taaltaken uit te voeren.
McCarthy, J., Minsky, M. L., Rochester, N., & Shannon, C. E. (1956). Dartmouth Summer Research Project on Artificial Intelligence. Dartmouth College.
De PDP-8, geïntroduceerd als de eerste “minicomputer” door DEC in 1965, had een CPU die 312.000 instructies per seconde kon uitvoeren. De Apple II, uitgebracht in 1977, had een CPU met 430.000 instructies per seconde. De eerste iMac, geïntroduceerd in 1998, bereikte 100 miljoen instructies per seconde. Door recente ontwikkelingen, zoals die van NVIDIA, kunnen moderne processors nu 30 miljard instructies per seconde uitvoeren, met voorspellingen van 300 miljard instructies in 6 maanden.
IBM. (2010). IBM to ship z196 - world’s fastest microprocessor. Phys.org.