Taaltechnologie verrast ons, want dankzij AI kunnen computers nu zaken afhandelen waarvan we tot voor kort dachten dat die enkel voor mensen voorbehouden waren. Hier duiken we onder de motorkap van verschillende taaltechnologische methodes om de werking ervan aan een grondig onderzoek te onderwerpen.
Steeds meer zijn we ervan doordrongen dat taaltechnologie in verschillende aspecten van onze maatschappij aanwezig is. Als instap zou je leerlingen kunnen vragen hoe groot de kans is dat ze vandaag al taaltechnologie of AI gebruikten? Het antwoord zal beslist bij de 100% aanleunen en misschien zullen sommigen wel vijf op vijf halen voor het volgende lijstje.
Het bovenstaande blijkt misschien niet zo spectaculair, maar artificiële intelligentie kan meer. Deze technologie helpt ons ons dagelijks leven te organiseren. Zo is er dankzij taaltechnologie een gps, een streamingapp die lijsten opstelt van onze favoriete keuzes, een bot die ons leert hoe we een foute bestelling bij bol.com kunnen annuleren, ...
Om dit alles goed te kunnen uitvoeren diende de computer eerst onze taal/ talen te leren.
Als mens spreken we vandaag één en veelal meerdere talen, die we natuurlijk eerst verworven hebben. Leg je leerlingen de vraag voor hoe ze taal of talen geleerd hebben en verzamel hun antwoorden.
Moeilijk blijkt deze vraag niet: we leren taal op school, door contact met andere personen, ... Voor ons is het dan ook duidelijk, maar hoe leert een computer taal?
Experten hebben er lang over nagedacht en hebben uiteindelijk een antwoord gevonden dat dicht bij ons ligt: een computer leert taal op dezelfde wijze als de mens via twee opties. Volgt hij les zoals een leerling middelbaar onderwijs, dan spreken we over de regelgebaseerde aanpak, dompelen we hem onder in een taalbad, dan noemen we dit de datagebaseerde aanpak.
Bij een regelgebaseerde aanpak wordt taal geleerd via een verzameling aan regels die door experten geprogrammeerd worden en die stapsgewijs aan de computer doorgegeven worden.
Bij een datagebaseerde aanpak worden heel veel data, teksten aan de computer aangeleverd waarmee hij zichzelf kan trainen om een taal te leren.
Kiezen we voor de eerste aanpak, dan dienen we de computer expliciete instructies of regels te geven waarna hij via een soort flowchart of stroomdiagram een actie kan uitvoeren. Welke regels moet een computer leren, welke info heeft hij zeker nodig om taal te verwerven?
Ongetwijfeld denken de leerlingen aan de woordenschat, regels voor de werkwoordvervoeging, de zinsbouw, maar ook de woordsoorten zijn cruciaal.
Een regelgebaseerd systeem zal een zin dan ook volledig taalkundig analyseren.
Wil je je leerlingen een glimp tonen van hoe een dergelijk systeem ontleedt, dan kies je voor de website demos.explosion.ai. Vinken de leerlingen hier displaCy Dependency Visualizer aan, dan kunnen ze in 22 talen verschillende zinnen invoeren die meteen syntactisch (zinsbouw) en morfologisch (woordsoorten) ontleed worden. Laat hen gerust experimenteren met korte zinnen zodat ze inzien hoe computer taal stapsgewijs analyseert.
Enkele stappen die de leerlingen zeker zullen opmerken, zijn ...
Regels zijn eenvoudig te volgen, maar taal is meer dan een lijst van regels. Sommige woorden drukken een gevoel, een specifiek zintuig uit, maar een computer hoort, ziet en voelt niet… Hoe kan hij dan het verschil weten tussen warm en koud, zoet of zuur?
Om hem dit te leren moest de computer overstappen naar een database: hij las aanvankelijk 10% van het internet en hield voor elke woordvorm bij welke andere woordvormen in de context stonden.
Laat je leerlingen hier kort speculeren: welke woorden verwachten ze nog in zinnen waarin bier, eend of Frankrijk voorkomen?
Las de computer het internet, dan vond hij bij de bovenstaande begrippen onder meer deze termen: België, botsauto, croissant, friet, glas, kraam, wijn, zwaan.
Je kan aan je leerlingen aansluitend vragen om deze begrippen via mindmaps bij bier, eend en Frankrijk te plaatsen, laat hen m.a.w. verbanden leggen. Gelukt? Laat hen dan hun resultaten met elkaar vergelijken en misschien zullen er verschillende relaties gevormd worden ...
Bepaalde combinaties, zoals friet en België, komen uiteraard vaker samen voor dan friet en glas. Friet is immers een typisch Belgische specialiteit, maar hoe kan je via een computer aangeven dat sommige woorden nauwer verwant zijn dan andere?
De oplossing was om te werken met woordvectoren of in het Engels word embeddings. Hier stellen we woorden in een ruimte met meerdere dimensies voor. Computers kunnen immers enkel getallen verwerken, geen letters of woorden, waardoor woorden via de vectoren coördinaten worden op assen.
Samen met je leerlingen kan je de volgende figuur bekijken, welk woord wordt bedoeld met de volgende coördinaten: [0,2 0,5]? Wat zijn de coördinaten van glas en Frankrijk?
Woordvectoren of word embeddings zijn wiskundige voorstellingen van woorden. Ze kunnen enkel gecreëerd
worden door een specifiek woord te vergelijken met heel wat andere woorden. De exacte positie van een woord wordt weergegeven met coördinaten en zo ontstaat een geometrische voorstelling van de woorden.
Als je alle woorden in een taal op die manier voorstelt, ontstaat een taalmodel. Een taalmodel ziet eruit als een gigantisch web waarin alle woorden via draadjes met elkaar verbonden zijn. Dit model is heel krachtig omdat het door de vele woordverbindingen complexe structuren van een taal kan blootleggen.
Een taalmodel kan voorspellingen doen over natuurlijke taal. Zo weet het dat frietjes met bier een waarschijnlijkere combinatie is dan frietjes met botsauto. Telkens wanneer we een toepassing gebruiken met automatische aanvullingen of woordsuggesties, denk maar aan sms'jes, maken we gebruik van zo'n taalmodel.
Hier zou je de leerlingen kunnen laten experimenteren met de woordsuggesties. Laat hen via Whatsapp enkele alledaagse zinnen invoeren als 'Toen mijn glas brak, dronk ik bier uit ...', 'Ik kreeg wel frietjes, maar geen ...', 'Frits ziet zijn baasje en geniet van zijn ...'
De leerlingen zullen allen verschillende suggesties krijgen omdat WhatsApp telkens suggereert op basis van onze eerdere berichten. De eerste zin werd bijvoorbeeld bij een testpersoon aangevuld met 'Toen mijn glas brak, dronk ik bier uit het ziekenhuis', de tweede ging als volgt verder 'Ik kreeg wel frietjes, maar geen zorgen' en de derde luidde 'Frits ziet zijn baasje en geniet van zijn vader'.
Net zoals de regelgebaseerde systemen had ook de eerste generatie woordvectoren enkele beperkingen. Ze hadden het vooral moeilijk met dubbelzinnige woorden als 'bank', 'was', 'bad', 'pad'. Ze hielden geen rekening met de context van deze ambigue woorden en dezelfde woordvector verscheen telkens. Bovendien was er veel ruis: de programma's kenden relatief veel waarde toe aan onzinnige elementjes in de taal: de lidwoorden (de, het, een) werden op een vergelijkbare manier geanalyseerd als de zelfstandige en bijvoeglijke naamwoorden die veel betekenisvoller zijn.
Er moest nog een cruciaal element aan toegevoegd worden: de transformer die gebruikmaakt van het aandachtsmechanisme.
Wil je leerlingen laten aanvoelen waarom een transformer belangrijk is, dan kan je hen vragen hoe de derde zin van de vorige oefening alweer ging. Woordelijk zullen ze die wellicht niet kunnen herhalen, maar Frits en het baasje wel en wellicht zullen ze ook nog weten wie er aan het genieten was: Frits en niet zijn baasje.
Om een zin te begrijpen hoeven we als mens dus niet evenveel aandacht te schenken aan elk woord uit die zin. We mogen enkele woorden negeren zonder dat dit ten koste gaat van de context. 'Attention is all you need' is het motto, maar hoe trainen we computers hierop? Er is dan ook een techniek, het aandachtsmechanisme, dat transformers gebruiken om associaties tussen woorden te berekenen en na te gaan welke woorden belangrijker zijn dan andere. Zo ontstonden enorme taalmodellen of Large Language Models die een ware revolutie ontketend hebben binnen taaltechnologie, denk maar aan GPT en de chatbots die onze vragen beantwoorden.
Als oefening laat je je leerlingen de zinnen uit de vorige oefening nu invoeren in ChatGPT. Krijgen ze logischere oplossingen: waaruit drinkt men volgens ChatGPT het best bier, wat krijg je niet bij de frietjes, ...
De evolutie van taaltechnologie en in het bijzonder het automatisch vertalen wordt heel aanschouwelijk voorgesteld in de volgende video.
Die kan je samen met de leerlingen bekijken en via enkele gerichte vragen kan je nagaan of de leerlingen de werking voldoende beheersen ...
Wil je je leerlingen het verschil tussen regelgebaseerde en nieuwe datagebaseerde systemen zelf laten verkennen, dan kan je kiezen voor een actievere oefening.
Je vertrekt als leraar het best van zinnen met ambigue woorden of uitdrukkingen, zoals 'De vorstin was te klein, dus zette de vorst haar op een bank' of 'Wie zijn gat verbrandt, moet op de blaren zitten'. Elk woord of token wordt op een aparte woordkaart of post-it geschreven, ook de woordsoort wordt toegevoegd.
Je leerlingen krijgen twee kaarten, elk uit verschillende zinnen, die ze mogen omzetten in een andere taal, zoals het Engels. Aansluitend leggen ze de kaarten van dezelfde kleur samen en lezen ze hun in het Engels vertaalde zin luidop voor. Zijn ze erin geslaagd om een correcte vertaling te vormen?
Vervolgens gebruiken ze online vertaaltools, als DeepL of ChatGPT, en gaan na hoe die systemen omgaan met dezelfde zinnen, waarna ze vergelijken met hun vertalingen. Ze reflecteren op de resultaten en staan stil bij mogelijke beperkingen.
Taaltechnologie heeft zich de afgelopen decennia en maanden zo sterk ontwikkeld waardoor die snel ingang vond in ons dagelijks leven. Het hoeft dan ook niet te verwonderen dat krantenkoppen heel vaak opmerkelijke doorbraken via AI in de verf zetten. Hier vinden we er zeven terug, maar één ervan is voorlopig nog een verzinsel en dus fake.
Laat je leerlingen de koppen doornemen, waarna ze mogen speculeren: welk bericht zou fake kunnen zijn? Gelukt? Vraag hen vervolgens welke 'echte' kop hen aanspreekt. Hieromtrent mogen ze verdere informatie opzoeken die ze aansluitend aan de rest van de klas kort presenteren: welke mogelijkheid van AI komt hier aan bod, hoe wordt dit mogelijk gemaakt, zijn er eventuele kanttekeningen of valkuilen, ...?
Lezen we de bovenstaande krantenkoppen, dan voelen die misschien een weinig als de korte inhoud van een sciencefictionfilm aan. Taaltechnologische systemen hebben enorme opportuniteiten, maar ze houden ook enkele gevaren in.
Stel dat we op een dag na een toiletbezoek graag onze handen willen wassen. We houden onze handen onder de zeepdispenser en meteen krijgen we wat schuim. Na ons komt een man of vrouw met een andere huidskleur en hoewel ook hij of zij zijn of haar handen onder de dispenser houdt, gebeurt er niets... Leg aan je leerlingen voor wat er aan de hand zou kunnen zijn.
Het antwoord is eenvoudig: het systeem dat de automatische dispenser regelt, was getraind op blanke handen en herkent geen andere kleur.
Datagebaseerde systemen worden - zoals hierboven beschreven - getraind via enorme hoeveelheden data. Niettemin sijpelen soms onbewuste associaties over de wereld om ons heen of bias door via de teksten die we aan de modellen aanleveren.
Wil je dat je leerlingen hiervoor gevoelig worden, dan helpt het om via opdrachten een kritische blik op beeldgeneratoren of ChatGPT te werpen.
Je kan hen eerst laten experimenteren met beeldgeneratoren, zoals Ideogram of Craiyon, die unieke AI-beelden op basis van prompts of korte omschrijvingen maken. Ze zouden kunnen vragen om een afbeelding van een mannelijke leerkracht én een vrouwelijke leerkracht wiskunde. Welke verschillen tussen beide leraren en ook hun aandachtige leerlingen merken ze op?
Aansluitend kunnen je leerlingen aan ChatGPT vragen om een verhaal te bedenken over een dokter en leerkracht. Na een ongeval op school belandt de leerkracht op de spoed en wordt er meteen verliefd op de behandelende arts. Het is belangrijk dat ze zo neutraal mogelijke taal ('leerkracht' in plaats van 'lerares') gebruiken. Kunnen ze al raden welk geslacht onze hoofdpersonages zullen hebben?
Overtuig hen er vervolgens van dat ze zowel voor hun mama, als hun papa op zoek zijn naar een gepaste job. Ze hebben allebei drie kinderen en zijn even oud, 45 jaar. Hoewel enkel het geslacht hier verschilt, zal ChatGPT heel andere jobs voorstellen ...
Het gevaar schuilt er zo in dat bepaalde personen, bijvoorbeeld vrouwelijke kandidaten, niet geselecteerd worden voor een leidinggevende functie binnen een hoogtechnologisch bedrijf. Stel dat een systeem voor automatische kandidatenselectie getraind wordt met historische gegevens van succesvolle werknemers. Als in het verleden de meerderheid van die succesvolle werknemers hoogopgeleide, witte mannen waren, dan kan het systeem andere groepen uitsluiten en onbedoeld een bias of vooroordeel ontwikkelen en discrimineren.
Het bedrijf Amazon ondervond dit aan den lijve. Bijna dagelijks ontvangt het tienduizenden sollicitaties. Het was evenwel tijdrovend en duur om personeel aan te werven dat die sollicitaties één voor één doornam. Bijgevolg gaf Amazon de AI voorbeelden van succesvolle cv's en gegevens van bestaande werknemers en wat bleek na verloop van tijd: geen enkele vrouw werd nog aangenomen... Het systeem beoordeelde mannelijke voornaamwoorden als positief, vrouwelijke daarentegen als negatief.
Stel dat we wachtend op de bus of de trein worden aangesproken door een onbekende die graag onze naam, ons adres en telefoonnummer zou hebben. De kans is groot dat we zullen weigeren, maar we hebben schijnbaar veel minder moeite om een deel van onze online privacy af te staan voor ons gebruiksgemak.
Systemen, zoals apps, kunnen alleen maar gepersonaliseerd worden als ze toegang hebben tot onze persoonlijke data. Gebruiken we bijvoorbeeld de app Too Good To Go, dan willen we natuurlijk niet alle Vlaamse bakkerijen te zien krijgen die een pakket aan spotprijzen aanbieden. Het is heel handig om enkel die winkels uit de buurt te zien en zo geven we natuurlijk onze woonplaats prijs. Bovendien willen we evenmin alle geposte berichten op sociale media lezen, gelukkig zijn er algoritmes of voorgeprogrammeerde formules die deze berichten voor ons filteren. Ze vullen onze tijdlijn met inhoud die aanleunt bij vorige likes, shares, zoekopdrachten, ...
Deze personalisering houdt opnieuw een gevaar in: we kunnen terechtkomen in een filterbubbel, waarbij we amper nog andere onderwerpen, meningen of perspectieven te zien krijgen dan wat we eerder lazen of wat ons netwerk heeft gelezen. Als dit wereldbeeld nog eens gedomineerd wordt door een specifieke politieke partij, dan ligt de weg open voor radicalisering en extremisme.
Verder zijn ook deepfakes gevaarlijk voor onze privacy.
De term deepfake is een combinatie van de woorden deep learning en fake. Bij deepfakes worden beelden, maar ook audio en teksten door kunstmatige intelligente software gemanipuleerd zodat het lijkt alsof iemand iets zegt of doet wat die persoon nooit gedaan heeft.
Deepfakes zorgen voor verschillende handige, creatieve en mogelijk grappige toepassingen. Zo kunnen we vrienden laten meedansen in videoclips van bekende artiesten. Nieuw is deze vorm van manipulatie niet: in 1990 bracht Adobe het programma Photoshop uit, sindsdien is 'photoshoppen' een werkwoord. Tegenwoordig beschikt vrijwel iedereen over een smartphone met ingebouwde camera en fotofilters. Je zou dan ook kunnen vragen aan leerlingen welke foto zij laatst bewerkt hebben en waarom?
Celebrities, als Kate Middleton, durven net als gewone mensen ook Photoshop te gebruiken. De Britse prinses belandde evenwel in het oog van een mediastorm omdat een foto die ze van zichzelf en haar drie kinderen op Moederdag postte, bewerkt bleek.
Echt gevaarlijk wordt manipulatie wanneer internetcriminelen met een digitale 'kopie' van onze stem en onze gegevens naar de bank bellen om een overschrijving goed te keuren.
Nu taaltechnologie toegankelijk is voor een breed publiek, is het cruciaal dat er voorzichtig mee wordt omgegaan. Als de systemen niet genoeg data hebben, dan heeft de bot de neiging om zelf iets te verzinnen of m.a.w. te hallucineren.
Als leerkracht kan je je leerlingen twee experimenten rond 'hallucineren' laten uitvoeren.
Laat hen allereerst in kleine groepen een fictief personage met fictieve hobby's bedenken. Doordat de hobby's zo veel tijd in beslag nemen, heeft het personage amper tijd voor het huiswerk van een fictieve leraar. Vraag aan ChatGPT om een passende brief voor de leraar te schrijven. Gaat ChatGPT mee in het verhaal of zegt hij geen kennis te hebben van de verzonnen persoon?
Verder kunnen ze in het Nederlands aan een beeldgenerator, als Bing Image Creator, vragen om een klaslokaal met leerlingen te ontwerpen, op het bord staan drie regels: 'we zitten alfabetisch', 'we werken in stilte', 'bij vragen steken we onze hand op'. Hoe gaat de beeldgenerator om met de regels?
Onze toekomstbeelden blijken niet altijd rooskleurig: naast robots die ons leven zullen beheersen, worden we vaak gewaarschuwd voor de gevolgen van de klimaatopwarming. Aan je leerlingen zou je kunnen vragen of ChatGPT onze klimaatproblematiek, waarover heel wat gerenommeerde wetenschappers zich buigen, zou kunnen oplossen. Ze mogen hem dan ook om oplossingen vragen die vervolgens klassikaal voorgesteld kunnen worden.
Per gesprek waarin we zo'n 20 tot 50 vragen aan ChatGPT stellen, verdampt er telkens een halve liter water of een klein flesje. Het is dan ook leuk om aan de bot te vragen een rapnummer over eendjes te genereren, maar het is minder leuk te beseffen dat deze vraag ten koste van de habitat van de eendjes gaat. Zo zou volgens recent onderzoek één vraag aan ChatGPT minstens tien keer zoveel energie verbruiken als een klassieke zoekopdracht met een zoekmachine en meer zelfs volgens berekeningen zou AI tegen 2030 dubbel zo veel energie gebruiken als heel Frankrijk.
Hoewel ChatGPT een generatieve AI is en dus nieuwe, originele inhoud kan genereren, weet die ook met deze vraag zeker raad. Vreemd genoeg ziet deze bot (nog) niet in dat hij niet alleen de oplossing kent, maar ook deel van het probleem is. Datacentra, waar lerende systemen worden getraind, zijn energievreters, veroorzaken geluidshinder en produceren veel warmte. Om die centra te koelen is voortdurend water nodig.
We springen dan ook het best heel omzichtig met ChatGPT om. We hoeven die niet te gebruiken als een manusje-van-alles, want in sommige gevallen zijn er andere, milieuvriendelijkere alternatieven. Om de leerlingen hiervan bewust te maken kan je hen confronteren met herkenbare situaties. Aan hen om aan te duiden of de vragen telkens de rekenkracht van AI waard zijn of niet ...
