Appen met Hans van Avendonk van Norstat over human data
AI modellen leren van hun eigen output, en dat heeft ze gebracht waar ze nu zijn. Maar niet elke gegenereerde reactie is feitelijk juist, waardoor modellen ook foutieve antwoorden opslaan. We appen met Hans van Avendonk, MD van onderzoeksbureau Norstat, over waarom human data juist nu onmisbaar is in het gebruik van AI binnen marktonderzoek. En hoe de overname van Sample Solutions helpt om die menselijke input makkelijker te verzamelen.
Waarom is menselijke data essentieel voor betrouwbare output van AI-modellen?
Menselijke data bevat veel meer nuance en complexiteit en inconsistenties dan synthetische data, door modellen gecreerd. Als modellen op synthetische data getraind worden, dan ontstaat het gevaar dat het model veel minder goed gaat presteren. Er is zelfs een recent artikel in Nature geschreven dat Model collapse kan optreden, waarbij het model steeds dezelfde fouten herhaalt. Je zou dus kunnen zeggen dat human data de schaarse grondstof is in een AI maatschappij.
Er is dus geen artificial intellligence zonder human intelligence.
Een soort neerwaartse spiraal als ik het goed begrijp
Klopt, naarmate er meer door ai gegenereerde data is, en dus minder menselijke data/content, des te slechter gaan de modellen presteren als ze hierop getraind worden. en dit effect gaat zich herhalen. alsof je een kopie van een kopie maakt, en daar weer een kopie van maakt etc
Wat zijn de belangrijkste gevaren voor de marktingonderzoekswereld als human data achterwege wordt gelaten?
Het belangrijkste gevaar is dat je de complexiteit van mensen en hun overwegingen gaat missen. Het begrip van de werkelijkheid gaat achteruit. Ik ben een groot voorstander van het toepassing van AI in marktonderzoek, maar je moet dit wel goed testen en balanceren met menselijke input. Wat laat je door AI doen en waarvoor is de menselijke intelligentie essentieel? Hier wordt op dit moment veel onderzoek naar gedaan, en het antwoord op deze vraag zal zich blijven ontwikkelen naarmate modellen en tools beter worden.
AI biedt belangrijke voordelen binnen markonderzoek: Snelheid, lagere kosten en schaal. Dit zie je onder andere terugkomen binnen "Big Qual", wat kwalitatief onderzoek m.b.v. AI is maar dan met veel meer respondenten dan bij traditioneel kwalitatief onderzoek (b.v. focus groepen).
Wat handig!
Jazeker! kijk bijvoorbeeld naar oplossingen als tellet.ai en conveo.ai, waar wij bij Norstat veel mee samenwerken.
Dit soort oplossingen spreken mij natuurlijk erg aan aangezien ik in data & ai consultancy werkte voordat ik bij Norstat aan de slag ging. Maar het vraagt wel wat van de respondenten. Niet iedere respondent kan dat.
Waar lopen de respondenten dan tegen aan?
Er wordt vaak best veel gevraagd van respondenten, bijvoorbeeld dagboeknotities, video's en foto's maken en ze moeten goed kunnen reflecteren en formuleren. Hier komt in dit geval dan ook de digitale vaardigheid bij. Je moet dus hele betrokken en kwalitatieve respondenten hebben, want garbage in = garbage out. Laat dat nu net de reden zijn dat Norstat zoveel respondenten levert voor deze innovatieve onderzoeksmethoden.
Kun je dit verduidelijken met een recent Norstat-onderzoek?
Ik kan vanuit vertrouwelijkheid natuurlijk geen namen van een klant noemen, maar we hebben bijvoorbeeld onlangs een onderzoek gedaan waarbij respondenten zichzelf moesten filmen wanneer ze aan het koken zijn. Dit vraagt wel om commitment van de respondenten. Je merk tegelijkertijd dat mensen al steeds beter wennen aan het beantwoorden van vragen van een GenAI bot ipv een menselijke interviewer
Jullie zijn natuurlijk actief in verschillende Europese landen. Zie je een verschil tussen inwoners van verschillende landen in hoe zij omgaan met vragen van een GenAI bot?
Dit hangt o.a. samen met de digitale volwassenheid van een land. Norstat is bijvoorbeeld heel sterk vertegenwoordigd in de Scandinavische landen, waar mensen ook gewend zijn veel met AI te werken. Voor Nederland geldt hetzelfde
Welke landen zijn juist minder digitaal volwassen?
Sommige landen in oost Europa zijn wat minder ver ontwikkeld op dit vlak, maar ook daar wordt volop geëxperimenteerd met AI binnen marktonderzoek. Dus ik verwacht dat ze snel zullen gaan inlopen. Maar zoals eerder gezegd, het staat of valt met toegang tot de menselijke input, met al zijn verrassingen, context en eigenaardigheden. De technologie wordt steeds beter, daar twijfel ik niet over
Dan de laatste vraag: Norstat is groeiende en heeft onlangs Sample Solutions ingelijfd. Wat betekent deze overname voor jullie toegang tot human data?
Dit betekent met name dat we veel betere toegang hebben tot een moeilijk bereikbare B2B doelgroep "de "white collar" group die je op LinkedIn tegenkomt. Deze doelgroep is onvoldoende vertegenwoordigt in onze panels, terwijl hier vanuit onze klanten wel veel vraag naar is. Het is dus super dat we deze groep hebben kunnen toevoegen aan ons aanbod.
Dat is mooi meegenomen!
Zeker! super blij mee
Dank voor je tijd en antwoorden Hans
Graag gedaan. En leuke manier van interviewen, dank je wel Sem!
