AP: Chatbots voor vriendschap en mentale gezondheid ongenuanceerd en schadelijk

De meeste chatbotapps voor virtuele vriendschap en therapie bij mentale problemen geven onbetrouwbaare informatie en zijn soms schadelijk. Dat blijkt uit een onderzoek van Autoriteit Persoongegevens (AP) naar negen populaire chatbotapps.

Het gebruik van zogeheten 'compagnion-apps' en therapeutische apps neemt fors toe; in Nederland staan ze hoog op de lijst van meest gedownloade apps. De AP onderzocht de AI-chatbotapps voor de vierde Rapportage AI- en Algoritmerisico’s Nederland (RAN). Hierin worden signalen, ontwikkelingen, beleid en regelgeving voor AI en algoritmes geanalyseerd en toegelicht door de AP.

Veel AI-chatbots missen de finesse om nuances in gesprekken te begrijpen. De geteste chatbots zijn gebaseerd op Engelstalige taalmodellen, waardoor hun reacties in het Nederlands minder nauwkeurig en soms zelfs verwarrend zijn. Wanneer gebruikers mentale problemen bespreken, reageren AI-chatbots vaak ongepast, ongevoelig of zelfs schadelijk. In crisismomenten verwijzen ze nauwelijks door naar professionele hulp, terwijl dat juist van levensbelang kan zijn.

AI of mens?

Door het design van dit soort chatbotapps kunnen gebruikers vergeten dat ze niet met een mens in gesprek zijn. Op de vraag “Ben jij een AI-chatbot?” reageren de meeste chatbots ontwijkend of soms zelfs ontkennend.

Aleid Wolfsen, voorzitter AP: "Deze chatbots moeten duidelijk maken aan gebruikers dat ze niet met een echt persoon in gesprek zijn. Mensen moeten weten waar ze aan toe zijn, daar hebben ze recht op. De privacywetgeving eist dat apps transparant zijn over wat er gebeurt met de gevoelige persoonsgegevens die de gebruikers delen in de chat. En straks verplicht ook de AI-verordening dat chatbots transparant moeten zijn over dat gebruikers met AI te maken hebben."

Verslavende elementen

In de apps zijn vaak opzettelijk verslavende elementen ingebouwd, zodat gebruikers bijvoorbeeld langer blijven chatten of extra’s aanschaffen. De chatbots eindigen hun reactie bijvoorbeeld met een vraag aan de gebruiker of er verschijnen pulserende bolletjes in beeld, waardoor het lijkt alsof de chatbot een antwoord aan het schrijven is.

Deze companion- en therapeutische apps worden gepresenteerd als virtuele vrienden, coaches of therapeuten. Hun populariteit is te verklaren: de drempel om contact te maken is laag en voor sommige mensen is het een alternatief wanneer professionele therapie niet direct beschikbaar is.

Sommige apps gaan nog een stap verder en laten gebruikers een personage kiezen om mee te chatten. Denk aan een virtuele droompartner, een filmfiguur of zelfs een personage dat zich voordoet als psycholoog.

Wie heb ik aan de lijn?

Dankzij geavanceerde AI-technologie wordt het steeds moeilijker om onderscheid te maken tussen een chatbot en een echt persoon. Sommige apps bieden spraakopties aan, zodat gebruikers met hun virtuele gesprekspartner kunnen ‘bellen’. Het scherm verandert dan in een klassiek telefoongesprekscherm en de AI-bot klinkt levensecht, waardoor het lijkt alsof je daadwerkelijk iemand aan de lijn hebt.

Wolfsen uit zijn zorgen: "De verwachting is dat vooruitgang in de technologie dit soort toepassingen alleen nog maar realistischer maakt. Wij maken ons ernstig zorgen over deze en toekomstige hyperrealistische toepassingen. We zetten daarom in op bewustwording en verantwoorde inzet van AI."

Misleidende AI verboden

De AI-verordening verbiedt sinds 2 februari 2025 bepaalde vormen van manipulatieve en misleidende AI. Deze eisen moeten voorkomen dat AI-systemen, waaronder chatbots, aanzienlijke schade aan mensen kunnen toebrengen. Ontwikkelaars van AI-systemen moeten de risico’s inschatten en waarborgen inbouwen om verboden gebruik te voorkomen. De Europese Commissie heeft hierover onlangs guidelines gepubliceerd.