Data Driven of Human Centered?

In het nieuws, op mijn Linkedin-feed en op congressen gaat het al tijden over ‘Data Driven Audit’ en ‘Artificial Intelligence’. De afgelopen weken zat ik in de fase van onderzoek waarin ik veel kwalitatieve data-analyse zat te doen en toen bedacht ik mij dat Data Driven en Human Centrered geen tegenstelling hoeft te zijn.

Het woord data wordt in de media vaak gebruikt als:  ‘Grote hoeveelheden kwantitatieve data’. Ik werk ook met data, kwalitatieve data zoals de letterlijke woorden van de mensen die ik interview. Onderzoek doen naar cultuur & gedrag wordt wel eens afgedaan als ‘soft’, ‘ontastbaar’. Het tegenovergestelde van ‘hard’. Het tegendeel is waar. Door middel van goede data-analyse wordt een complex en veelkoppig onderwerp zoals ‘organisatiecultuur’ tastbaar, zichtbaar en bespreekbaar. Je zet data om in informatie die bruikbaar is voor de organisatieleden.

Ook 315 pagina’s interviewtekst is gewoon data, maar kwalitatieve data. Hoe zet je deze data om in bruikbare informatie? Ik neem alle interviews op en laat deze woordelijk uitwerken. Zo is mijn data-kwaliteit goed (uitgaande van goede interviewtechniek). Vervolgens kan ik op basis van de werkelijke woorden van mensen een analyse maken van cultuurpatronen. Dat doe ik op basis van de grondbeginselen van grounded theory. Hierbij vorm je  ‘van onderop’ de theorie door systematische verzameling, ordening en analyse van kwalitatieve data. Ik gebruik hiervoor MaxQDA, software voor kwalitatieve data-analyse, maar er zijn ook tal van andere toepassingen waarmee dat kan, zoals AtlasTI, Nvivo. Er komen steeds meer Open Source en AI-driven opties op de markt.

Eigenlijk kun je kwalitatieve data-analyse zien als het reduceren, taggen, sorteren, ordenen van oa tekst, zodat data informatie wordt. Met behulp van MaxQDA kan ik verbanden leggen tussen verschillende concepten, analyses maken van oorzaak -en gevolg, variabelen toevoegen en mooie mindmaps maken die de patronen inzichtelijk maken.

De analysestappen zijn:

1. Open coderen of labelen (in vivo, met datareductie als doel)
2. Axiaal coderen (groeperen, concepten vormen)
3. Selectief coderen (theorievorming, beantwoorden van de onderzoeksvraag)

Door deze gedegen aanpak, zijn de uitkomsten voor 99% herleidbaar. Vooral als je steeds als kwalitatief onderzoeken je keuzes en afwegingen vastlegd. Als je ooit een narratief hebt gelezen, opgebouwd uit de letterlijke citaten van mensen, geordend op een manier die representatief is voor de patronen gevonden in de data.  Dan zal je niet beweren dat dit ‘softe’ informatie is. Het geeft vaak hele concrete inzichten én handelingsperspectief voor de toekomst.

Veelgehoorde opmerkingen:

Jeetje, dat kost veel tijd! Voor mij niet. Net als andere onderzoeks- en auditvaardigheden moet je het eerst leren voordat je het snel kan. Ik weet inmiddels hoe het coderen werkt en ik heb de juiste knoppen gevonden. Het kost het me ongeveer 1,5 uur per interview om de transcripten te coderen.

Joh, maar we kunnen toch ook even samen in een kamertje de ‘rode draad’ bepalen? Zijn al die analysestappen nou écht nodig? Nog te vaak zie ik auditteams samen ‘even’ het oordeel vormen over ‘de cultuur’. Grote kans dat je vooral je eigen perspectief opschrijft en daarna gedoe krijgt met je opdrachtgever. Met als gevolg voor de organisatie dat je mogelijk verkeerde oorzaken aanwijst en niet-effectieve of zelfs contra-productieve aanbevelingen en acties krijgt. Bij de strategische belangrijke thema’s en gevoelige onderwerpen wil je dit écht voorkomen. Als je écht in de data duikt, dichtbij de woorden van mensen, ga je zoveel meer zien, zoveel meer begrijpen. Het voelt soms als magie, de data openbaart zich als je er op een systematische manier mee werkt.

Kan dat niet met AI? Jawel, ook MaxQDA ontwikkelt zich. Al heel lang heeft het een tool die automatische codes kan toekennen, een soort CTRL-F in het kwadraat. Ook kent het sinds begin dit jaar een AI-functie waarmee je automatische samenvattingen kunt maken en met het document kunt ‘praten’ alsof het ChatGPT is. Helaas werkt dit nog niet heel lekker, de stukken tekst die het kan behappen zijn nog beperkt. Bovendien hebben mensen heel veel verschillende manieren om hetzelfde te zeggen of juist woorden te gebruiken die hetzelfde geschreven zijn maar toch écht in een andere categorie vallen: “creatief boekhouden” hoort doorgaans in een heel andere lade dan “creatieve activiteiten met patienten”.

Data Driven én Human Centred Auditing, zou ik zeggen! Maar hé, beetje preken voor eigen parochie moeten kunnen toch?