De rationele inkoper bestaat niet

Dinsdag, 25 mei 2010

De beoordeling van de kwaliteit van dienstverlening in een Europese aanbesteding is moeilijk. Eigenlijk kán het niet eens objectief, transparant en non-discriminatoir. Het probleem? De beoordelaar!

De economisch meest voordelige inschrijving (EMVI). Deze term vormt de basis voor de beoordeling van veel Europese Aanbestedingen op het gebied van diensten tegenwoordig. Bij diensten is namelijk de geleverde kwaliteit minstens zo belangrijk als de prijs die voor de dienst wordt betaald. Het lastige bij het beoordelen van diensten is echter, dat kwaliteit lastig objectief meetbaar is. Objectief betekent: de maat staat vast en bij herhaalde meting, met dezelfde meetmethode door verschillende mensen en op meerdere momenten, meet je hetzelfde. Objectieve criteria zijn bijvoorbeeld prijs, afmeting, breekbaarheid en samenstelling van goederen.

Kwaliteit van dienstverlening bevat een grote subjectieve component. Hoe je bijvoorbeeld de bediening in een restaurant ervaart, hangt (te vaak) af van het moment van meting. Hoe druk is het? Heeft de ober net een vervelende klant bediend en is hij daar wat chagrijnig van geworden? Is het vijf minuten voor sluitingstijd? De leverancier maakt bovendien de dienstverlening in samenwerking met de klant. Daarmee heeft de klant zelf invloed op hoe hij de dienstverlening waardeert. Als je de kwaliteit van de dienstverlening in een restaurant afmeet aan in hoeverre de zaak kan inspelen op buitengewone vragen, heb je zelf veel invloed op het vormgeven van je eigen oordeel. Ten slotte spelen er nog allerlei subjectieve invloeden mee waar je je vaak niet bewust van bent, als vooroordelen, heuristieken en beoordelingstendenties. Op die laatste onderdelen gaat dit artikel verder in.

Rationaliteit
De uitgangspunten voor Europees aanbesteden zijn samen te vatten als transparant, objectief en non-discriminatoir. Die uitgangspunten gaan ervan uit dat de mens op rationele gronden kwaliteit van verschillende leveranciers tegen elkaar kan afwegen en een rationele beslissing kan nemen. De meeste inkopers hebben een achtergrond in de economie, waar dit ook het basisidee is. Uit psychologisch onderzoek naar oordeel- en besluitvorming, blijkt dat die rationaliteit zeer beperkt is: besluitvorming is vaak ondoorgrondelijk, subjectief en discriminerend. En daar moeten inkopers rekening mee houden in de beoordeling van de kwaliteit van aanbestedingen van diensten. Ingediende offertes zijn een mengeling van objectieve en subjectieve onderdelen, die de inkoper individueel en meestal ook groepsgewijs moet beoordelen. De selectie-eisen zijn vaak knock-out criteria: je voldoet er aan of niet, en de beoordelingsbasis is helder geformuleerd – veelal moet de leverancier “ja” invullen of een formulier toevoegen. Voldoe je hier niet aan, dan ben je meteen uit de running. De gunningscriteria hebben echter tot doel om dienstverlening op kwaliteit te beoordelen en zijn daarmee een stuk subjectiever. De oorzaken van de subjectiviteit zijn deels individueel bepaald, maar komen ook voort uit de groepsdynamica.

Een belangrijk risico bij de beoordeling van de gunningscriteria zit in de manier waarop dat vaak gebeurt. Meestal moeten de beoordelaars een individueel oordeel geven, waarna ze in groepsverband samen een eindoordeel vaststellen. Om te oordelen, gebruiken beoordelaars bovendien veelal schalen, zoals een rapportcijfer van 1 tot 10. En juist bij de beoordeling met schalen en in groepsverband treden gemakkelijk vertekeningen op.

Individuen hebben de neiging om eenzelfde stuk tekst allemaal anders te beoordelen, als ze gebruik maken van een schaal. Sommigen geven bijvoorbeeld nooit een 10, omdat ze nooit iets uitmuntend en niet voor verbetering vatbaar vinden. En als het in de organisatiecultuur niet gebruikelijk is om extreme scores te halen (op personeelsbeoordelingen bijvoorbeeld), zal dat bij beoordelingen van aanbestedingen ook niet gebeuren. Psychologen noemen dit een persoonlijke fout. Ook komt het voor dat het oordeel op één punt van de aanbesteding, invloed heeft op het oordeel op alle andere onderdelen van de aanbesteding. Zelfs als dat ene punt niets met de andere oordelen van doen heeft (halo-effect). Of de eerste indruk is zo positief, dat we minder positieve punten verderop niet zien (confirmation bias). Als de beoordelingsgroep uit individuen met een andere achtergrond bestaat, zal beoordelaar A bovendien een ander oordeel geven dan beoordelaar B, ook al hebben ze dezelfde tekst voor ogen. Dat komt omdat ze een andere achtergrond en daarmee een ander wereldbeeld hebben (rolfout). In hoeverre ben je objectief als iedereen individueel tot een ander oordeel komt?

Beïnvloeding
Besluitvorming in groepsverband versterkt de individuele effecten en zorgt voor nog een extra effect: groepsbeïnvloeding. In de beoordeling en besluitvorming beïnvloeden de andere groepsleden jouw mening. Je past je mening aan de anderen aan – je conformeert je. En niet alleen omdat je vindt dat de ander gelijk heeft. Ook omdat je een goede indruk wilt maken op de rest van de groep. Of omdat je aan jezelf gaat twijfelen, omdat de rest het niet met je eens is. Zeker als iets niet objectief meetbaar is, zal dit effect optreden. Daarnaast speelt de cultuur van de organisatie een belangrijke rol: geldt might is right? Is het gebruikelijk consensus te zoeken, of besluitvorming uit te stellen? Mag een inkoper een afwijkende mening uiten, of is er een autoritaire leider aanwezig die geen tegenspraak duldt? Waarderen de collega’s en managers het nemen van risico’s? Al deze zaken hebben direct invloed op het oordeel en besluit dat de groep vormt. De mening kan verschuiven in een extremere richting dan de individuele leden vooraf hadden (risky shift), of zover doorschieten dat eigenlijk niemand het ermee eens is, maar dat niet durft te zeggen (groupthink). De groep neemt een beslissing, maar objectief, transparant en non-discriminatoir zal die niet zijn.

Met de belangen die bij aanbestedingen op het spel staan, is het belangrijk dat inkopers zich van deze bias-effecten bewust zijn. De meeste effecten treden echter zo onbewust op, dat het nemen van tegenmaatregelen niet voldoende is om aan de aanbestedingseisen te voldoen. Bij metingen in hele grote groepen (meer dan honderd mensen) zullen de meeste individuele effecten zich wel uitmiddelen; menselijk gedrag volgt dan de standaardnormaalverdeling. Maar met een beoordelingsteam van gemiddeld tien man is dat een stuk lastiger.

Objectiviteit
Uit een eerste inventarisatie binnen DPA Supply Chain blijkt dat inkopers pogingen doen om het proces objectiever te maken. Zo regelt de projectleider van de aanbesteding het vaak zo dat een persoon hetzelfde onderdeel over alle offertes beoordeelt. Ook bepalen de individuele beoordelaars hun eigen scores voordat de groep een beslissing neemt, en kijkt de groep scherp naar de scores die buiten een beperkte bandbreedte vallen.

Vanuit de psychologie van beoordeling (vooral gericht op prestatiebeoordeling van personeel) en groepsdynamica, zijn echter nog een aantal andere tips te geven die inkopers ter harte kunnen nemen. Voor de individuele beoordeling is het belangrijk om de schaal die de inkoper gebruikt, goed te onderbouwen met voorbeelden. Welke elementen moet een antwoord in zich hebben om een bepaalde score te behalen? Alleen de term “ruim voldoende” bij een 7 is dan niet voldoende; een antwoord verdient een 7 als… In de tweede plaats kan de projectleider voorafgaand aan de beoordeling van de aanbesteding een trainingssessie beleggen. In die sessie licht de projectleider de aanbesteding en beoordelingsmethode toe en bespreekt hij of zij de effecten die bij beoordeling kunnen optreden. Daarna beoordelen de deelnemers individueel stukken tekst, gevolgd door een discussie over de gegeven score. Als dit niet al te lang voor de sluitingsdatum gebeurt, kan dit het beoordelingsproces iets objectiever maken.

Advocaat van de duivel
Groepsbesluitvorming vereist een open sfeer, die de projectleider (of aanwezige manager) vaak bepaalt: is discussie mogelijk, luisteren deelnemers naar de mening van anderen? Van belang is ook dat deelnemers niet te snel aan opmerkingen en onduidelijkheden voorbij gaan. Goede communicatieve vaardigheden zijn essentieel voor alle groepsleden bij een dergelijk proces. Helaas beschikt niet iedereen daarover. Daarom kan een projectleider ervoor zorgen dat de deelnemers goed doorvragen, zodat zowel de inhoud als de bedoeling van de bijeenkomst, maar ook van een opmerking, voor iedereen duidelijk zijn. Bij de uiteindelijke besluitvorming is het belangrijk alle opties uit te werken en iemand te vragen de rol van “advocaat van de duivel” in te nemen. Op die manier voorkom je groupthink.

Er zijn dus diverse mogelijkheden om beoordeling en besluitvorming transparanter, objectiever en minder discriminerend te maken. Natuurlijk wel binnen het kader van de Europese (en Nederlandse) aanbestedingswet. Want hoever moet je gaan met het specificeren van mogelijke antwoorden? Je wil immers het antwoord voor de leverancier niet gaan voorschrijven. Tussen deze uitersten bestaan er voldoende mogelijkheden om de kwaliteit van de leverancier op een meer verantwoorde manier te meten. En daar profiteert zowel de leverancier als de interne klant van!

Drs. Susan Schutjes is afgestudeerd psychologe en momenteel werkzaam als Projectmedewerker bij DPA Supply Chain in Amsterdam.

Citaten:
Bij de beoordeling met schalen en in groepsverband treden gemakkelijk vertekeningen op
“Ik ga twijfelen, omdat de rest het niet met me eens is”
Besluitvorming is vaak ondoorgrondelijk, subjectief en discriminerend
De oorzaken van de subjectiviteit zijn deels individueel bepaald, maar komen ook voort uit de groepsdynamica
De eerste indruk kan zó positief zijn, dat we minder positieve punten verderop niet zien.