Vanaf de grote incidenten in de jaren zestig van de vorige eeuw is er voortdurend aandacht gevraagd voor het leren van en voor openbare orde handhaving. In vergelijking met veel andere landen is de belangstelling voor openbare evaluaties van grootschalig politieoptreden in Nederland inmiddels relatief groot, getuige bijvoorbeeld diverse evaluaties van het Crisis Onderzoeks Team COT en anderen (o.a. van Gils & van Montfort, 1993; Bruinsma, 1997; Terpstra & van Heel, 2000; de Haan e.a., 2001). Ook de Nationale Ombudsman en de Commissie voor Politieklachten Amsterdam-Amstelland doen met enige regelmaat onderzoek naar aanleiding van klachten over openbare orde handhaving. Daarnaast zijn er nog de thematische onderzoeken naar de paraatheid van de politie van de Inspectie voor de Politie / Inspectie Openbare orde en Veiligheid. En de auditcommissie voetbalvandalisme onderzoekt met enige regelmaat incidenten rond voetbalwedstrijden. Krombeen (2004) deed onderzoek naar de praktijk van het evalueren van grootschalig politieoptreden bij de politie. Hij kwam tot de conclusie dat er ten opzichte van de jaren daarvoor duidelijk meer aandacht gekomen was voor het evalueren. Evaluatieverslagen bleken echter vaak op ondoorzichtige en methodologisch niet altijd verantwoorde wijze tot stand te komen. Krombeen stelde ook vast dat verantwoorden en leren vaak door elkaar liepen. Er bleek landelijk een grote behoefte te bestaan aan handvatten en een systematiek voor evaluatie, en er was zelfs sprake van een zoektocht naar procedures en modellen. Krombeen onderzocht niet wat er daadwerkelijk gebeurde met de bevindingen en aanbevelingen in de evaluatieverslagen, maar het is een oude klacht dat leren met betrekking tot openbare orde handhaving voornamelijk leren door vallen en opstaan is. Het is niet moeilijk om bij iedere discussie die ontstaat naar aanleiding van een uit de hand gelopen openbare orde incident terug te grijpen naar oude rapporten of al verrichte onderzoeken om de toepasselijke aanbevelingen te vinden. Ook in de meest recente rapporten zijn nauwelijks nieuwe aanbevelingen te vinden. Dat feit geeft aan dat het versterken van het leren van en voor openbare orde handhaving een aandachtspunt blijft, zowel binnen opleidingen als in de praktijk. Tegelijkertijd roept die omstandigheid vragen op over de wijze van evalueren: gebeurt dat wel op een zinvolle manier, op een manier die echt tot leren leidt?
Recente ontwikkelingen gaan in de richting van een andere benadering en wel uitgaande van de principes van gebruiksgericht (utilization-focused: Patton, 1997) evalueren. Op basis van die principes is op Europees niveau de afgelopen drie jaar een pilot gehouden met de inzet van peer review evaluatieteams. De peer review systematiek houdt in dat ervaren politiemensen uit verschillende landen op verzoek van het verantwoordelijke politiekorps een evaluatie verzorgen van de politiële aanpak van een openbare-orde optreden. De systematiek is toepasbaar op alle soorten openbare-orde optredens, maar is gedurende de pilot alleen toegepast rond internationale voetbalwedstrijden. De ervaringen zijn recent gepubliceerd in een Engelstalig boek.
Otto Adang & Elaine Brown
(2008)
Policing football in Europe.
Experiences with peer review evaluation teams.
Politieacademie, Apeldoorn. ISBN 978-90-79149-13-1
(download pdf hier, 731kB)
Dit artikel geeft een samenvatting van de opzet en de uitkomsten van deze recent afgesloten pilot en gaat vooral ook in op de bruikbaarheid van het peer review concept: in hoeverre dragen peer reviews daadwerkelijk bij aan leren van en voor openbare orde handhaving?
Peer review evaluatieteams
Het besluit tot de pilot werd in 2005 genomen in de EU werkgroep politiesamenwerking . De pilot werd voor heel Europa gecoordineerd vanuit Nederland en wel door het lectoraat Openbare orde & gevaarbeheersing van de Politieacademie en het Centraal Informatiepunt Voetbalvandalisme CIV. Ten behoeve van de pilot werd een pool van 21 ervaren voetbalcommandanten uit 13 verschillende landen samengesteld (afkomstig uit Oostenrijk, België, Cyprus, Denemarken, Frankrijk, Duitsland, Italië, Nederland, Portugal, Spanje, Zweden, Zwitzerland en Groot Brittannië). In totaal zijn veertien verzoeken uit tien verschillende landen ontvangen voor een evaluatie (Bulgarije, Cyprus, Denemarken, Duitsland, Nederland, Oostenrijk, Roemenië, Spanje, Zwitserland en Groot Brittannië. In zes gevallen ging het om risicowedstrijden in de nationale competitie, bij de rest ging het om wedstrijden van vertegenwoordigende elftallen of wedstrijden in de Champions League. Politiekorpsen in vijf van de acht speelsteden in Oostenrijk en Zwitserland vroegen in het jaar voorafgaand aan het Euro 2008 toernooi om een evaluatie van hun aanpak.
De peer review evaluaties zijn geen inspectie: uitgangspunt voor de peer reviews is een intercollegiale terugkoppeling, waarbij het verzoekende korps een spiegel voorgehouden krijgt. De peer reviews vinden daarom alleen maar op verzoek van het ontvangende korps plaats. Het Europeses handboek voor internationale politiesamenwerking bij voetbalwedstrijden vormt een belangrijk referentiepunt, maar de activititeiten van het team richten zich vooral op die onderwerpen die het vragende korps zelf aandraagt. Zo werd er bijvoorbeeld diverse malen gevraagd om observaties te doen naar de wijze waarop feitelijk uitvoering werd gegeven aan de vooraf bedachte strategie. Uitwisseling en leren staan voorop bij de peer review evaluaties, het gaat niet om bekritiseren of veroordelen. Zoals een van de deelnemers het verwoordde: er was sprake van een win-win situatie, want als ervaren commandant heb ik zelf ook wat geleerd van deze ervaring
De gang van zaken bij peer review evaluaties
Het korps dat een review wil, meldt zich bij het CIV. Samen met het lectoraat wordt een team van meestal 6 personen (4 commandanten uit verschillende landen, 1 coordinator vanuit het lectoraat en 1 wetenschappelijke assistent) samengesteld en wordt met het verzoekende korps afgesproken waar het review zich op gaat richten. Een dag voor de wedstrijd arriveert het team ter plaatse en wordt door het verzoekende korps gebriefd over de planning voor de wedstrijd en de beschikbare informatie. Het team verkent “hot spots” in de stad en de omgeving van het stadion en trekt zich vervolgens terug om een evaluatieplan op te stellen: wat voor vragen te stellen, op welke plaatsen en tijden observeren, wie te interviewen, wie doet wat? De dag van de wedstrijd wordt het evaluatieplan ten uitvoer gebracht en verzamelen de teamleden in koppels gegevens in de vorm van interviews met politiefunctionarissen, voetbalsupporters en andere betrokkenen en observaties in stadscentra, rond het stadion en in het stadion. De teamleden leggen hun bevindingen vast in notities en op memorecorders. Tevens worden foto’s gemaakt van typerende situaties. De derde dag van het bezoek is in zijn geheel gewijd aan uitwisseling van ervaringen tussen de teamleden en onderlinge discussie. Volgens een vaste structuur delen de teamleden hun bevindingen met elkaar en discussieren ze over aandachtspunten en goede werkwijzen. De discussie wordt direct vastgelegd in een conceptrapport. Na deze drie dagen wordt het conceptrapport uitgewerkt door de wetenschappelijke assistent, mede aan de hand van de memorecorder opnamen en de verzamelde documentatie. Het conceptrapport wordt vervolgens voorgelegd aan de teamleden (en aan het vragende korps om eventuele feitelijke onjuistheden te corrigeren). Het rapport word daarna definitief gemaakt en verzonden aan het vragende korps.
Goede werkwijzen
Een van de doelen van de peer review evaluaties is nadrukkelijk het identificeren van wat de teamleden zien als goede werkwijzen. Criteria die daarbij gehanteerd werden waren gebaseerd op de inhoud van het Europese handboek en op recente onderzoeksbevindingen. Voor een deel leveren ze ook stof op voor toekomstige discussie: op welke gronden kan een werkwijze als “goed” bestempeld worden? Er waren veel voorbeelden waarbij er sprake was van een implementatie van aanbevlingen uit het Europese handboek, zoals een goed functioneren nationaal voetbal informatie punt, een effectieve internationale samenwerking, een gericht gebruik van spotetrs en informatie of goede samenwerking tussen politie en club. Er waren ook voorbeelden van een degelijke voorbereiding en planning, een goede samenwerking met ketenpartnersen een goede communicatie met media en plaatselijke bevolking. De teams noteerden ook diverse voorbeelden van dynamische risico-analyses en doeltreffend tactisch optreden passend bij een vriendelijke en strenge aanpak, zelfs in situaties waar sprake was van een verhoogd risico.
Daarnaast zagen de teams goede voorbeelden van aandacht voor publieksveiligheid en de veiligheid van agenten, goed gestructureerde briefings en debriefings, inzet van medewerkers op basis van ervaring in plaats van op rang en gebruik van een GPS-systeem om de locatie van eenheden te volgen.
Voor wat betreft de interactie met supporters noteerden de teams goede voorbeelden van positieve ondersteuning van en communicatie met supporters, waaronder taalcursussen voor agenten en verstrekking van belangrijke informatie via websites. Het bestaan van een expliciet bejegeningsprofiel werd ook als goede werkwijze aangemerkt. Met betrekking tot dynamische risico-analyses wezen de teams op de volgende goede voorbeelden:
-
het maken van een duidelijk onderscheid tussen verschillende soorten risico’s, met name tussen spontane en geplande verstoringen van de openbare orde
het maken van een duidelijk onderscheid tussen verschillende soorten risico’s, met name tussen spontane en geplande verstoringen van de openbare orde-de beschikbaarheid van verschillende als-dan scenario’s voor specifieke gebeurtenissen (bijvoorbeeld bommelding, veldbetreding, gebruik avn bengaals vuurwerk op tribunes)
de beschikbaarheid van verschillende als-dan scenario’s voor specifieke gebeurtenissen (bijvoorbeeld bommelding, veldbetreding, gebruik avn bengaals vuurwerk op tribunes)-een duidelijke identificatie van hotspots gebaseerd op eerdere ervaringen en klachten van burgers en een flexibele inzet gerelateerd aan deze hotspots
een duidelijke identificatie van hotspots gebaseerd op eerdere ervaringen en klachten van burgers en een flexibele inzet gerelateerd aan deze hotspots-gerichte training voor agenten belast met informatie-inwinning en -analyse
gerichte training voor agenten belast met informatie-inwinning en -analyseDe teams vroegen aandacht voor de volgende goede werkwijzen met betrekking tot de tactische inzet
-snelle interventies en snelle afbouw
snelle interventies en snelle afbouw-inzet van degene die vooraf betrokken was bij de planning als kwaliteitsbewaker tijdens het optreden
inzet van degene die vooraf betrokken was bij de planning als kwaliteitsbewaker tijdens het optreden-de inzet van tactische adviseurs
de inzet van tactische adviseurs-de inzet van liaison als er eenheden van buiten het korps bijstand leveren
de inzet van liaison als er eenheden van buiten het korps bijstand leveren-de gerichte inzet voor specifieke taken of op specifieke locaties van agenten met passende ervaring
de gerichte inzet voor specifieke taken of op specifieke locaties van agenten met passende ervaringDe zogenaamde 3D-benadering (dialoog – de-escalatie – doorpakken) in Oostenrijk en Zwitserland werd ook als goede werkwijze betiteld, passend bij de “vriendelijk en streng” benadering die in het EU-handboek is opgenomen. De wijze van implementatie van het concept werd echter diverse malen als een “aandachtspunt” betiteld.
Aandachtspunten
De teams signaleerden, naast aandachtspunten die specifiek betrekking hadden op het betreffende optreden of het betreffende korps, ook aandachtspunten met een meer algemen geldigheid. Veel daarvan hadden te maken met het negeren van de aanbevelingen uit het EU-handboek, vooral waar het ging om tekortkomingen in informatie-uitwisseling, gebrek aan dynamische risico-analyses, en gebruik van tactieken die niet passen bij de feitelijke situatie. Bij internationale voetbalwedstrijden zijn ook vaak niet-EU landen betrokken. Deze hebben vaak geen nationaal voetbal informatie punt en kennen de inhoud van het EU-handboek niet. Mede als gevolg van de diversiteit aan talen in Europa, communicatie tussen betrokken politiekorpsen en tussen politiekorpsen en uitsupporters is vaak minimaal. De meeste andere aandachtspunten hadden betrekking op het volgende:
-een groot verschil tussen de strategie op papier en de wijze waarop er in de praktijk invulling aan gegeven wordt
een groot verschil tussen de strategie op papier en de wijze waarop er in de praktijk invulling aan gegeven wordt-een wijze van inzet die niet past bij de situatie (bijvoorbeeld van interventie-eenheden in volledige uitrusting in een situatie waarin geen sprake is van een verhoogd risico)
een wijze van inzet die niet past bij de situatie (bijvoorbeeld van interventie-eenheden in volledige uitrusting in een situatie waarin geen sprake is van een verhoogd risico)-de afwezigheid van interactie en communicatie tussen agenten en supporters
de afwezigheid van interactie en communicatie tussen agenten en supporters-onvolkomenheden in de samenwerking met andere politiekorpsen en met ketenpartners
onvolkomenheden in de samenwerking met andere politiekorpsen en met ketenpartnersIn een bijeenkomst (gehouden in april 2008) met betrokkenen (zowel teamleden als vertegenwoordigers van korpsen die ervaring hadden opgedaan met een review) bij de peer review evaluaties werd de algemene relevantie van deze aandachtspunten benadrukt. Vooral het vaak geconstateerde ontbreken van dynamische risico-analyses werd als een punt van zorg benoemd.
Er waren ook aandachtspunten die een weerspiegeling waren van verschillen in opvatting tussen verschillende korpsen. Deze punten verdienen het verder onderzocht en bediscussieerd te worden. Het gaat daarbij onder andere om het volgende:
-het gebruik van spotters: sommige korpsen kiezen voor inzet in uniform, andere voor inzet in burger
het gebruik van spotters: sommige korpsen kiezen voor inzet in uniform, andere voor inzet in burger-de taak van spotters: sommige korpsen gebruiken spotters die actief de interactie met supporters aangaan, andere korpsen kiezen daar juist niet voor en hanteren een “afstandelijker” benadering
de taak van spotters: sommige korpsen gebruiken spotters die actief de interactie met supporters aangaan, andere korpsen kiezen daar juist niet voor en hanteren een “afstandelijker” benadering-de inzet van stewards van uitreizende supporters: soms vergezelden stewards hun uitsupporters tijdens de reis, soms assisteerden ze op de tribune of bij de toegangscontrole tot het stadion. In andere gevallen werd dat niet van ze verwacht of werd een dergelijke inzet niet toegestaan
de inzet van stewards van uitreizende supporters: soms vergezelden stewards hun uitsupporters tijdens de reis, soms assisteerden ze op de tribune of bij de toegangscontrole tot het stadion. In andere gevallen werd dat niet van ze verwacht of werd een dergelijke inzet niet toegestaan-de taakverdeling tussen stewards en politie: er waren aanzienlijke verschillen tussen korsen waar het ging om wat de politie in en rond het stadion doet en wat stewards
de taakverdeling tussen stewards en politie: er waren aanzienlijke verschillen tussen korsen waar het ging om wat de politie in en rond het stadion doet en wat stewards-supportersscheiding. Binnen stadions was er steeds sprake van supportersscheiding, daarbuiten niet altijd en sommige korpsen kozen er bewust voor uit- en thuissupporters te “mengen”
supportersscheiding. Binnen stadions was er steeds sprake van supportersscheiding, daarbuiten niet altijd en sommige korpsen kozen er bewust voor uit- en thuissupporters te “mengen”-internationale politiesamenwerking: er zijn duidelijke verschillen in de wijze waarop invulling gegeven wordt aan de aanbevelingen uiy het EU-handboek
internationale politiesamenwerking: er zijn duidelijke verschillen in de wijze waarop invulling gegeven wordt aan de aanbevelingen uiy het EU-handboek-het gebruik van intelligence: sommige korpsen hanteerden consequent een informatiegestuurde aanpak, bij andere was de relatie tussen informatie en aanpak onduidelijk
het gebruik van intelligence: sommige korpsen hanteerden consequent een informatiegestuurde aanpak, bij andere was de relatie tussen informatie en aanpak onduidelijk-de bejegening van supporters: bij sommige korpsen is er sprake van een consequente vriendelijke, maar strenge aanpak, terwijl bij andere korpsen de aanpak minder consequent is en werden soms verwarrende “boodschappen” in de richting van supporters gecommuniceerd. In een aantal gevallen zagen agenten het niet als hun taak de interactie met supporters aan te gaan
de bejegening van supporters: bij sommige korpsen is er sprake van een consequente vriendelijke, maar strenge aanpak, terwijl bij andere korpsen de aanpak minder consequent is en werden soms verwarrende “boodschappen” in de richting van supporters gecommuniceerd. In een aantal gevallen zagen agenten het niet als hun taak de interactie met supporters aan te gaanBruikbaarheid van de peer review evaluaties
Het idee achter de pilot was dat de reviews zowel nuttig zouden moeten zijn voor deelnemers zelf als voor korpsen. In de in april 2008 gehouden bijeenkomst werden vertegenwoordigers van korpsen die gereviewd zijn en deelnemers aan de review teams gevraagd naar hun ervaringen in dat opzicht.
Korpsen die als gastheer voor een review gefungeerd hadden gaven aan dat zij zeer tevreden waren met het systeem, de rapportage/ terugkoppeling die ze ontvangen hadden en het feit dat aandachtspunten waren geidentificeerd die correctie behoefden. Ze waardeerden de uitwisseling van ideeen en ervaringen en de focus op de toekomst. Vooral de door de teams gesignaleerde discrepanties tussen plan en feitelijke uitvoering werden gewaardeerd. Diverse korpsen gaven aan dat het review een katalysator voor verandering was geweest (en gaven daarbij aan dat in het verleden, verandering pas plaatsvond na een spraakmakend incident).
Meer specifiek gaven korpsen aan dat ze rapporten op een of meer van de volgende wijzen gebruikt hadden:
-als basis voor gesprekken met bij de inzet betrokken commandanten/ eenheden
als basis voor gesprekken met bij de inzet betrokken commandanten/ eenheden-als basis voor interne relfecties en strategiebepaling in het korps
als basis voor interne relfecties en strategiebepaling in het korps-als basis voor gesprekken met ketenpartners met als doel het maken van werkafspraken
als basis voor gesprekken met ketenpartners met als doel het maken van werkafsprakenVoor sommige korpsen waren de rapporten een nuttige, onafhankelijke bevestiging van wat intern al bekend was en aadacht behoefde. In een aantal gevallen werd een review bewust gebruikt om een onderwerp op de agenda te zetten.
Korpsen gaven ook aan dat naast de inhoud van de rapporten, het peer review proces waardevol was door de wijze waarop een spiegel werd voorgehouden door onafhankelijke experts. Vooral voor de korpsen in de Euro 2008 speelsteden vervulden de rapporten een belangrijke functie: ”zijn we op de goede weg voor de Euro?”. In Zwitserland leidde tot een bijeenkomst waar vertegenwoordigers van de vier betrokken korpsen, de Zwitserse nationale coordinator en het lectoraat de uitkomsten van de reviews bediscussieerden. Het ging daarbij vooral om de implementatie van het 3D concept, het verband tussen dynamische risico-analyse en tactische inzet, de samenwerking tussen korpsen in speelsteden en bijstandverlenende korpsen, uniformiteit in aanpak tussen de verschillende korpsen, de samenwerking met de veiligheidsorganisatie in de stadions en de communicatie met supporters. De korpsen gaven daarbij expliciet aan hoe ze om zouden gaan (of al waren gaan) met de uitkomsten van de peer reviews .
Deelnemers aan de peer review evaluaties spraken van een win-win situatie en een excellente gelegenheid om goede werkwijzen te verspreiden, zoals blijkt uit de uitspraken van drie van de teamleden:
“Ik hoop dat ze van mij geleerd hebben, maar ik heb zeker van het vragende korps geleerd. Het was heel belangrijk”
“Iedere keer dat ik meega, leer ik iets nieuws dat ik in mijn eigen situatie kan toepassen. De reviews helpen me een netwerk van vrienden te bouwen. Het slecht barrieres, maakt het leven makkelijker”
“Het was voor mij een geweldige ervaring en het was heel waardevol voor mijn toekomstig werk rond internationale voetbalwedstrijden. Bedankt voor de gelegenheid mee te doen”
Reviewers gaven aan dat het weliswaar veel werk was, maar dat het goed was om achter het bureau uit te komen en het veld in te gaan om te observeren, te luisteren en met agenten, stewards en supporters te praten. De gelegenheid om de feitelijke inzet te zien van diverse kanten en iedereen te benaderen werd gewaardeerd: “Dit is heel moeilijk in mijn dagelijkse werk”. Veel reviewers merkten dat het lastig was eerst t observeren en gegevens te evrzamelen en later pas conclusies te trekken: “Je hebt training nodig om dat te kunnen doen. Je ziet commdandanten op een heel andere manier”
Korpsen en reviewers waren het erover eens dat de belangrijkse success factor van de peer reviews het “peer” aspect was en de informele, open and gebruiksgerichte wijze waarop de reviews worden uitgevoerd, gericht op leren van onder af en niet als een inspectie. Het uitwisselingsaspect, het voorhouden van een spiegel, het identificeren en promoten van van goede werkwijzen werden ook gewaardeerd. Ook werd de mix van theorie en praktijk benoemd.
Gebrek aan informatie werd gezien als de belangrijkste barriere voor een wijdverbreid gebruik van peer reviews. Daarnaast: “het is niet gebruikelijk om je te laten bekijken door een ander politiekorps” en “er zijn te veel grenzen in de hoofden van politiemensen”, waarbij werd aangegeven dat de weerstand meer bij bazen zou zitten dan bij agenten zelf.
Toekomst
De uitdaging voor de toekomst is om het peer review systeem verder uit te bouwen, uitwisseling en implementatie van goede werkwijzen te bevorderen en gesignaleerde aandachtspunten aan te pakken. Betrokken korpsen en reviewers kwamen met verschillende suggesties daarvoor. Implementatie van peer reviews op nationaal niveau, informatieverstrekking via nationale voetbal informatiepunten, het betrekken van het peer review team bij debriefing en evaluatie en het bevorderen van peer reviews in landen die een internationaal kampioenschap organiseren werden als belangrijkste genoemd. Toepassing van de peer review methoden bij niet-voetbal gerelateerde evenementen werd ook als zinvol gezien.
In een aantal opzichten wordt hier al invulling aan gegeven. Binnenkort worden in EU-verband opleidingen ontwikkeld voor commandanten bij voetbalwedstrijden. Peer reviews zullen de praktische component vormen van deze opleiding. In de voorbereiding op de in 2012 in Polen en Oekraïne te houden Europese kampioenschappen zullen peer reviews een rol gaan spelen. Het peer review systeem functioneert inmiddels al bij de Metropolitan police in Londen en in Zweden (in Zweden ook bij demonstraties). Het is ook toegepast bij een op verzoek van het Belgische ministerie van Binnenlandse Zaken door het lectoraat Openbare Orde & Gevaarbeheersing uitgevoerd onderzoek naar de handhaving van de openbare orde rond voetbalwedstrijden in België. Nu Nederland nog.
Leren van en voor openbare orde handhaving:
ervaringen met peer review evaluatie teams
(Gepubliceerd in Het Tijdschrift voor de Politie, 2008, jrg. 70, nr. 12, p. 29-33)
Otto Adang
