Kunstmatige intelligentie of AI wordt in toenemende mate gebruikt in het Europese en nationale asiel-, migratie- en grensbeheer. Verblijfblog biedt een overzicht van deze verschillende toepassingen in het migratierecht en beantwoordt de vraag welke impact de nieuwe AI Verordening hierop heeft ook wat betreft de bescherming van grondrechten.
Jarik ten Cate en Evelien Brouwer*
Inleiding
In het kader van migratiebeleid wordt veel gebruik gemaakt van grootschalige informatiesystemen en algoritmegestuurde besluitvorming. Zo wordt informatie die over derdelanders is opgeslagen in EU-systemen als het Schengen Informatie Systeem (SIS), Visum Informatie Systeem en Eurodac als belangrijke bron gebruikt voor geautomatiseerde profielen en risico-analyses. Ook op nationaal niveau gebruikt het ministerie van Buitenlandse Zaken en de IND algoritmes ter ondersteuning van de besluitvorming inzake aanvragen voor een kort verblijf visum en asiel. Steeds vaker worden in het migratiebeleid ook zelflerende algoritmes of kunstmatige intelligentie toegepast. In het voorjaar is door de EU wetgever een nieuwe wet aangenomen ter regulering van kunstmatige intelligentie: de AI Verordening 2024/1689. Verblijfblog bespreekt vier toepassingen van AI in het grens-, asiel- en migratiebeleid en de gevolgen voor grondrechten en ook de impact van de AI-verordening daarop.
AI in het asiel-, migratie- en grensbeleid
In het Europese migratiebeleid wordt steeds meer gebruik gemaakt van nieuwe technologieën. Hierbij kan het gaan om geautomatiseerde risico-analyses en besluitvorming, maar ook toezicht via drones, taalherkenningssystemen of (mogelijk in de toekomst) het gebruik van leugendetectors. EU beleid stimuleert lidstaten om personen zo snel mogelijk, ook met behulp van AI, te screenen en diegenen die niet aan de voorwaarden voor binnenkomst voldoen te identificeren. In 2021 beschreef het onderzoekscentrum (EPRS) van het Europees Parlement in het rapport Artificial Intelligence at EU Borders verschillende algoritmische toepassingen in het grens- en migratiebeleid. Die worden hieronder langsgelopen.
Biometrische identificatie en verificatie
In het kader van het EU grens- en migratiebeleid zijn grootschalige datasystemen opgezet waarin persoonsgegevens met inbegrip van biometrische data, zoals vingerafdrukken en gelaatsafbeeldingen, van derdelanders zijn opgenomen. Deze betreffen behalve de eerdergenoemde SIS, Eurodac en het VIS, ook drie nieuwe systemen, namelijk: ETIAS, Entry Exit Systeem en het ECRIS-TCN. Met behulp van geautomatiseerde controles aan de grens (Automatic Border Control of ABC) kan het gelaat van de persoon die om toegang verzoekt worden vergeleken met niet alleen de opgeslagen foto in het identiteitsdocument, maar ook met opgeslagen biometrische gegevens in deze datasystemen. Voor het raadplegen daarvan en de identificatie van personen worden algoritmes toegepast. Tot nu toe is hierbij nog geen sprake van zelflerende algoritmes of AI, maar om de Automatic Border Control sneller en betrouwbaarder te maken, wordt dit wel onderzocht.
Algoritmische of AI gebaseerde risico-beoordeling en profilering
Daarnaast wordt informatie uit de hierboven genoemde EU-systemen met behulp van AI ingezet voor het genereren van risico-analyses of profielen. Deze risico-analyses worden dan door grens- en migratie-autoriteiten gebruikt om bijvoorbeeld migratie naar de EU te voorspellen of, bij individuele aanvragen, het risico op illegale immigratie of gevaar voor de interne veiligheid. Dit laatste, screening op veiligheidsrisico’s, gebeurt nu al op basis van de PNR Richtlijn. Het PNR-systeem voorziet in de analyse van passagiersgegevens die luchtvaartmaatschappijen voor het vertrek naar de EU moeten verstrekken aan de grensautoriteiten. Bij zowel de controle van inkomende data, zoals reisroute, naam, adres en contact- en betaalgegevens, als het opstellen van risico-indicatoren kunnen dan zelflerende algoritmes worden gebruikt.
Ook de ETIAS Verordening die naar verwachting in 2025 in werking treedt, voorziet in het gebruik van algoritmes bij het wel of niet verstrekken van reisautorisaties aan niet-visumplichtige derdelanders. Met behulp van het ETIAS-systeem zullen aanvragen voor reisautorisaties worden onderzocht op basis van met algoritmes gegenereerde ETIAS screening rules’ of risico-profielen die wijzen op ‘irreguliere migratie-, veiligheids- of volksgezondheidsrisico’s’. Tot nu toe is geen informatie bekend of hierbij zelflerende systemen of AI zal worden ingezet. Echter in een rapport van euLISA, het EU Agentschap dat over het beheer van de grootschalige datasystemen gaat, wordt het gebruik van AI of machine-learning systemen genoemd om ‘verdachte aanvragen’ te kunnen detecteren. Hierbij wordt ook expliciet verwezen naar de toepassing van AI in de context van ETIAS.
Een andere vorm van AI-gestuurde profilering betreft beslissingen inzake de resettlement of herplaatsing van vluchtelingen. Hierbij wordt onderzocht of met een op data en AI gebaseerde ‘matching’ tussen gastland en vluchteling, de integratie van laatstgenoemde kan worden verbeterd.
AI ten behoeve van grensmonitoring en -surveillance
Zelflerende algoritmes spelen een belangrijke rol bij het monitoren, analyseren en voorspellen van migratietrends en veiligheidsdreigingen aan de Europese buitengrenzen. Op basis van een besluit van de Commissie in 2021 kan Frontex (Europese Grens en Kustwacht Agentschap) met behulp van AI gegenereerde informatie zogenaamde situatiebeelden aan de buitengrenzen creëren om zo het reactievermogen van grenswachten te versterken. Ook hierbij wordt informatie uit de genoemde EU data-systemen gebruikt. Het EUAA (EU Agentschap voor Asiel, voorheen EASO) gebruikt AI ‘om big data te analyseren over conflicten en ontwrichtende gebeurtenissen in landen van herkomst en om de onderliggende oorzaken van individuele gevallen van ontheemding op te helderen’. Daarnaast financiert de EU programma’s zoals Roborder, Promenade en Odysseus waarin de toepassing van AI voor de bewaking van buitengrenzen wordt onderzocht.
Leugendetectors of emotie-detectiesystemen
Ten slotte wordt in EU-verband onderzoek verricht naar het gebruik van zogenaamde emotie-detectiesystemen of leugendetectors. Deze systemen zijn bedoeld om met behulp van AI iemands emotionele toestand, intentie of mentale toestand te bepalen aan de hand van fysieke kenmerken. Hierbij kan het om gezichtsuitdrukkingen gaan, maar ook zoals het EPRS rapport illustreert, blikrichting, gebaar, stem, hartslag, lichaamstemperatuur en huidgeleiding. In het door de EU gefinancierde project iBorderctrl werd de mogelijkheid onderzocht van zogenaamde ‘avatar’ grenswachten die misleiding detecteren bij personen voor ze de EU inreizen (‘automated deception detection system’). Op basis van non-verbaal gedrag en fijnmazige, micro-bewegingen zou dan een risico-score kunnen worden vastgesteld ter beoordeling van de betrouwbaarheid van de migrant. Ook in een later EU onderzoek Tresspass is hier verder onderzoek naar gedaan.
Doel en toepassing AI-Verordening
Met de AI-Verordening wil de EU-wetgever een toekomstbestendig kader bieden voor de snelle ontwikkelingen op het gebied van kunstmatige intelligentie in zowel de private als de publieke sector. De regels dienen ter bescherming van mensenrechten, democratie en rechtsstaat, gezondheid en milieu, en ook innovatie.
De AI Verordening biedt aanvullende bescherming op bestaande rechten van individuen zoals het recht op gegevensbescherming, non-discriminatie en effectieve rechtsbescherming in respectievelijk artikel 8, 21 en 47 van het EU Grondrechtenhandvest en de Algemene Verordening Gegevensbescherming (AVG). Op basis van deze grondrechten verbood het Hof van Justitie van de Europese Unie (HvJEU) in de zaak Ligue des droits humains bijvoorbeeld al het gebruik van zelflerende systemen bij het vaststellen van PNR- risicoprofielen. Volgens het HvJEU moet bij de vaststelling van beoordelingscriteria en ook de afweging van verschillende elementen daarbij, altijd een menselijke tussenkomst of controle zijn gegarandeerd. In deze uitspraak wees het HvJEU ook op risico’s voor discriminatie en rechtsbescherming.
De AI-Verordening maakt onderscheid tussen AI technologie die helemaal moet worden verboden en zogenaamde hoog-risico of ‘high-risk’ systemen. Zo is bijvoorbeeld het gebruik van ‘real-time remote biometric identification’ systemen in de publieke ruimte voor rechtshandhaving verboden. Hierbij gaat het om systemen waarbij personen via camera’s aan de hand van in nationale of EU systemen opgeslagen biometrische data op afstand kunnen worden geïdentificeerd. Hoog-risico systemen zijn gedefinieerd in bijlage III van de AI-Verordening. Dat zijn systemen die wel blijven toegestaan, maar waarvoor verschillende verplichtingen gelden, zowel in de ontwikkelingsfase als wanneer zij op de markt zijn gebracht. Zo moet de ‘output’ van dit soort systemen ook door kundige natuurlijke personen worden geverifieerd en bevestigd. Ook hebben betrokkenen een individueel recht op uitleg over de rol van AI bij besluiten die hen aangaan.
Hoog-risico systemen in het migratie-, asiel en grenstoezichtsbeheer
In het kader van het migratie-, asiel en grenstoezichtsbeheer wordt in de AI-verordening onderscheid gemaakt tussen vier soorten ‘hoog-risico systemen’ :
- Systemen die als ‘leugendetector of soortgelijke hulpmiddelen’, zoals emotiedetectiesystemen kunnen worden gebruikt. De EU-wetgever week hiermee af van het pleidooi van verschillende (mensenrechten)organisaties en dataprotectie-autoriteiten voor een volledig verbod op het gebruik van dergelijke systemen.
- Systemen die worden gebruikt ‘om risico’s te beoordelen, waaronder een veiligheidsrisico, een risico op illegale migratie of een gezondheidsrisico’ die uitgaat van een persoon die het grondgebied van een lidstaat wil ‘betreden of dat heeft gedaan’. Dit betekent dat voor zelflerende algoritmes die worden ingezet om genoemde risico’s te beoordelen in het kader van de ETIAS-verordening, de strengere regels van de AI Verordening zullen gelden.
- AI ter ondersteuning van de behandeling van aanvragen voor asiel, visa of verblijfsvergunningen. Bij deze categorie wordt ook het gebruik van AI genoemd bij de beoordeling van een asielaanvraag en de betrouwbaarheid van bewijs. Met andere woorden, wanneer bij de genoemde voorbeelden van Buitenlandse Zaken en de IND, zelflerende algoritmes worden gebruikt, moeten deze als hoog-risico systemen worden aangemerkt.
- AI-systemen die in het kader van migratiebeleid worden gebruikt voor het opsporen, herkennen of identificeren van natuurlijke personen, met uitzondering van de verificatie van reisdocumenten. Het doel van het gebruik is dus van belang: wanneer de bovengenoemde ABC-controles alleen ter verificatie worden gebruikt, worden deze niet als hoog-risico aangemerkt.
AI-tools voor migratiebewaking, analyse en voorspelling, zoals onderzocht door de EU Agentschappen Frontex en EUAA, worden niet expliciet genoemd in deze lijst. Voor de classificering als hoog-risico is volgens de preambule van de AI Verordening, de omvang van de door het AI-systeem veroorzaakte nadelige effecten op individuele grondrechten zoals beschermd in het EU Handvest relevant. De genoemde systemen gaan om open-source onderzoek om trends van illegale migratie in kaart te brengen. Daarmee kan betoogd worden dat zij minder inbreuk maken op individuele rechten. De EDPS stelde in zijn rapport dat er wel degelijk sprake was van hoge risico’s voor grondrechten van zowel individuen als groepen, zoals het recht op privacy en vrijheid van meningsuiting.
Uitzonderingen op extra bescherming
Van de extra bescherming voor hoog-risico systemen, kent de AI verordening ten aanzien van systemen in het migratiebeleid een aantal uitzonderingen. Ten eerste, zullen de regels van de AI-Verordening pas in 2031 gaan gelden voor de biometrische identificatiesystemen SIS, VIS, Eurodac, ETIAS, Entry Exit Systeem en ECRIS-TCN. Ten tweede, mag ten aanzien van AI-systemen op het gebied van migratie, asiel en grenstoezichtsbeheer worden afgeweken van het vereiste van afzonderlijke verificatie door tenminste twee natuurlijke personen, in gevallen waarin het Unierecht of het nationale recht de toepassing daarvan onevenredig acht. Deze systemen hoeven ook alleen in een beveiligd, niet-openbaar gedeelte van de eerder genoemde EU databank te worden geregistreerd. Ook geldt de verplichting om informatie te publiceren over hoog-risico systemen op de website van de gebruikers, niet voor ‘gevoelige operationele gegevens’ in verband met de activiteiten van grenstoezichts-, immigratie- en asielautoriteiten. Wel wordt, afgezien van de algemene plicht tot grondrechtenbescherming, in de preambule van de AI Verordening expliciet bepaald dat het gebruik van AI in het grens-, asiel- en migratiebeheer geen inbreuk mag maken op het recht op internationale bescherming en non-refoulement, zoals neergelegd in het Vluchtelingenverdrag.
Conclusie
Op de vraag wat de rechtsgevolgen van de nieuwe AI Verordening zijn voor algoritmische systemen in het migratiebeleid is alleen een gelaagd antwoord mogelijk. In deze blog beschreven we vier toepassingen van asiel-, migratie- of grenstechnologie die alleen wanneer daarbij zelflerende algoritmes of AI wordt gebruikt onder de reikwijdte van de AI Verordening vallen. Waar systemen voor biometrische identificatie op afstand in beginsel zijn verboden, worden veel van deze systemen zoals het gebruik van AI ter ondersteuning van asiel, visum en verblijfsaanvragen en de vaststelling van risicoprofielen in de AI-Verordening als hoog-risico systemen aangemerkt. Dit betekent dat zij wel zijn toegestaan, mits zij voldoen aan bepaalde waarborgen, zoals de continue monitoring van de ontwikkeling en het gebruik daarvan en een individueel recht op uitleg. Ten aanzien van een aantal belangrijke waarborgen, zoals menselijk toezicht en transparantie van AI systemen, worden in de AI-Verordening systemen in het migratierecht expliciet uitgezonderd. Bovendien heeft de EU-wetgever ervoor gekozen het omstreden gebruik van leugendetectors niet te verbieden, maar als hoog-risico-systeem toe te staan.
De AI-verordening staat uiteraard niet alleen. Bestaande grondrechten zoals privacy, gegevensbescherming en non-discriminatie, maar ook de bescherming van vluchtelingen, blijven onverminderd van belang. Dus bij alle algoritmische systemen, of ze nu wel of niet onder de reikwijdte van de AI-verordening vallen, zullen lidstaten en EU instanties die grondrechten, en de (Unie)regelgeving waarmee die worden beschermd, in acht moeten nemen.
*Jarik ten Cate is promovendus en Evelien Brouwer is universitair docent bij de afdeling Staatsrecht, Bestuursrecht en Rechtstheorie, Universiteit Utrecht en beiden verbonden aan het Montaigne Centrum voor Rechtsstaat en Rechtszekerheid.
