Φωτογραφία της Petra Molnar απο την Kenya-Jade Pinto, χρήση με άδεια.
Οι ακτιβιστές εκτιμούν ότι, το 2022, 30 εκατομμύρια άτομα εν κινήσει ήταν πρόσφυγες και πολλά εξ αυτών αναζήτησαν άσυλο στις Ηνωμένες Πολιτείες και την Ευρωπαϊκή Ένωση. Ωστόσο, συχνά, αφού εισέλθουν στις δυτικές χώρες, δεν βρίσκουν προστασία, αλλά μια απάνθρωπη διαδικασία κατηγοριοποίησης, η οποία βασίζεται υπερβολικά στην τεχνητή νοημοσύνη και σε μη ελεγχόμενη τεχνολογία.
Το Global Voices πήρε συνέντευξη μέσω ηλεκτρονικού ταχυδρομείου από την Petra Molnar, δικηγόρο και ανθρωπολόγο με ειδίκευση στην τεχνολογία, τη μετανάστευση και τα ανθρώπινα δικαιώματα. Η Molnar είναι συνιδρύτρια του Παρατηρητηρίου Μετανάστευσης και Τεχνολογίας (Migration and Technology Monitor), μιας ομάδας με εκπροσώπους από την κοινωνία των πολιτών, δημοσιογράφους, ακαδημαϊκούς και κινηματογραφιστές, οι οποίοι μελετούν τα τεχνολογικά πειράματα, που διενεργούνται πάνω σε όποιον διασχίζει τα σύνορα. Επίσης, είναι αναπληρώτρια διευθύντρια στο Εργαστήριο Προσφυγικού Δικαίου (Refugee Law Lab) στο Πανεπιστήμιο του Γιορκ και μέλος του Κέντρου Berkman Klein στο Πανεπιστήμιο του Χάρβαρντ (Berkman Klein Centre for Critical Internet). Αυτή τη στιγμή, συγγράφει το πρώτο βιβλίο της με τίτλο “Τεχνητά Σύνορα” (The New Press, 2024).
Filip Noubel (FN): Η έρευνά σας δείχνει ότι οι προσφυγικοί καταυλισμοί και τα κέντρα κράτησης, χώροι που συχνά χαρακτηρίζονται από απουσία νόμων, εξυπηρετούν τη δοκιμή νέων τεχνολογιών. Μπορείτε να μας δώσετε κάποια παραδείγματα;
Petra Molnar (PM) Borders and spaces of humanitarian emergency like refugee camps are increasingly testing out new technologies for migration control. Since 2018, I have been spending time with people who are at the sharpest edges of technological innovation. From the Arizona desert at the US/Mexico border to the Kenya-Somalia border, to various refugee camps in the EU, we have seen first-hand the impacts of border surveillance and automation on people’s lives.
Before you even cross a border, you may be subject to predictive analytics used in humanitarian settings or biometric data collection. At the border, you can see drone surveillance, sound-cannons, and thermal cameras. If you are in a European refugee camp, you will interact with algorithmic motion detection software. You may be subject to projects like voice printing technologies and the scraping of your social media records. Borders themselves are also changing, as surveillance is expanding our understanding of the European border beyond its physical limits, creating a surveillance dragnet as far as north and Sub-Saharan Africa and the Middle East.
These experimental and high-risk technologies occur in an environment where technological solutions are presented as a viable solution to complex social issues, creating the perfect ecosystem for a lucrative ecosystem giving rise to a multi-billion euro border industrial complex.
In my fieldwork, I notice that people share feelings of being constantly surveilled, or being reduced to data points and fingerprints. Many point out how strange it seems that vast amounts of money are being poured into high-risk technologies while they cannot get access to a lawyer or have psychosocial support. There is also a central misapprehension at the centre of many border tech projects – that somehow more technology will stop people from coming. But that is not the case, in fact people will be forced to take more dangerous routes, leading to even more loss of life at the world’s borders.
Petra Molnar (PM): Τα σύνορα και οι χώροι ανθρωπιστικής έκτακτης ανάγκης, όπως οι προσφυγικοί καταυλισμοί, δοκιμάζουν ολοένα και περισσότερο νέες τεχνολογίες για τον έλεγχο της μετανάστευσης. Από το 2018, έχω περάσει πολύ χρόνο με τους μεγαλύτερους εκπροσώπους τεχνολογικής καινοτομίας. Από την έρημο της Αριζόνα έως τα σύνορα μεταξύ Ηνωμένων Πολιτειών και Μεξικού έως τα σύνορα Κένυας-Σομαλίας και έως τους διάφορους προσφυγικούς καταυλισμούς στην ΕΕ, γίναμε αυτόπτες μάρτυρες των συνεπειών της επιτήρησης των συνόρων και της αυτοματοποίησης στις ζωές των ανθρώπων.
Πριν ακόμα διασχίσει κανείς ένα σύνορο, μπορεί να αποτελέσει αντικείμενο προγνωστικών αναλύσεων, που χρησιμοποιούνται σε ανθρωπιστικό πλαίσιο, ή συλλογής βιομετρικών δεδομένων. Στα σύνορα, μπορεί κανείς να δει drone επιτήρησης, ηχητικά όπλα και θερμικές κάμερες. Εάν βρίσκεσαι σε προσφυγικό καταυλισμό στην Ευρώπη, θα έρθεις σε επαφή με λογισμικό αλγορίθμων εντοπισμού κίνησης. Μπορεί να αποτελέσεις μέρος εγχειρημάτων, όπως η τεχνολογία φωνητικής αναγνώρισης και εξαγωγής δεδομένων από τα κοινωνικά σου δίκτυα. Τα ίδια τα σύνορα αλλάζουν, καθώς η επιτήρηση επεκτείνει την αντίληψή μας περί ευρωπαϊκών συνόρων πέρα από τα φυσικά όρια, δημιουργώντας έτσι ένα δίκτυο επιτήρησης μέχρι τη βόρεια και υποσαχάρια Αφρική και έως τη Μέση Ανατολή.
Τέτοιες πειραματικές τεχνολογίες υψηλού ρίσκου αξιοποιούνται σε ένα πλαίσιο, όπου τα τεχνολογικά συστήματα παρουσιάζονται ως μια βιώσιμη λύση στα περίπλοκα κοινωνικά προβλήματα δημιουργώντας το τέλειο οικοσύστημα για ένα επικερδές οικοσύστημα και δίνοντας χώρο σε ένα περίπλοκο συνοριακό σύμπλεγμα αξίας δισεκαττομυρίων ευρώ.
Στις επιτόπιες έρευνές μου, διακρίνω ότι οι άνθρωποι μοιράζονται την αίσθηση ότι βρίσκονται υπό διαρκή παρακολούθηση ή έχουν υποβαθμιστεί στο επίπεδο δεδομένων και δακτυλικών αποτυπωμάτων. Πολλοί υπογραμμίζουν πόσο περίεργο είναι το ότι μεγάλα ποσά προορίζονται για τεχνολογίες υψηλού ρίσκου, την ώρα που οι πρόσφυγες δεν μπορούν να έχουν πρόσβαση σε δικηγόρο ή σε ψυχολογική υποστήριξη. Υπάρχει επίσης μια πρωταρχική παρανόηση στον πυρήνα πολλών τεχνολογικών σχεδίων για τα σύνορα, δηλαδή ότι με κάποιον τρόπο η περισσότερη τεχνολογία θα κλείσει την είσοδο στους πρόσφυγες. Αλλά δεν είναι έτσι. Στην πραγματικότητα, οι άνθρωποι θα είναι αναγκασμένοι να ακολουθούν διαδρομές επικίνδυνες, οι οποίες θα οδηγούν σε ακόμα μεγαλύτερη απώλεια ζωών στα σύνορα σε όλον τον κόσμο.
FN: Συχνά η καινοτομία παρουσιάζεται με όρους θετικούς, παρόλα αυτά κάποιες εταιρείες τεχνολογίας ασχολούνται με τη δοκιμή νέων τεχνολογιών στους πρόσφυγες. Για ποιον λόγο κάποιες κυβερνήσεις επιτρέπουν κάτι τέτοιο;
PM: The creation of legal black holes in migration management technologies is deliberate to allow for the creation of opaque zones of technological experimentation that would not be allowed to occur in other spaces. Why does the private sector get to determine what we innovate on and why, in often problematic public-private partnerships which states are increasingly keen to make in today’s global AI arms race? Private companies like Palantir Technologies, Airbus, Thalys, and others that have links to a host of human rights abuses have now become the preferred vendor for various governments and are even working with international organizations like the World Food Program.
PM: Η δημιουργία νομικών κενών [στη νομοθεσία] πάνω σε θέματα τεχνολογίας για τη διαχείριση της μετανάστευσης είναι σκόπιμη, προκειμένου να επιτραπεί η δημιουργία γκρίζων ζωνών για τεχνολογικούς πειραματισμούς, που σε άλλους τομείς δεν θα επιτρεπόταν. Γιατί ο ιδιωτικός τομέας μπορεί να ορίσει πάνω σε τι και γιατί να καινοτομήσει, συχνά μέσω προβληματικών συμπράξεων κράτους-ιδιωτών, τις οποίες τα κράτη είναι όλο και πιο ανυπόμονα να συνάψουν στον παγκόσμιο εξοπλιστικό αγώνα της τεχνητής νοημοσύνης; Ιδιωτικές εταιρείες, όπως οι Palantir Technologies, Airbus, Thalys και άλλες, οι οποίες συνδέονται με πλήθος καταπατήσεων των ανθρωπίνων δικαιωμάτων, τώρα γίνονται οι βασικοί προμηθευτές διαφόρων κυβερνήσεων και συνεργάζονται ακόμα και με διεθνείς οργανώσεις, όπως το Παγκόσμιο Επισιτιστικό Πρόγραμμα ( World Food Program).
FN: Το να αποδειχθεί η παραβίαση είναι από μόνη της και μόνο μια μεγάλη πρόκληση. Μπορείτε να εξηγήσετε το γιατί;
PM: Trying to document these systems of technological oppression is itself a risky business – one fraught with trying to unravel opaque decisions, secretive private sector players, and witnessing horrific conditions on the frontiers challenging our common humanity. It’s also about asking broader questions. Are human rights framings enough or do they also silence the systemic and collective nature of these harms? And are we doing enough to create space for abolitionist conversations when it comes to technology at the border?
In order to tell this global story of power, violence, innovation, and contestation, I rely on the sometimes-uneasy mix between law and anthropology. It’s a slow and trauma-informed ethnographic methodology, one which requires years of being present to begin unravelling the strands of power and privilege, story and memory that makes up the spaces where people’s lives unfold.
Technology replicates power structures in society. Unfortunately, the viewpoints of those most affected are routinely excluded from the discussion. We also need to recognize that the use of technology is never neutral. It is a political exercise which highlights how the allure of quick fixes and the hubris of innovation does not address the systemic and historical reasons why people are marginalized and why they are forced to migrate in the first place.
PM: Το να δοκιμάσει κανείς να τεκμηριώσει τέτοια συστήματα τεχνολογικής καταπίεσης είναι από μόνο του μια επικίνδυνη επιχείρηση, σημαίνει να δοκιμάσει να αποκαλύψει σκοτεινές αποφάσεις, κρυφούς “παίκτες” του ιδιωτικού τομέα και να είναι μάρτυρας των φριχτών συνθηκών στα σύνορα, οι οποίες δοκιμάζουν την κοινή μας ανθρώπινη υπόσταση. Επίσης, σχετίζεται με το να θέτει κανείς ευρύτερα ερωτήματα. Το πλαίσιο των ανθρωπίνων δικαιωμάτων είναι επαρκές ή ακόμα και αυτό τείνει να αποσιωπά τη συστημική και συλλογική φύση αυτών των κινδύνων; Και εμείς κάνουμε αρκετά για να δώσουμε χώρο σε έναν διάλογο σχετικό με την κατάργηση της τεχνολογίας, που χρησιμοποιείται στα σύνορα;
Για να ειπωθεί αυτή η παγκόσμια ιστορία εξουσίας, βίας, καινοτομίας και αμφισβήτησης, βασίζομαι στον κάποιες φορές όχι απλό συνδυασμό νόμου και ανθρωπολογίας. Πρόκειται για μια αργή και τραυματική εθνογραφική μεθοδολογία, η οποία προϋποθέτει χρόνια παρουσία, ώστε να αρχίσει να αποκαλύπτεται ο κύκλος εξουσίας και προνομίων, ιστορίας και μνήμης, που συνθέτει τους τόπους, όπου εκτυλίσσονται οι ζωές των ανθρώπων.
Η τεχνολογία αναπαράγει τις δομές εξουσίας της κοινωνίας. Δυστυχώς, η οπτική εκείνων που πλήττονται κατά κύριο λόγο μένει συστηματικά εκτός της συζήτησης. Πρέπει επίσης να αναγνωρίσουμε ότι η χρήση της τεχνολογίας δεν είναι ποτέ ουδέτερη. Αποτελεί πολιτική πρακτική, που αποδεικνύει πως η γοητεία των γρήγορων διορθώσεων και η αλαζονεία της καινοτομίας δεν κάνουν αναφορά στους συστημικούς και ιστορικούς λόγους, για τους οποίους τα άτομα περιθωριοποιούνται και αναγκάζονται να μεταναστεύσουν εξ αρχής.
FN: Πώς μπορούμε να αντισταθούμε;
PM: At the Refugee Law Lab, we are trying to both shine a light on the human rights abuses in the use of technology at the border, as well as to look at technical solutions to these complex problems.
One of the main issues is that little to no regulation exists to govern the development of high-risk border tech. When things go wrong with these high risk experiments, where does responsibility and liability lie – with the designer of the technology, its coder, the immigration officer, or the algorithm itself? Should algorithms have legal personality in a court of law, not unlike a corporation? It is paramount that we begin to answer these questions, since much of the decision-making related to immigration and refugee decisions already sits at an uncomfortable legal nexus: the impact on the rights of individuals is significant and life-changing, even where procedural safeguards are weak.
The EU’s proposed AI Act is a promising step as it will be the first regional attempt in the world to regulate AI. However currently the act does not go far enough to adequately protect people-on-the-move. A moratorium or a ban on high-risk border technologies, like robo-dogs, AI lie detectors, and predictive analytics used for border interdictions is a necessary step in the global conversation. Academia also plays an important role in legitimizing high risk experimental technologies. We also need more transparency and accountability around border tech experiments, and people with lived experiences of migration must be foregrounded in any discussions.
Because in the end, it is not really about technology. What we are talking about is power – and the power differentials between actors like states and the private sector who decide on experimental projects, and the communities who become the testing grounds in this high-risk laboratory. For example, whose priorities really matter when we choose to create violent sound cannons or AI-powered lie detectors at the border instead of using AI to identify racist border guards?
PM: Στο Εργαστήριο Προσφυγικού Δικαίου (Refugee Law Lab ) προσπαθούμε να φέρουμε στην επιφάνεια τις καταπατήσεις των ανθρωπίνων δικαιωμάτων εξαιτίας της χρήσης της τεχνολογίας στα σύνορα, καθώς επίσης και να βρούμε τεχνολογικές λύσεις σε αυτά τα περίπλοκα προβλήματα.
Ένα από τα πρωτεύοντα προβλήματα είναι ότι οι κανόνες για την ανάπτυξη της τεχνολογίας υψηλού ρίσκου στα σύνορα είναι λίγοι ή ανύπαρκτοι. Όταν αυτοί οι πειραματισμοί υψηλού ρίσκου δεν πάνε καλά, ποιανού είναι η ευθύνη; Αυτού που έχει σχεδιάσει την τεχνολογία, του προγραμματιστή, του υπαλλήλου της υπηρεσίας μετάναστευσης ή του ίδιου του αλγόριθμου; Οι αλγόριθμοι θα πρέπει να φέρουν νομική υπόσταση στο δικαστήριο, όπως μια εταιρεία; Είναι ζωτικής σημασίας να αρχίσουν να δίνονται απαντήσεις σε αυτές τις ερωτήσεις, καθώς πολλές από τις διαδικασίες λήψης αποφάσεων σχετικά με τη μετανάστευση και με τους πρόσφυγες βασίζονται ήδη σε μια άβολη νομική σχέση: ο αντίκτυπος στα ανθρώπινα δικαιώματα των ατόμων είναι σημαντική και αλλάζει ζωές, ακόμα και οπουδήποτε υπάρχουν αδύναμες διαδικαστικές εγγυήσεις.
Το νομοθέτημα πάνω στην τεχνητή νοημοσύνη, που προτάθηκε από την ΕΕ, είναι ένα υποσχόμενο βήμα, καθώς θα αποτελούσε την πρώτη απόπειρα διεθνώς να τεθεί ένα κανονιστικό πλαίσιο σε περιφερειακό επίπεδο όσoν αφορά την τεχνητή νοημοσύνη. Ωστόσο, στην παρούσα φάση το νομοθέτημα δεν προχωρά αρκετά, ώστε να προστατεύσει επαρκώς τα άτομα σε κίνηση. Ένας περιορισμός ή μια απαγόρευση στις τεχνολογίες υψηλού ρίσκου στα σύνορα, όπως για παράδειγμα οι σκύλοι-ρομπότ, οι ανιχνευτές ψεύδους τεχνητής νοημοσύνης και οι προγνωστικές αναλύσεις, που χρησιμοποιούνται για κλείσιμο των συνόρων, είναι ένα υποχρεωτικό βήμα στη συζήτηση που διεξάγεται διεθνώς. Επίσης, η ακαδημαϊκή κοινότητα διαδραματίζει σημαντικό ρόλο στην νομιμοποίηση των πειραματικών τεχνολογιών υψηλού ρίσκου. Χρειάζεται συνολικά μεγαλύτερη διαφάνεια και υπευθυνότητα, όσον αφορά τους τεχνολογικούς πειραματισμούς στα σύνορα, και, όποιος έχει βιώσει τέτοιες μεταναστευτικές εμπειρίες, θα πρέπει να τεθεί σε πρώτο πλάνο σε κάθε συζήτηση.
Γιατί σε τελική ανάλυση το πραγματικό πρόβλημα δεν είναι η τεχνολογία. Μιλάμε για εξουσία και για τις διαφορές της εξουσίας μεταξύ διαφόρων παραγόντων όπως τα Κράτη αλλά και ο ιδιωτικός τομέας, που λαμβάνουν αποφάσεις σχετικά με τα πειραματικά εγχειρήματα και τις κοινότητες, οι οποίες γίνονται το πεδίο δοκιμών σε αυτό το εργαστήριο υψηλού ρίσκου. Για παράδειγμα, ποιες προτεραιότητες έχουν στην πραγματικότητα σημασία, όταν επιλέγουμε να κατασκευάσουμε βίαια ηχητικά όπλα ή ανιχνευτές ψεύδους τεχνητής νοημοσύνης στα σύνορα αντί να αξιοποιούμε την τεχνητή νοημοσύνη για να εντοπίζουμε ρατσιστές συνοριοφύλακες;
Ακολουθεί βίντεο από τη συζήτηση, που διοργανώθηκε από το Disruption Network Lab, όπου η Molnar εκφράζει τη δική της οπτική στο θέμα της τεχνολογίας και των δικαιωμάτων των προσφύγων:
