Selon des documents obtenus par WIRED, des milliers de personnes utilisant le métro de Londres ont été surveillées à l’aide d’un logiciel d’IA pour détecter les crimes et les situations dangereuses. Un logiciel d’apprentissage automatique a été connecté aux caméras de vidéosurveillance en direct pour détecter les comportements agressifs, la présence d’armes, les personnes qui empruntent les voies ou qui évitent de payer leur billet. De octobre 2022 jusqu’à fin septembre 2023, Transport for London (TfL), l’exploitant du métro de Londres et des bus, a testé onze algorithmes pour surveiller les personnes passant par la station de Willesden Green, au nord-ouest de la ville. Ce test conceptuel est le premier en son genre à utiliser une combinaison d’intelligence artificielle et d’images vidéo en direct pour générer des alertes envoyées au personnel de la station. Le test a donné lieu à plus de 44 000 alertes, dont 19 000 ont été envoyées en temps réel au personnel de la station.
Selon les documents obtenus par WIRED, TfL a utilisé un large éventail d’algorithmes de vision par ordinateur pour suivre le comportement des personnes à la station. C’est la première fois que les détails de cette expérience sont décrits, suite à l’annonce de TfL en décembre selon laquelle il étendrait l’utilisation de l’IA pour détecter la fraude dans d’autres stations de Londres.
Pendant les tests à la station de Willesden Green, qui attirait 25 000 passagers par jour avant la pandémie de Covid-19, le système d’IA était configuré pour détecter les incidents de sécurité potentiels et apporter une assistance aux personnes dans le besoin. Cependant, il était également attentif aux comportements criminels et antisociaux. Trois documents fournis à WIRED détaillent comment les modèles d’IA ont été utilisés pour détecter les fauteuils roulants, les poussettes, le vapotage, l’accès non autorisé aux zones restreintes et la proximité des bords des quais.
Les documents partiellement caviardés montrent également que le système d’IA a commis des erreurs pendant les tests, par exemple en traitant les enfants qui accompagnent leurs parents à travers les tourniquets de billets comme des fraudeurs potentiels, ou en ne parvenant pas à distinguer un vélo pliable d’un vélo non pliable. Des officiers de police ont également aidé au test en tenant des machettes et des armes à portée des caméras de vidéosurveillance tandis que la station était fermée, afin d’aider le système à mieux détecter les armes.
Des experts en matière de vie privée qui ont examiné les documents remettent en question la précision des algorithmes de détection d’objets. Ils soulèvent également des préoccupations quant au nombre de personnes au courant de cette expérience et mettent en garde contre le fait que de tels systèmes de surveillance pourraient facilement être étendus pour inclure des systèmes de détection plus avancés ou des logiciels de reconnaissance faciale qui tentent d’identifier des individus spécifiques. « Bien que cette expérience n’ait pas impliqué la reconnaissance faciale, l’utilisation de l’intelligence artificielle dans les espaces publics pour identifier des comportements, analyser le langage corporel et déduire des caractéristiques protégées soulève bon nombre des mêmes questions scientifiques, éthiques, légales et sociétales que les technologies de reconnaissance faciale », déclare Michael Birtwistle, directeur de la recherche à l’institut de recherche indépendant Ada Lovelace.
Transport for London n’a pas répondu à la demande de commentaire de WIRED avant publication. Cependant, en réponse à une demande d’informations, TfL affirme avoir utilisé des vidéos de vidéosurveillance préenregistrées, des algorithmes d’IA et « de nombreux modèles de détection » pour analyser les comportements. « En fournissant au personnel de la station des informations et des notifications sur les déplacements et le comportement des clients, nous espérons qu’ils pourront réagir plus rapidement à diverses situations », indique la réponse. Le rapport de TfL sur le test affirme également que l’expérience a fourni des informations sur la fraude, ce qui « nous aidera dans nos approches et interventions futures », et que les données collectées sont conformes aux politiques d’information de TfL.
Les systèmes de vision par ordinateur, tels que ceux utilisés dans le test, fonctionnent en essayant de détecter des objets et des personnes dans les images et les vidéos. Pendant l’expérience londonienne, des algorithmes entraînés à détecter des comportements ou des mouvements spécifiques ont été associés à des images provenant de caméras de vidéosurveillance de vingt ans situées dans la station de métro, analysant les images toutes les dix secondes. Lorsque le système détectait l’un des onze comportements ou événements problématiques identifiés, il envoyait une alerte sur les iPads ou les ordinateurs du personnel de la station. Selon les documents fournis à WIRED, le personnel de TfL a reçu 19 000 alertes nécessitant une action potentielle, et 25 000 autres ont été conservées pour analyse.
Les catégories que le système tentait d’identifier comprenaient le mouvement des foules, l’accès non autorisé, la sécurité, l’assistance à la mobilité, les crimes et les comportements antisociaux, les personnes sur les voies, les personnes blessées ou malades, les dangers tels que les déchets ou les sols mouillés, les objets abandonnés, les clients sans assistance et la fraude. Chacune de ces catégories avait plusieurs sous-catégories.
Daniel Leufer, Analyste Principal des Politiques au sein du groupe de défense des droits numériques Access Now, a déclaré que lorsqu’il voit un système de surveillance, la première chose à laquelle il prête attention est de savoir s’il tente de détecter l’agression ou les crimes. « Les caméras essaieront de le faire en identifiant le langage corporel et le comportement », a-t-il déclaré. « De quelles données d’entraînement avez-vous besoin pour y parvenir ? » Le rapport de TfL sur l’expérimentation indique qu’ils « voulaient prendre en compte les actes d’agression », mais ont constaté qu’ils « ne pouvaient pas les détecter efficacement ». Il cite également le manque de données d’entraînement suffisantes comme une autre raison de ne pas inclure les actes d’agression. À la place, le système déclenchait une alerte lorsqu’une personne levait les mains, décrit comme un « comportement courant associé aux actes d’agression » dans les documents. WIRED a reçu un total de 66 alertes relatives à des comportements agressifs, données de test incluses, selon les documents.
Madeleine Stone, responsable de la sensibilisation chez Big Brother Watch, a déclaré que de nombreux voyageurs du métro seront « inquiets » d’apprendre que des personnes ont été surveillées à l’aide de l’intelligence artificielle. Stone soutient que l’utilisation d’un algorithme pour déterminer si quelqu’un
The source of the article is from the blog enp.gr