Roman GłogulskiOprogramowanie uczenia maszynowego zostało połączone z żywym nagraniem z kamer CCTV, aby wykrywać agresywne zachowanie, obecność broni, ludzi wpadających na tory lub unikających opłat za przejazd. W okresie od października 2022 do końca września 2023 roku, Transport for London (TfL), operator londyńskiego systemu metra i autobusów, przetestował 11 algorytmów monitorujących osoby przechodzące przez stację metra Willesden Green, na północnym zachodzie miasta. Test koncepcji jest pierwszym tego rodzaju działaniem, w którym korzystano z połączenia sztucznej inteligencji i żywego nagrania wideo w celu generowania alertów, które są wysyłane do personelu stacji. W trakcie testu wydano ponad 44 000 alertów, z czego 19 000 trafiło w czasie rzeczywistym do personelu stacji.
Według dokumentów udostępnionych WIRED na podstawie wniosku z ustawy o prawie do informacji, TfL użył szerokiej gamy algorytmów widzenia komputerowego do śledzenia zachowań osób na stacji. Jest to pierwszy raz, gdy szczegóły tego eksperymentu zostały opisane, a po ogłoszeniach TfL w grudniu, że poszerzy zastosowanie AI w celu wykrywania uchylania się od opłat na więcej stacji w Londynie.
Podczas testów na stacji Willesden Green, która przed pandemią Covid-19 przyciągała dziennie 25 000 pasażerów, system AI był skonfigurowany tak, aby wykrywał potencjalne incydenty bezpieczeństwa i umożliwiał personelowi pomoc potrzebującym osobom. Zwracał jednak także uwagę na zachowania przestępcze i aspołeczne. Trzy dokumenty dostarczone WIRED szczegółowo opisują, w jaki sposób modele AI były używane do wykrywania wózków inwalidzkich, wózków dziecięcych, vapingu, dostępu osób do niedozwolonych obszarów lub narażenia się na niebezpieczeństwo, zbliżania się do krawędzi peronów.
Dokumenty, które są częściowo zatarte, pokazują także, że system AI popełnił błędy podczas testów, takie jak traktowanie dzieci, które podążały za rodzicami przez bramki biletowe, jako potencjalne osoby uchylające się od opłat; lub niezdolność do rozróżnienia roweru składanego od nieskładanego. Policjanci również pomogli w przeprowadzeniu testu, trzymając maczetę i broń w zasięgu kamer CCTV, podczas gdy stacja była zamknięta, aby pomóc systemowi w lepszym wykrywaniu broni.
Eksperci ds. prywatności, którzy przestudiowali dokumenty, kwestionują dokładność algorytmów do wykrywania obiektów. Twierdzą również, że nie jest jasne, ile osób wiedziało o tym eksperymencie i ostrzegają, że takie systemy monitoringu mogą w przyszłości łatwo zostać rozbudowane o bardziej zaawansowane systemy wykrywania lub oprogramowanie rozpoznawania twarzy, które próbuje identyfikować konkretne osoby. „Chociaż ten eksperyment nie obejmował rozpoznawania twarzy, używanie sztucznej inteligencji w przestrzeni publicznej do identyfikowania zachowań, analizy mowy ciała i wnioskowania o chronionych cechach, stawia wiele tych samych naukowych, etycznych, prawnych i społecznych pytań, które zadawane są przez technologie rozpoznawania twarzy” – mówi Michael Birtwistle, dyrektor ds. badań w niezależnym instytucie badawczym Ada Lovelace Institute.
Transport for London nie odpowiedział na prośbę WIRED o komentarz przed opublikowaniem artykułu. Jednak w odpowiedzi na wniosek o informacje publiczne, TfL twierdzi, że korzystał z istniejących nagranych wideo z kamer CCTV, algorytmów AI i „licznych modeli wykrywania” w celu analizy wzorców zachowań. „Dostarczając personelowi stacji informacje i powiadomienia na temat ruchu i zachowań klientów, będziemy mieć nadzieję, że będą w stanie szybciej reagować na różne sytuacje” – napisano w odpowiedzi. Raport TfL dotyczący testu twierdzi także, że eksperyment dostarczył informacji na temat uchylania się od opłat, co „pomoże nam w naszych przyszłych podejściach i interwencjach”, a zebrane dane są zgodne z politykami TfL dotyczącymi informacji.
Systemy percepcji komputerowej, takie jak wykorzystane w teście, działają poprzez próbę wykrycia obiektów i osób na zdjęciach i wideo. Podczas eksperymentu w Londynie, algorytmy szkolone do wykrywania określonych zachowań lub ruchów zostały połączone z nagraniami z 20-letnich kamer CCTV na stacji metra – analizując obrazy co dziesiątą sekundę. Gdy system wykrył jedno z 11 zachowań lub wydarzeń uznanych za problematyczne, wysyłał alert na iPady personelu stacji lub komputer. Personel TfL otrzymał 19 000 alertów do ewentualnego podjęcia działań i kolejne 25 000 zabezpieczono w celach analizy, wynika z dokumentów dostarczonych WIRED.
Kategorie, które system próbował zidentyfikować, to: ruch tłumu, nieautoryzowany dostęp, zapewnienie bezpieczeństwa, pomoc w mobilności, przestępstwa i zachowania aspołeczne, osoba na torach, ranni lub źle się czujący ludzie, zagrożenia takie jak śmieci czy mokre podłogi, pozostawione przedmioty, klienci bez pomocy, uchylanie się od opłat. Każda z tych kategorii ma kilka podkategorii.
Daniel Leufer, starszy analityk polityk w grupie praw cyfrowych Access Now, mówi, że gdy widzi system monitorujący, pierwsze, na co zwraca uwagę, to czy próbuje wykryć agresję lub przestępstwa. „Kamery będą próbowały to zrobić, identyfikując mowę ciała i zachowanie” – mówi. „Jakie dane treningowe trzeba by mieć, aby coś takiego wypracować?”. Raport TfL na temat eksperymentu mówi, że „chcieli uwzględnić akty agresji”, ale okazało się, że „nie są w stanie ich skutecznie wykryć”. Podano także brak wystarczających danych treningowych – inne przyczyny nie uwzględnienia aktów agresji zostały zatarte. Zamiast tego, system wydawał alert, gdy ktoś podnosił ręce, opisane jako „powszechne zachowanie powiązane z aktami agresji” w dokumentach. WIRED otrzymał ogółem 66 alertów dotyczących agresywnego zachowania, w tym danych testowych, zgodnie z dokumentami.
Madeleine Stone, starszy urzędnik ds. promocji w grupie Big Brother Watch, powiedziała, że wielu podróżnych metrem będzie „zaniepokojonych” dowiedzeniem się, że służby poddały ludzi monitorowaniu przy użyciu sztucznej inteligencji. Stone twierdzi, że używanie algorytmu do określania, czy ktoś jest
FAQ:
1. Jakie algorytmy zostały użyte podczas testu na stacji metra Willesden Green?
Podczas testu użyto szerokiej gamy algorytmów widzenia komputerowego do śledzenia zachowań osób na stacji.
2. Jakie incydenty były monitorowane przez system AI?
System AI monitorował potencjalne incydenty bezpieczeństwa, w tym agresywne zachowanie, obecność broni, ludzi wpadających na tory lub unikających opłat za przejazd.
3. Jakie błędy popełnił system podczas testów?
System popełnił błędy, takie jak traktowanie dzieci, które podążały za rodzicami przez bramki biletowe, jako potencjalne osoby uchylające się od opłat, lub niezdolność do rozróżnienia roweru składanego od nieskładanego.
4. Jakie były główne cele testu?
Głównymi celami testu było wykrywanie problematycznego zachowania oraz udzielanie pomocy potrzebującym osobom. Test miał również dostarczyć informacji na temat uchylania się od opłat.
5. Jakie kategorie próbował zidentyfikować system?
System próbował zidentyfikować takie kategorie jak ruch tłumu, nieautoryzowany dostęp, zapewnienie bezpieczeństwa, pomoc w mobilności, przestępstwa i zachowania aspołeczne, osoba na torach, ranni lub źle się czujący ludzie, zagrożenia takie jak śmieci czy mokre podłogi, pozostawione przedmioty, klienci bez pomocy oraz uchylanie się od opłat.
6. Jakie są obawy dotyczące tego rodzaju monitoringu?
Eksperci ds. prywatności wyrażają obawy dotyczące dokładności algorytmów do wykrywania obiektów oraz możliwości rozbudowania takiego systemu o bardziej zaawansowane technologie, takie jak rozpoznawanie twarzy.
7. Czy Transport for London odpowiedział na prośbę o komentarz?
Transport for London nie odpowiedział na prośbę o komentarz przed opublikowaniem artykułu.
8. Jak działają systemy percepcji komputerowej?
Systemy percepcji komputerowej działają poprzez próbę wykrycia obiektów i osób na zdjęciach i wideo.
9. Czy systemy monitoringu wykryły akty agresji?
Systemy monitoringu nie były w stanie skutecznie wykrywać aktów agresji, jednak wysyłały alert na iPady personelu stacji, gdy ktoś podnosił ręce, co zostało opisane jako „powszechne zachowanie powiązane z aktami agresji”.
10. Jakie są reakcje na monitorowanie przy użyciu sztucznej inteligencji?
Niektórzy podróżni metrem mogą być zaniepokojeni informacją, że są monitorowani przy użyciu sztucznej inteligencji.
Key terms/jargon:
– Oprogramowanie uczenia maszynowego (Machine learning software)
– Kamer CCTV (CCTV cameras)
– Algorytmy monitorujące (Monitoring algorithms)
– Szczegóły tego eksperymentu (Details of this experiment)
– Uchylenie się od opłat (Evasion of fares)
– Sztuczna inteligencja (Artificial intelligence)
– Monitorowanie obiektów (Object monitoring)
– Wykrywanie obiektów (Object detection)
– Wykrywanie aktów agresji (Detection of aggressive acts)
– Systemy percepcji komputerowej (Computer vision systems)
– Dowiedzieć się, że służby poddały ludzi monitorowaniu (Learn that people are being monitored)
– Raport TfL dotyczący testu (TfL test report)
– Algorytmy do wykrywania obiektów (Object detection algorithms)
– Technologie rozpoznawania twarzy (Facial recognition technologies)
– Prywatność (Privacy)
