WIRED에서 입수한 문서에 따르면, 런던 지하철 이용자들 중 수천 명이 인공지능 소프트웨어를 사용하여 범죄 및 위험 상황을 감지하는 동안 모니터링되었습니다. 기계 학습 소프트웨어는 실시간 CCTV 영상과 연결되어 공격적인 행동, 무기의 존재, 추적 침입자 또는 요금 미납자를 감지했습니다. 2022년 10월부터 2023년 9월까지 런던 지하철 및 버스 운영자인 Transport for London (TfL)은 런던 시내 북서부에 위치한 Willesden Green 역을 통과하는 개인들을 모니터링하기 위해 11개 알고리즘을 실험적으로 테스트했습니다. 이 개념 실험은 인공지능과 실시간 비디오 영상의 조합을 사용하여 역 직원에게 알림을 보내는 첫 번째 시도였습니다. 이 실험에서는 총 44,000개 이상의 알림이 발생했으며, 그 중 19,000개가 실시간으로 역 직원에게 전송되었습니다.
WIRED가 입수한 문서에 따르면, TfL은 해당 역에서 사람들의 행동을 추적하기 위해 다양한 컴퓨터 비전 알고리즘을 사용했습니다. TfL은 12월에 AI를 더 확대해서 런던의 다른 역에서 요금 미납을 탐지하는데 사용한다는 발표 이후, 이 실험의 세부 내용을 처음으로 공개했습니다.
Covid-19 팬데믹 이전, Willesden Green 역은 하루에 25,000명의 승객을 유치했습니다. 이 실험에서 AI 시스템은 잠재적인 보안 사고를 감지하고 도움을 필요로 하는 사람들에게 지원을 제공하는 것으로 설정되었지만, 동시에 범죄 및 반사회적인 행동에도 주목했습니다. WIRED에 제공된 문서들은 AI 모델이 휠체어, 유모차, 전자담배, 제한된 지역에 불법적으로 접근하거나 플랫폼 가장자리에 가까이 있는 사람들을 감지하기 위해 사용되었다는 내용을 상세히 설명하고 있습니다.
부분적으로 삭제된 문서들은 실험 중에도 AI 시스템이 오류를 범했다는 것을 보여줍니다. 예를 들어, 부모와 함께 티켓 게이트를 통과하는 어린이를 요금 미납자로 오해하는 경우, 접는 자전거와 접지 않는 자전거를 구별하지 못하는 경우 등입니다. 또한 경찰관들은 역이 폐쇄된 상태에서 CCTV 카메라의 범위 내에 칼과 무기를 소지하여 시스템이 무기를 더 잘 감지할 수 있도록 도왔습니다.
문서를 검토한 개인정보 전문가들은 물체 감지 알고리즘의 정확성을 의심합니다. 그들은 또한 이 실험에 대해 얼마나 많은 사람들이 인식했는지에 대한 우려를 표명하며, 이러한 모니터링 시스템이 더 발전한 탐지 시스템이나 얼굴 인식 소프트웨어를 포함하도록 쉽게 확장될 수 있으며, 이는 특정 개인을 식별하려고 시도할 수 있다고 경고합니다. “이 실험은 얼굴 인식을 포함하지 않았지만, 공공장소에서 인공지능을 사용하여 행동을 식별하고 신체 언어를 분석하며 개인의 보호되는 특성을 추측하는 것은 얼굴 인식 기술과 많은 공학적, 윤리적, 법적, 사회적 질문을 동시에 제기합니다.”라고 독립 연구 기관인 에이다 러블레이스 연구소의 연구 부장인 마이클 버트위슬은 말합니다.
WIRED는 출판 전에 TfL로부터의 응답을 받지 못했습니다. 그러나 정보 자유 요청에 대한 응답으로 TfL은 기존의 녹화된 CCTV 비디오, AI 알고리즘 및 “다양한 탐지 모델”을 사용하여 행동 패턴을 분석했다고 주장합니다. 응답은 “고객의 이동 및 행동에 대한 정보 및 통지를 제공함으로써 역 직원이 다양한 상황에 더 빨리 대응할 수 있기를 바라며” 실험이 요금 미납에 대한 정보를 제공했으며, “이는 우리의 미래적 접근 및 개입에 도움이 될 것입니다”라고 말하고 있습니다. 또한 TfL의 실험에 대한 보고서는 수집된 데이터가 TfL의 정보 정책과 일치한다고 주장합니다.
실험에서 사용된 컴퓨터 비전 시스템은 이미지와 동영상에서 물체와 사람을 감지하려는 방식으로 작동합니다. 런던 실험에서는 특정 행동이나 움직임을 감지하기 위해 학습된 알고리즘을 20년 된 CCTV 카메라의 영상과 결합하여 10초마다 이미지를 분석했습니다. 시스템이 11개의 문제 행동이나 사건 중 하나를 감지하면, 알림이 역 직원의 아이패드나 컴퓨터로 전송되었습니다. WIRED에 제공된 문서에 따르면, TfL 직원들은 잠재적인 조치에 대해 19,000개의 알림을 받았으며, 추가적으로 25,000개의 알림을 분석을 위해 보관했습니다.
시스템이 탐지하려고 시도한 카테고리에는 군중 이동, 불법 접근, 보안 제공, 이동 지원, 범죄 및 반사회적인 행동, 플랫폼에 있는 개인, 부상당한 사람 또는 아픈 사람, 쓰레기 또는 젖은 바닥과 같은 위험 요소, 유실물, 지원되지 않은 고객, 요금 미납이 포함되었습니다. 각 카테고리는 여러 개의 하위 카테고리를 가지고 있었습니다.
디지털 권리 단체인 Access Now의 고위 정책 분석가인 다니엘 로이퍼는 모니터링 시스템을 볼 때 첫 번째로 주목하는 것은 폭력 행위나 범죄를 감지하려는지 여부입니다. “카메라는 그것을 신체 언어와 행동을 식별하여 시도할 것입니다.”라고 그는 말했습니다. TfL의 실험에 관한 보고서는 TfL이 “폭력 행위를 고려하려고 했으나 효과적으로 감지하지 못했다”고 말하고 있으며, 추가로 충분한 훈련 데이터의 부재를 다른 이유로 지적하고 있습니다. 대신, 시스템은 “사람이 손을 들 때”라고 기술된 “폭력 행위와 관련된 일반적인 행동”이 발생할 때 알림을 발생시킵니다. WIRED는 문서에 따르면, 테스트 데이터를 포함하여 총 66건의 폭력 행위에 관련된 알림을 받았습니다.
Big Brother Watch 그룹의 고위 대변인 매들린 스톤은 많은 지하철 이용객들이 인공지능을 사용하여 모니터링되었다는 것을 알게 되어 “불안”할 것이라고 말했습니다. 스톤은 알고리즘을 사용하여 누군가에게 판단을 내리는 것은 어렵다고 주장했습니다. Rather than trying to identify aggression or crimes, the systems will attempt to do so by identifying body language and behavior, “What kind of training data do you need to achieve that?” TfL’s report on the experiment states that they “wanted to account for acts of aggression” but found that they “couldn’t effectively detect them.” 이 경향은 앞으로 확대될 가능성이 있다고 경고합니다.
The source of the article is from the blog oinegro.com.br