Adolescent interpellé par la police après qu’un détecteur d’armes à IA ait confondu un sachet de Doritos avec un gun

Un adolescent de Baltimore a failli être arrêté par la police après que son sac de Doritos ait été détecté comme une arme par un système d’IA, dans une affaire qui met en lumière les limites parfois criantes de la technologie de sécurité automatisée. Selon une information de WBAL-TV 11, le jeune Taki Allen, revenu de son entraînement de football, était assis à l’extérieur de son lycée, Kenwood High School, avec des amis, quand une dizaine de voitures de police se sont soudainement garées devant lui. « Il y avait environ huit voitures de police qui arrivaient. Au début, je ne savais pas à qui elles étaient destinées, jusqu’à ce qu’elles se dirigent vers moi avec leurs armes, en criant : “À terre !”, raconte Allen. J’étais complètement perdu. Je me suis dit : “Qu’est-ce que j’ai fait ?” » Les agents l’ont fait s’agenouiller, lui ont placé les mains derrière le dos et l’ont menotté. Après une fouille minutieuse, ils ont découvert qu’il ne portait aucune arme. Ensuite, ils ont trouvé un sachet de chips froissé par terre, près de l’endroit où il était assis. « Ils m’ont montré une photo et m’ont dit que ça ressemblait à une arme. J’ai répondu : “Non, c’est juste des chips.” » Le jeune homme a ajouté qu’en cet instant, son principal souci était de savoir s’il allait être tué. « J’ai pensé : “Est-ce qu’ils vont me tuer ?” » La direction de l’école a confirmé avoir reçu une alerte vers 19 heures indiquant la présence d’une arme sur le campus. Le service de sécurité scolaire a rapidement annulé l’alerte après vérification. Le responsable de la sécurité scolaire a alors contacté le policier affecté au lycée, qui a appelé la brigade locale. Les forces de l’ordre sont arrivées, ont fouillé le jeune homme, et ont rapidement constaté qu’il ne portait rien d’interdit. Bien que ni la police ni l’école n’aient confirmé officiellement que le sac de Doritos était à l’origine de l’alerte, elles n’ont pas non plus nié cette piste. Le système en cause est celui de la société Omnilert, une entreprise spécialisée dans les solutions d’IA pour la prévention des fusillades dans les écoles. Ce logiciel, déployé dans les établissements du comté de Baltimore depuis l’an dernier, analyse en temps réel les images captées par les caméras afin de détecter des objets suspects, comme des armes à feu. Sur son site internet, Omnilert affirme proposer une solution d’IA capable de détecter des armes dans les écoles. Pourtant, cette affaire soulève des questions sérieuses sur la fiabilité de ces systèmes, particulièrement lorsqu’ils peuvent confondre un sachet de chips froissé avec une arme. Gizmodo a tenté de contacter à la fois l’école et la police de Baltimore pour obtenir des commentaires, mais sans réponse pour l’instant. Ce cas illustre à quel point les technologies d’IA, même lorsqu’elles sont présentées comme des outils de sécurité, peuvent avoir des conséquences dramatiques lorsqu’elles échouent à comprendre le contexte. L’incident rappelle que la confiance aveugle dans la technologie, sans surveillance humaine adéquate, peut mener à des erreurs coûteuses, voire traumatisantes, pour les individus concernés.