Awful AI, quand l'IA dépasse les limites

Awful AI est un référentiel ouvert qui rassemble des exemples réels de technologies d'intelligence artificielle qui font le pire. Des choses comme une surveillance excessive, des décisions injustes ou des systèmes qui traitent certaines personnes plus mal que d'autres.
L'idée est simple : montrer ce qui ne va pas afin d'éviter que cela ne se reproduise.

Le problème : des machines qui décident sans que les gens le sachent.

De plus en plus, les écoles, les entreprises, les hôpitaux, les forces de police, les banques et même les réseaux sociaux utilisent l'intelligence artificielle dans leurs décisions.
Le problème ? La plupart du temps, les gens ne savent pas que cela se produit.

Par exemple, les IA de reconnaissance faciale ou les systèmes prédictifs de justice pénale peuvent présenter des biais raciaux ou sexistes. Lorsque le code et les données sont fermés, il n'y a aucun moyen de les contrôler, de les contester ou de les corriger. Cela équivaut à une nouvelle forme de «gouvernance par algorithme »: des décisions automatiques qui régissent la vie.

Pourquoi cela se produit-il ?

Beaucoup de ces technologies sont créées par des entreprises qui ne montrent pas le code, ne montrent pas les données et n'expliquent pas comment les décisions sont prises.
D'autres sont achetées par des institutions publiques ou privées comme des « boîtes noires » : elles fonctionnent... mais personne ne peut voir ce qu'il y a à l'intérieur.

Et quels sont les impacts ?

Les problèmes ne sont pas théoriques, ils se produisent au quotidien :

• Injustice : systèmes qui traitent certaines personnes de manière défavorable (en raison de leur sexe, quartier, couleur de peau, accent).

• Perte d'opportunités : algorithmes qui refusent l'accès au crédit, à l'assurance ou à l'emploi.

• Surveillance : caméras qui suivent les gens sans raison.

• Stress et confusion : avoir le sentiment que « quelque chose » décide à notre place, sans que nous sachions comment. C'est comme vivre dans un endroit où il y a des règles, mais où personne ne nous dit lesquelles.

Les groupes déjà marginalisés subissent les pires effets : les biais algorithmiques transforment les inégalités en décisions automatiques.
L'opacité n'est pas neutre ; elle prolonge les injustices qui existaient déjà.

Que fait Awful AI ?

Awful AI n'est pas un « outil magique », mais agit comme une infrastructure de visibilité et de débat — un référentiel ouvert, libre de tout préjugé commercial, qui documente et dénonce les abus de l'IA. Cela est déjà important en soi : cela rend visible ce qui est généralement camouflé. La transparence est la première étape vers la responsabilisation.

Le fait qu'il soit ouvert signifie que n'importe qui — chercheur, journaliste, activiste — peut consulter la liste, examiner les cas, reproduire les plaintes, mener des études, faire pression sur les institutions. Cela donne du pouvoir aux communautés en dehors du noyau corporatif-technologique.

De plus, Awful AI inspire ce que les auteurs appellent la « contestational tech », c'est-à-dire les technologies de contestation, de résistance : puisque le problème existe, il est urgent de réfléchir à des contre-forces. Bien que le référentiel ne fournisse pas en soi un système alternatif prêt à l'emploi, il sert de base de connaissances critiques, de point de départ pour ceux qui veulent imaginer des IA justes, réglementées, vérifiables et alignées sur le bien commun.

Cette fonction est essentielle : dénaturaliser le caractère prétendument inévitable de l'IA, réaffirmer que les technologies sont des choix sociaux et politiques et dépendent de décisions éthiques.

Comment cela aide-t-il ceux qui créent des technologies civiques au Portugal ?

Bien qu'Awful AI ne soit pas portugais — et que les cas documentés proviennent souvent des États-Unis, d'Europe ou du nord global — son rôle d'infrastructure critique est précieux dans tout contexte où l'IA et l'automatisation sont en augmentation.

Au Portugal, comme dans toute l'Europe, les initiatives publiques et privées commencent à adopter des systèmes automatisés : reconnaissance faciale, décisions administratives soumises à des algorithmes, analyse de données personnelles à grande échelle. Sans surveillance, débat et alternatives, nous allons répéter les mêmes abus : ségrégation, opacité, discrimination algorithmique et surveillance de masse.

Pour ceux qui défendent les logiciels libres, les données ouvertes et la gouvernance ouverte, Awful AI est un outil précieux de sensibilisation, de documentation et de mobilisation.

Une technologie à laquelle nous pouvons faire confiance, car nous pouvons voir comment elle fonctionne.

Le référentiel nous aide à comprendre qu'il existe de meilleures voies :

• logiciel libre : nous pouvons voir et contribuer au code

• données ouvertes et bien documentées : nous savons d'où viennent les décisions

• outils communautaires : conçus pour aider, pas pour surveiller

• technologie low-tech ou hybride : simple, mais transparente

• processus acceptant la révision et la correction.

L'opacité n'est pas neutre ; elle prolonge des injustices qui existaient déjà.

Liens

daviddao/awful-ai : Awful AI - Édition 2021 (DOI 10.5281/zenodo.5855971)