« Awful AI », quand l'IA dépasse les limites

Awful AI est un référentiel ouvert qui rassemble des exemples concrets de technologies d’intelligence artificielle qui font le pire. Des cas tels que la surveillance excessive, les décisions injustes ou les systèmes qui traitent certaines personnes plus mal que d’autres.
L’idée est simple : montrer ce qui ne va pas pour éviter que cela ne continue.

Le problème : des machines qui prennent des décisions à l'insu des gens

De plus en plus, les écoles, les entreprises, les hôpitaux, les forces de police, les banques et même les réseaux sociaux ont recours à l'intelligence artificielle dans leurs prises de décision.
Le problème ? La plupart du temps, les gens ne savent pas que cela se produit.

Par exemple, les IA de reconnaissance faciale ou les systèmes prédictifs en matière de justice pénale peuvent présenter des biais raciaux ou de genre. Lorsque le code et les données sont fermés, il n’y a aucun moyen de les contrôler, de les contester ou d’y remédier. Cela équivaut à une nouvelle forme de « gouvernement par algorithme » — des décisions automatiques qui régissent la vie.

Pourquoi cela se produit-il ?

Bon nombre de ces technologies sont créées par des entreprises qui ne divulguent pas leur code, ne communiquent pas leurs données et n’expliquent pas comment les décisions sont prises.
D’autres sont achetées par des institutions publiques ou privées sous forme de « boîtes noires » : elles fonctionnent… mais personne ne peut voir ce qu’il y a à l’intérieur.

Et quels en sont les impacts ?

Les problèmes ne sont pas théoriques, ils se posent au quotidien :

• Injustice : systèmes qui traitent certaines personnes plus mal que d’autres (en raison de leur genre, de leur quartier, de leur couleur de peau ou de leur accent).

• Perte d’opportunités : des algorithmes qui refusent l’accès au crédit, à l’assurance ou à l’emploi.

• Surveillance : des caméras qui suivent les gens sans raison.

• Stress et confusion : avoir le sentiment que « quelque chose » décide à notre place, sans que nous sachions comment. C’est comme vivre dans un endroit où il y a des règles, mais où personne ne dit lesquelles.

Les groupes déjà marginalisés en subissent les pires conséquences : les biais algorithmiques transforment les inégalités en décisions automatiques.
L’opacité n’est pas neutre ; elle perpétue des injustices qui existaient déjà.

Que fait Awful AI ?

Awful AI n’est pas un « outil magique », mais sert d’infrastructure de visibilité et de débat — un référentiel ouvert, exempt de préjugés commerciaux, qui documente et dénonce les abus de l’IA. Cela est déjà important en soi : cela rend visible ce qui est habituellement dissimulé. La transparence est la première étape vers la responsabilisation.

Le fait qu’elle soit ouverte signifie que n’importe qui — chercheur, journaliste, militant — peut consulter la liste, examiner les cas, relayer les signalements, mener des études, faire pression sur les institutions. Cela donne du pouvoir aux communautés en marge du noyau corporativo-technologique.

De plus, Awful AI s’inscrit dans ce que les auteurs appellent la « contestational tech » — c’est-à-dire les technologies de contestation, de résistance : puisque le problème existe, il est urgent d’envisager des contre-pouvoirs. Bien que le référentiel ne fournisse pas en soi un système alternatif prêt à l’emploi, il sert de base de connaissances critique, de point de départ pour ceux qui souhaitent imaginer des IA justes, réglementées, vérifiables et au service du bien commun.

Cette fonction est essentielle : démythifier le caractère prétendument inévitable de l'IA, réaffirmer que les technologies relèvent de choix sociaux et politiques et dépendent de décisions éthiques.

En quoi cela aide-t-il ceux qui développent des technologies civiques au Portugal ?

Bien qu’Awful AI ne soit pas d’origine portugaise — et que les cas documentés proviennent souvent des États-Unis, d’Europe ou de l’hémisphère nord —, son rôle d’infrastructure critique est précieux dans tout contexte où l’IA et l’automatisation prennent de l’ampleur.

Au Portugal, comme dans toute l’Europe, des initiatives publiques et privées commencent à adopter des systèmes automatisés : reconnaissance faciale, décisions administratives soumises à des algorithmes, analyse à grande échelle des données à caractère personnel. Sans surveillance, sans débat et sans alternatives, nous risquons de reproduire les mêmes abus : ségrégation, opacité, discrimination algorithmique et surveillance de masse.

Pour ceux qui défendent les logiciels libres, les données ouvertes et la gouvernance ouverte, Awful AI constitue un outil précieux de sensibilisation, de documentation et de mobilisation.

Une technologie à laquelle on peut faire confiance, car on peut voir comment elle fonctionne

Le référentiel nous aide à comprendre qu’il existe de meilleures voies :

• logiciels libres : nous pouvons consulter et contribuer au code

• des données ouvertes et bien documentées : nous savons d’où proviennent les décisions

• outils communautaires : conçus pour aider, pas pour surveiller

• technologie « low-tech » ou hybride : simple, mais transparente

• des processus ouverts à la révision et à la correction.

L'opacité n'est pas neutre ; elle perpétue des injustices qui existaient déjà

Liens

daviddao/awful-ai : Awful AI - Édition 2021 (DOI 10.5281/zenodo.5855971)