IA de confiance : enjeux et solutions pour un traitement éthique des données

Les risques liés à l’usage mas­sif de l’intelligence arti­fi­cielle résident essen­tiel­le­ment dans la repro­duc­tion de biais et sté­réo­types humains. Pour créer une IA éthique, les déve­lop­peurs doivent créer by desi­gn des solu­tions data-dri­ven dans une démarche tant tech­nique que juri­dique et humaniste.

La science-fic­tion est pleine d’histoires d’intelligences arti­fi­cielles qui se révoltent, où les machines agissent selon leur propre sys­tème de valeur évi­dem­ment malé­fique. Sou­ve­nez-vous d’HAL 9000 dans l’Odyssée de l’espace ou encore de Sky­net dans Ter­mi­na­tor ! De retour dans la vraie vie, les sys­tèmes et algo­rithmes d’IA ont lar­ge­ment inté­gré des actes cou­rants de notre vie quo­ti­dienne comme le shop­ping en ligne, la sous­crip­tion de contrats ban­caires ou encore la consul­ta­tion de conte­nu sur les réseaux sociaux. Si les cas d’IA rebelle res­tent un pur fan­tasme d’auteur, les dérives et dys­fonc­tion­ne­ments d’IA sont, eux, deve­nus cou­rants, sou­vent avec des consé­quences très réelles.

L’éthique contre les stéréotypes

Nous avons tous vu les images géné­rées par des IA comme Dall‑E 2. C’est amu­sant et inno­cent de créer une image d’ourson qui écoute de la musique sous l’eau. Mais saviez-vous que ces algo­rithmes per­pé­tuent des sté­réo­types gen­rés en sur­re­pré­sen­tant des hommes dans des images de doc­teurs, pilotes et PDG, mais en sur­re­pré­sen­tant des femmes dans des images d’infirmières, d’hôtesses de l’air, et de secrétaires ?

Vu la masse de déci­sions du quo­ti­dien délé­guées à l’IA, nous ne pou­vons igno­rer les ques­tions éthiques sou­le­vées par son usage. En géné­ral, l’IA reste un mar­ché et une tech­no­lo­gie peu régle­men­tée encore (la Com­mis­sion euro­péenne planche acti­ve­ment sur un futur règle­ment). Il relève donc de la res­pon­sa­bi­li­té indi­vi­duelle de pro­té­ger les utilisateurs.

La pro­blé­ma­tique de l’IA est de créer by desi­gn des sys­tèmes de confiance qui répondent aux attentes éthiques de notre socié­té. Il en devient impé­ra­tif de se pré­pa­rer, dès main­te­nant, à conce­voir et main­te­nir des sys­tèmes d’IA de confiance. Ce chan­tier est vaste, et l’éthique est un sujet qui se construit tout au long du cycle de vie d’un produit.

Lire aus­si : Défi­nir le cadre nor­ma­tif d’une IA de confiance dans les entreprises

Une intelligence artificielle… qui mime les erreurs humaines

L’IA est un ensemble de théo­ries et de tech­niques per­met­tant à une machine soit de prendre une déci­sion face à une situa­tion pré­dé­fi­nie, soit de simu­ler l’intelligence humaine. Cette pro­gram­ma­tion peut être soit déter­mi­niste, c’est-à-dire met­tant en œuvre une suc­ces­sion de règles humaines à appli­quer selon un sché­ma de déci­sion ; soit pro­ba­bi­liste, c’est-à-dire par infé­rence du bon com­por­te­ment au regard de l’apprentissage fait sur des situa­tions anté­rieures réelles, que l’on appelle machine lear­ning.

Quel que soit le type de pro­gram­ma­tion, l’IA est une auto­ma­ti­sa­tion de la prise de déci­sion. Les risques éthiques ne résident donc pas dans le fait que l’IA puisse mal auto­ma­ti­ser, mais au contraire qu’elle mime par­fai­te­ment les déci­sions humaines, avec son lot d’erreurs et de biais.

Beau­coup de ces dys­fonc­tion­ne­ments pro­viennent du contexte cultu­rel dans lequel a été déve­lop­pée l’IA, lorsqu’elle réplique les sys­tèmes de valeurs his­to­riques d’une socié­té (inéga­li­tés de genre ou eth­niques, par exemple) ou de ses concep­teurs (édu­ca­tion, sen­si­bi­li­té poli­tique, reli­gion, etc.). Ces biais sont par­ti­cu­liè­re­ment pré­sents dans le cadre des algo­rithmes de machine lear­ning puisqu’ils sont entraî­nés sur des bases de don­nées his­to­riques, en infé­rant le futur à par­tir du passé.

Les chan­tiers tech­niques liés à la concep­tion et au cycle de vie d’une IA de confiance répondent tous deux à des ques­tions essen­tielles telles que : com­ment détec­ter avec fia­bi­li­té les éven­tuels biais d’une IA ? Com­ment inter­pré­ter les résul­tats d’un modèle ? Com­ment mesu­rer l’évolution de la per­for­mance d’une IA ? Quelles garan­ties de sécu­ri­té pou­vons-nous appor­ter ? Pou­vons-nous réagir à une dérive ? Cette liste non exhaus­tive tra­duit la diver­si­té des défis à rele­ver pen­dant la mise en pro­duc­tion d’une IA.

L’IA au secours de l’IA pour corriger ses biais

À mesure que les modèles d’IA sont pas­sés de concepts à des pro­duits, nombre de solu­tions tech­niques ont été créées pour faci­li­ter l’automation et le déploie­ment de sys­tèmes IA. Récem­ment, l’offre de solu­tions tech­niques a explo­sé, créant un éco­sys­tème riche et nour­ri par l’innovation constante de start-up comme de lea­ders d’industrie. Des exemples notables sont la AI Infra­struc­ture Alliance et la MLOps Com­mu­ni­ty, tous deux dont Arte­fact fait par­tie. Trou­ver le bon outil pour la bonne tâche devient donc plus impor­tant, et plus dif­fi­cile. En paral­lèle, il y a un éco­sys­tème tout aus­si vibrant de cabi­nets de conseil qui s’est déve­lop­pé, pour accom­pa­gner leurs clients dans ces choix stratégiques.

Beau­coup de ces solu­tions tech­niques existent en open source et sont donc en libre accès à tous. Ces boîtes à outils tech­niques peuvent détec­ter et mesu­rer les biais tout le long de la chaîne de trai­te­ment de la don­née : depuis sa col­lecte jusqu’à son exploi­ta­tion, en pas­sant par ses trans­for­ma­tions et sa modé­li­sa­tion. Elles doivent être acti­vées tout au long du cycle de vie du pro­duit, non seule­ment en phase de concep­tion et de déve­lop­pe­ment mais aus­si en pro­duc­tion, afin d’assurer une cor­rec­tion pérenne. Il y a par­ti­cu­liè­re­ment trois biais qui peuvent être réso­lus grâce à des solu­tions techniques.

Corriger les biais du passé

Les biais ne viennent pas des data scien­tists, mais des data­sets. Il faut donc tou­jours com­men­cer par une explo­ra­tion et une réflexion pro­fonde des data­sets. Ces biais peuvent être tant des biais tech­niques (variable omise, pro­blème de base de don­nées ou de sélec­tion) que des biais de socié­té (éco­no­miques, cog­ni­tifs, émotionnels).

Pour redres­ser les jeux d’entraînement, il pour­rait sem­bler logique d’effacer toute trace de don­nées sen­sibles. Pour­tant, cela se révè­le­rait aus­si inutile que dan­ge­reux : d’une part parce qu’une don­née non sen­sible peut être insi­dieu­se­ment cor­ré­lée à des don­nées sen­sibles, et d’autre part parce que ce type de rac­cour­cis incite à limi­ter les contrôles régu­liers des don­nées et processus.

“Les biais ne viennent pas des data scientists, mais des datasets.”

Pour détec­ter ces biais, il faut être au cou­rant qu’ils existent et savoir quoi cher­cher. Il est impor­tant de com­prendre le contexte des don­nées pour les inter­pré­ter cor­rec­te­ment. Un pro­gramme tout seul ne peut pas iden­ti­fier de biais, d’où l’importance d’équipes de data scien­tists diverses.

C’est en pen­sant de façon cri­tique à pro­pos des dif­fé­rentes métriques asso­ciées à un modèle d’IA que nous pou­vons iden­ti­fier et rec­ti­fier des pro­blèmes. Pre­nons un modèle qui doit détec­ter une mala­die pré­sente dans 1 % de la popu­la­tion. Si le modèle pré­dit tou­jours que la per­sonne est saine, le modèle aura un taux de pré­ci­sion de 99 %. Sans contexte, ce score est excellent. Pour­tant, ce modèle est inutile.

L’utilisation de sta­tis­tiques de bases, uni­va­riées et biva­riées, du data­set peut iden­ti­fier cer­tains biais. Par exemple, est-ce que chaque groupe d’âge est repré­sen­té de manière suf­fi­sam­ment égale ? Une solu­tion pour­rait être de chan­ger des don­nées conti­nues en don­nées caté­go­rielles. Des matrices de cor­ré­la­tion peuvent aus­si vali­der des liens entre deux variables liées. Tout ce tra­vail en amont est cru­cial pour s’assurer que les modèles sont entraî­nés sur des data­sets de qua­li­té. En deux mots : Gar­bage in, gar­bage out.

Expliquer les résultats d’un modèle

Les modèles d’IA per­for­mants tels que les réseaux de neu­rones arti­fi­ciels sont très effi­caces et uti­li­sés dans de nom­breux cas d’usage. Tou­te­fois, ils sont dif­fi­ci­le­ment inter­pré­tables. C’est pour­quoi ces algo­rithmes sont aus­si appe­lés boîtes noires (black­box models). En effet, iden­ti­fier et expli­quer la cause des biais plu­tôt que d’en écar­ter les consé­quences est le grand défi du machine lear­ning. Il existe un com­pro­mis entre l’explicabilité et la pré­ci­sion. Cer­tains algo­rithmes comme les arbres de déci­sion sont très expli­cables, mais moins utiles pour des pré­dic­tions complexes.

« Pour être transparente, une IA doit pouvoir expliquer pourquoi le modèle a pris une certaine décision pour une personne – un objet – une ligne de données en particulier. »

Le domaine de l’Explainable AI (Ex-AI) essaye de résoudre cette pro­blé­ma­tique en déve­lop­pant des méthodes et algo­rithmes qui aug­mentent l’explicabilité des sys­tèmes. On peut soit explo­rer la com­pré­hen­sion glo­bale, qui explique com­ment une IA fonc­tionne sur la popu­la­tion glo­bale, ou la com­pré­hen­sion locale, qui explique com­ment l’algorithme fonc­tionne sur un exemple en par­ti­cu­lier. Cette der­nière est deman­dée par le RGPD car, pour être trans­pa­rente, une IA doit pou­voir expli­quer pour­quoi le modèle a pris une cer­taine déci­sion pour une per­sonne – un objet – une ligne de don­nées en par­ti­cu­lier. Il est impor­tant de regar­der à la fois la com­pré­hen­sion glo­bale et la com­pré­hen­sion locale pour ana­ly­ser com­ment le modèle se comporte.

Pour cela, les data scien­tists peuvent regar­der les variables d’importance du modèle. Par exemple, il n’est pas nor­mal qu’un modèle de recru­te­ment ait le genre comme variable d’importance. Ils peuvent aus­si véri­fier les métriques tels que l’accu­ra­cy (pré­ci­sion : nombre de posi­tifs bien pré­dits – vrai posi­tif – divi­sé par l’ensemble des posi­tifs pré­dits – vrai posi­tif + faux posi­tif), le F1 score (per­met de résu­mer les valeurs de la pré­ci­sion et du recall en une seule métrique) ou le recall (nombre de posi­tifs bien pré­dits – vrai posi­tif – divi­sé par l’ensemble des posi­tifs – vrai posi­tif + faux néga­tif), par rap­port à une variable (eg : la pré­ci­sion pour les femmes vs pour les hommes).

Améliorer la robustesse d’un modèle

Les sources de dys­fonc­tion­ne­ment des modèles d’IA peuvent être for­tuites, lorsque les don­nées sont cor­rom­pues, ou inten­tion­nelles, par des hackers par exemple. Ces deux sources de biais induisent les modèles d’IA en erreur en four­nis­sant des pré­dic­tions ou des résul­tats incorrects.

Cer­taines solu­tions data-dri­ven per­mettent d’évaluer, de défendre et de véri­fier des modèles et des appli­ca­tions de machine lear­ning contre les menaces contra­dic­toires qui pour­raient cibler les don­nées (empoi­son­ne­ment des don­nées), le modèle (fuite de modèle) ou l’infrastructure sous-jacente, tant maté­rielle que logicielle.

Sim­ple­ment en super­po­sant une image de « bruit » à une image nor­male, un clas­si­fi­ca­teur peut être ame­né à caté­go­ri­ser à tort un pan­da comme un gib­bon. La dif­fé­rence est imper­cep­tible à l’œil humain, mais cette tech­nique est bien connue comme pou­vant trom­per des modèles d’IA.

Développer des systèmes moins humains, mais plus humanistes

Le concept d’IA de confiance ne peut se réduire à sa concep­tion juri­dique et tech­nique. En effet, le volet rela­tif à l’humain et à l’organisation est cru­cial pour mener à bien une démarche éthique liée à l’IA. Les chartes éthiques et les solu­tions d’amélioration doivent être connues de toutes les par­ties pre­nantes, appli­quées tout au long du pro­ces­sus de créa­tion et sui­vies dans le temps. Cela néces­site une trans­for­ma­tion de la culture de l’organisation pour y inté­grer en pro­fon­deur les thé­ma­tiques et approches éthiques, pour garan­tir la péren­ni­té des solu­tions et contri­buer à l’IA éthique by desi­gn.

L’IA elle-même n’est pas éthique ou non éthique. Ce sont uni­que­ment la manière dont on a entraî­né le sys­tème et la manière dont on s’en sert qui sont éthiques ou pas. Le véri­table risque éthique lié à l’usage mas­sif de l’IA n’est donc pas que les algo­rithmes se révoltent. Au contraire, le risque inter­vient pré­ci­sé­ment lorsque l’IA se com­porte exac­te­ment comme nous l’avons deman­dé, mimant nos biais, répé­tant nos erreurs, ampli­fiant nos incer­ti­tudes et nos imprécisions.

Lire aus­si : Arte­fact : « Les entre­prises qui dure­ront sont celles qui auront réus­si la dif­fu­sion d’une culture data »

Soyons proactifs sur le sujet de l’IA éthique

C’est un sujet qui nous tient à cœur, à Arte­fact, et c’est pour cela que nous y consa­crons des équipes, et que nous avons déve­lop­pé un accom­pa­gne­ment spé­ci­fique sur ces enjeux d’élaboration de gou­ver­nance, d’implémentation de solu­tions tech­niques et de conseil de stra­té­gie IA. Nous tra­vaillons en étroite col­la­bo­ra­tion avec le monde aca­dé­mique, étant par­te­naire de la chaire Good in Tech, cofon­dée par l’Institut Mines-Télé­com et Sciences Po, pour réduire l’écart entre recherche et pra­tique. Arte­fact a aus­si reçu le label Res­pon­sible and Trus­ted AI, décer­né par l’association indé­pen­dante Labe­lia Labs, qui garan­tit un haut niveau de matu­ri­té sur les sujets d’IA res­pon­sable et de confiance.

“Le risque intervient précisément lorsque l’IA se comporte exactement comme nous l’avons demandé.”

La ques­tion de l’éthique nous concerne tous et il convient donc d’être proac­tif sur le sujet. Adop­ter un com­por­te­ment éthique ne doit pas seule­ment être une réac­tion. L’intelligence arti­fi­cielle tra­verse une période impor­tante, où ses pro­cé­dés et son ethos sont en pleine phase de défi­ni­tion. Dans un domaine pas encore régu­lé, il revient à celles et ceux qui y prennent part de prendre les devants. C’est notre res­pon­sa­bi­li­té à tous, en tant que déve­lop­peur, consul­tant ou mana­ger, de répondre aux attentes des per­sonnes concer­nées – clients et uti­li­sa­teurs des ser­vices, mais sur­tout la socié­té en géné­ral – et d’utiliser les pou­voirs de l’IA pour créer un monde meilleur.

Pour en savoir plus

• AI Infra­struc­ture Alliance https://ai-infrastructure.org/partners/
• MLOps Com­mu­ni­ty https://mlops.community/
• Biais bases de don­nées https://www.institutmontaigne.org/publications/algorithmes-controle-des-biais-svp
• Pan­da et gib­bon https://arxiv.org/pdf/1412.6572.pdf

---

Articles similaires :

Les deux intel­li­gences arti­fi­cielles : entre pro­thèse et orthèse Pour une IA responsable Les algo­rithmes com­posent-ils de la musique ? L’innovation tech­no­lo­gique au coeur de l’avenir L’IA qui démo­cra­tise l’accès aux données