La start-up qui garantit la qualité des modèles IA
Dans un contexte marqué par l’accélération du développement de l’IA et la volonté de mieux réguler cette technologie à une échelle européenne, Giskard aide les constructeurs et développeurs d’IA à mieux gouverner et manager la qualité de leurs solutions. Jean-Marie John-Mathews, PhD, cofondateur et CPO de ce leader européen de l’IA open source testing, nous en dit plus.
Quelle a été la genèse de Giskard ?
Giskard est née en 2021. L’idée de départ de la start-up prend racine dans un constat que nous avons été amenés à faire : dans un contexte où l’IA se développe de plus en plus vite, il y a un besoin d’outils fiables et performants pour assurer la qualité des modèles d’IA. En effet, aujourd’hui, le déploiement de l’IA, notamment l’IA générative, se matérialise par de nombreux succès, mais entraîne aussi un certain nombre d’incidents. Alors que ces technologies ont vocation à connaître un développement exponentiel, la qualité des modèles représente aujourd’hui un enjeu critique. Cette dimension fait, d’ailleurs, l’objet de tout un travail réglementaire à l’échelle européenne afin de définir un cadre et des standards.
À partir de là, avec mon associé Alex Combessie, nous avons lancé Giskard qui est une entreprise spécialisée dans l’open source testing. Dans cette aventure humaine et entrepreneuriale, nous capitalisons sur la complémentarité de nos profils et de nos expériences. Personnellement, je suis issu du monde de la recherche et Alex a un parcours significatif dans le monde de l’ingénierie logicielle. Aujourd’hui, Giskard s’appuie sur une équipe d’une trentaine de personnes composée essentiellement des chercheurs et d’ingénieurs en IA (machine learning…), de data sciences, de product managers, de designers, des ingénieurs logiciels full stack…
Avec vos solutions visant à garantir la qualité de l’IA, à qui vous adressez-vous ?
Nous nous adressons aux professionnels qui développent des IA et qui ont besoin de s’assurer de la qualité de leur développement afin de dérisquer leurs IA sur le plan opérationnel, sécuritaire, économique, réputationnel et éthique. Pour ce faire, Giskard met à leur disposition des outils qui vont leur permettre de gouverner leurs IA afin de trouver le meilleur équilibre entre la performance opérationnelle et business attendue et les risques.
Pouvez-vous nous partager des cas d’usage ? Dans ce cadre, comment intervenez-vous ?
Les entreprises qui ont recours à des chatbots adossés aux technologies d’IA doivent s’assurer que les réponses qui sont apportées suite aux questions des utilisateurs/consommateurs sont fiables et correctes. Il s’agit, par exemple, de donner les bonnes caractéristiques techniques d’un produit pour permettre au client de choisir le bon équipement ou un produit compatible… L’enjeu est aussi de s’assurer que l’IA ne divulgue pas des informations confidentielles. En effet, des personnes malveillantes ou des cyberattaquants peuvent détourner ces chatbots censés répondre aux questions des clients et prospects pour porter atteinte aux intérêts de l’entreprise. Enfin, il s’agit aussi de s’assurer de la pertinence et de la cohérence des informations données pour éviter tout risque réputationnel ou « bad buzz » qui pourraient être relayées sur les réseaux sociaux…
Dans ce contexte, nous intervenons tout au long de la chaîne de valeur afin d’en sécuriser tous les maillons. Nous commençons par un audit et un diagnostic afin d’identifier les risques potentiels. Pour ce faire, nous avons recours à des outils de scan et de testing pour déceler les vulnérabilités des modèles d’IA. À partir de là, nous créons des tests qui vont permettre aux data scientists d’améliorer rapidement leurs modèles en créant et mettant en place des métriques qu’ils vont pouvoir suivre et tester. Enfin, durant la phase de production, nous allons aussi accompagner les data scientists dans leur travail de vérification et de paramétrage afin de pouvoir bloquer les actions et les demandes qui peuvent générer un risque sécuritaire. Au-delà, Giskard aide aussi les entreprises à se mettre en conformité avec les obligations et le cadre réglementaire. Aujourd’hui, l’AI Act, une régulation européenne sur l’IA, exige des constructeurs et développeurs d’IA qu’ils mettent en place des outils de management de la qualité des modèles d’IA.
Alors que le développement et le recours à l’IA s’accélèrent, comment vous projetez-vous sur le marché ?
Nous estimons que le marché de l’IA, qui est encore émergent, va se normaliser sur le moyen terme. Ces technologies vont continuer à gagner en maturité alors que la qualité des modèles va devenir un prérequis et un paramètre incontournables du développement de cette industrie. Dans cette démarche, les constructeurs d’IA vont être amenés à travailler et à définir les normes et les standards qui permettront de garantir et d’évaluer la qualité. Dans cet écosystème, Giskard veut se positionner comme un partenaire de ces acteurs en mettant à leur disposition des outils qui vont contribuer à accélérer et optimiser ce travail.
Dans ce cadre, quels sont vos enjeux ?
Pour être en mesure de détecter les vulnérabilités des modèles d’IA, notre premier enjeu est d’être toujours à la pointe de ces technologies qui évoluent toujours plus vite. Nos équipes dédiées à la recherche sont ainsi en veille constante afin de suivre, au jour le jour, les avancées en matière de modèle d’IA. Ce travail de veille et de recherche nous permet de proposer des outils pertinents et évolutifs afin d’intégrer toutes les évolutions en matière d’IA.
Et pour conclure sur ce sujet du management de la qualité des IA, avez-vous une piste de réflexion à partager avec nos lecteurs ?
Aujourd’hui, la réglementation en matière d’IA, qui demande aux constructeurs d’IA en Europe d’assurer le management de la qualité de leurs solutions, est perçue comme une contrainte, notamment financière. Si cette mise en conformité représente certes un coût financier pour les entreprises, elle doit néanmoins aussi être perçue comme un vecteur de compétitivité et d’innovation au service du développement de modèles d’IA plus pertinents, performants et alignés sur les besoins et attentes business des entreprises.
