.jpg)
Dans ce troisième épisode de cette mini-série dédiée à la GenAi, Benjamin Hannache, Directeur Général chez Keley vous explique l’intérêt de choisir une IA en cohérence avec les besoins et les ressources de votre entreprise.
Pourquoi choisir une solution IA ?
La transformation digitale est un processus complexe qui englobe de nombreux aspects, tels que l'adoption de nouvelles technologies, la refonte des processus métier, la formation des employés et la mise en place de nouvelles stratégies. Tous ces changements ont un impact logistique et surtout financier. Plusieurs modèles existent, chacun avec ses propres avantages et inconvénients. Actuellement, il en existe plus d'une dizaine, il est donc crucial de choisir le modèle qui correspond le mieux aux besoins et aux objectifs de votre entreprise. Lors du choix d'un modèle de transformation digitale, il est essentiel de prendre en compte plusieurs facteurs.
Tout d'abord, comprenez bien les besoins et les objectifs de votre entreprise. Quels défis rencontrez-vous ? Quels avantages souhaitez-vous tirer de la transformation digitale ? En répondant à ces questions, vous pourrez mieux définir le modèle le plus approprié pour votre entreprise.
Ensuite, évaluez les ressources dont vous disposez. La mise en œuvre d'une transformation digitale peut nécessiter des investissements importants en termes de temps, d'argent et de compétences. Assurez-vous d'avoir les ressources nécessaires pour mener à bien votre projet de transformation.
Enfin, prenez en compte les spécificités de votre secteur d'activité. Certaines industries sont plus avancées que d'autres en matière de transformation digitale, et il peut être utile de s'inspirer des meilleures pratiques de votre secteur. De plus, certaines réglementations spécifiques peuvent également avoir un impact sur le choix du modèle de transformation digitale.
Performance/Qualité/Prix :
Benjamin attire notre attention sur les critères de performance utilisés pour évaluer les différents LLM (Large Language Models). Il introduit pour cela la notion de "zéro-shot" et "few-shot".
Le "zéro-shot learning" est un modèle sans apprentissage préalable et donc sans exemples d'entraînement spécifiques, le modèle généralise toutes les nouvelles demandes. Le "few-shot learning" correspond à l'apprentissage avec quelques exemples d'entraînement, le modèle acquiert de nouvelles compétences avec des données limitées. Un modèle 1-shot est un modèle avec un seul exemple pris en compte, un modèle 2-shot avec deux exemples pris en compte, etc… Plus votre modèle comportera d'exemples et plus il sera capable de vous fournir des réponses précises sur un sujet donné.
Ce travail est fastidieux car il s'agit de définir un nombre d'exemples optimal afin d'obtenir un résultat correspondant à nos besoins, mais il permet de mieux comprendre ce qui se cache derrière les différents LLM. Cependant, sur certains modèles, les résultats peuvent être impressionnants. Si l'humain se cache encore beaucoup derrière l'IA, sur certains modèles, les IA peuvent dépasser les "connaissances" que l'on pourrait considérer comme académiques.
Par ailleurs, les chercheurs se concentrent de plus en plus sur le "bon sens", sur la capacité de raisonnement des LLM, plutôt que sur leur connaissance pure. Ainsi, pour définir une note à un LLM, les chercheurs font une moyenne des différents benchmarks de performance afin d'obtenir un indicateur de performance et de qualité. Vous pouvez d'ailleurs tester la performance de la base de données de votre LLM en utilisant des sites tels que paperswithcode.com pour choisir le meilleur LLM pour votre entreprise.
En ce qui concerne le prix des LLM, "l'addition peut vite devenir salée", selon Benjamin. En effet, l'utilisation d'IA générative peut coûter cher si vous décidez de l'implémenter dans votre environnement de travail. Il faudra rationaliser les utilisations que vous faites de l'IA afin d'équilibrer votre budget en termes d'IA.
Cas d'usage : chatbot interne
Cas #1:
Caractéristiques : Nombre d'utilisateurs : 100
Nombre de requêtes/jour/utilisateur : 50
Nombre total de requêtes/jour : 5000
Résultats modèles open source :
GPT-2 (léger) : 10 dollars/jour => score benchmark : 31
Bloom (lourd) : + 200 dollars/jour => score benchmark : 35
Résultats modèles propriétaires :
ChatGPT-3.5 (léger) : 20 dollars/jour => score benchmark : 61
ChatGPT-4 (lourd) : 100 dollars/jour => score benchmark : 73
Interprétation :
Nous constatons que deux critères doivent être pris en compte pour choisir le bon modèle : • Le poids du modèle : plus un modèle est lourd, plus il devient coûteux. Le prix est proportionnel à la taille du data set à faire tourner dans l'instance cloud. Ainsi, entre deux modèles, open source ou propriétaire, il faudra trouver un modèle qui correspond à votre budget et à la quantité de données dont vous avez besoin pour faire vos requêtes. • Le score de performance : plus un modèle obtient un bon score, plus il est pertinent pour la réalisation de tâches complexes. Aujourd'hui, OpenAI a montré que même GPT-4 peut être moins coûteux qu'un modèle open source.
Ce cas d'usage permet de comprendre l'intérêt de choisir un chatbot qui correspond à la typologie de vos requêtes. Prendre le meilleur chatbot ne signifie pas forcément payer plus cher ! Par exemple, si vous avez peu de requêtes par jour, GPT-3.5 et 4 peuvent être intéressants.
Cas #2 :
Caractéristiques : Nombre d’utilisateurs : 10 000
Nombre de requêtes/jour/utilisateur: 5
Nombre total de requêtes/jour: 50 000
Résultats modèles open source:
Bloom (lourd): 250 dollars/jour => score benchmark: 35
Résultats modèles propriétaires:
ChatGPT-3.5 (léger): 200 dollars/jour => score benchmark: 61
ChatGPT-4 (lourd): + 1100 dollars/jour => score benchmark: 73
Interprétation:
Dans ce deuxième cas, où le nombre de requêtes a été multiplié par 10, nous pouvons voir que les modèles open source se rapprochent des modèles propriétaires en termes de prix et de performances. Ainsi, il faut retenir que dès que vous payez des instances cloud plutôt que des paiements à la requête, le volume devient important !
En somme, la transformation digitale étant essentielle pour les entreprises souhaitant rester compétitives dans un monde de plus en plus numérique, le choix du bon modèle est crucial pour garantir le succès de votre projet. En évaluant vos besoins, vos ressources et les spécificités de votre secteur, vous pourrez choisir le modèle qui correspond le mieux à votre entreprise et maximiser les avantages de votre transformation.
