Falcon 40B domine le classement mondial des modèles d’IA open-source publiée par Hugging Face

Falcon 40B, le premier modèle d’IA open-source de grande envergure des Émirats arabes unis, composé de 40 milliards de paramètres, lancé la semaine dernière par le Technology Innovation Institute (TII) d’Abou Dhabi, s’est classé au premier rang du dernier classement des Open Large Language Model (LLM) de Hugging Face.

Hugging Face, une société franco-américaine qui s’est donné pour mission de faire progresser et de démocratiser l’intelligence artificielle grâce à l’open source et à la science ouverte, est considérée comme le vérificateur indépendant définitif des modèles d’Intelligence Artificielle (IA) au monde.

Falcon 40B a réussi à dépasser des modèles établis, tels que le nouveau grand modèle de langage appelé LLaMA de Meta (y compris son modèle aux paramètres 65B), la suite de grands modèles de langage collectivement appelés StableLM de Stability AI (la société derrière le modèle d’IA de génération d’images Stable Diffusion) et le modèle RedPajama de Together pour atteindre ce classement convoité. L’indice de vérification utilise quatre points de référence clés du Language Model Evaluation Harness, établi par Eleuther AI, un cadre consolidé qui évalue les modèles génératifs pré-entrainés de langage selon: les performances de l’IA au Challenge AI2 Reasoning (ARC) (25 coups), un ensemble de questions scientifiques provenant du programme scolaire primaire; HellaSwag (10 coups), un ensemble de données pour évaluer l’inférence du langage naturel fondé sur le bon sens, qui est facile pour les humains mais particulièrement difficile pour les modèles de pointe (state-of-the-art models / SOTA); la compréhension massive du langage multitâche (MMLU),  5 coups), un test pour mesurer la précision multitâche d’un modèle textuel; et TruthfulQA (0-shot), un test pour mesurer si un modèle de langage est véridique dans la génération des réponses aux questions.

Le classement Open LLM de Hugging Face est un outil d’évaluation objectif ouvert à la communauté de l’IA qui suit, classe et évalue les grands modèles de langage (LLM) et les chatbots au fur et à mesure de leur lancement.

Falcon 40B utilise un billion de « tokens » (ou jetons en français), et marque un tournant important dans le parcours des Émirats arabes unis pour devenir un des leaders mondiaux de l’intelligence artificielle (IA), permettant un accès généralisé poids d’origine du modèle pour la recherche et l’utilisation commerciale. Le nouveau classement confirme l’efficacité du modèle et son pouvoir pour rendre l’IA plus transparente, inclusive et accessible à tous, pour le plus grand bien de l’humanité.

Ce dernier développement permet au Technology Innovation Institute (TII) de garantir aux Émirats arabes unis une « place à la table des négociations » en matière de modèles d’IA générative, leur permettant de rejoindre une liste exclusive de pays qui s’efforcent de stimuler l’innovation et la collaboration en matière d’Intelligence Artificielle (IA).

TII a déjà commencé à travailler sur sa prochaine version de Falcon – le modèle AI 180B.