Le TII lance un grand modèle de langage open-source « Falcon 40B »

Le Technology Innovation Institute (TII), un centre de recherche mondial de premier plan et le pilier de la recherche appliquée du Conseil de recherche en technologies avancées (ATRC) d’Abou Dhabi, a renforcé son influence internationale croissante dans le domaine de l’intelligence artificielle (IA) en annonçant que « Falcon 40B », le premier modèle d’intelligence artificielle (IA) à grande échelle des Émirats arabes unis, peut désormais être utilisé comme plateforme open-source pour la recherche et les fonctions commerciales. Cette initiative pionnière incarne l’engagement d’Abou Dhabi à encourager la collaboration entre les secteurs et à faire progresser l’Intelligence Artificielle (IA) générative.

Falcon est un grand modèle de langage (LLM) composé de 40 milliards de paramètres, utilisant un billion de « tokens » (ou jetons en français), offrant un accès sans précédent aux chercheurs et aux innovateurs des petites et moyennes entreprises (PMEs). Le Technology Innovation Institute (TII) fournit l’accès aux poids d’origine du modèle, sous forme d’un package open-source plus complet, dans le but de permettre l’accès aux puissantes capacités des modèles LLM, promouvoir la transparence et la responsabilité, et soutenir l’innovation et la recherche dans le domaine.

Dans l’écosystème actuel de l’IA, les développeurs préfèrent les LLM qui donnent accès aux poids de modèle en raison des capacités améliorées qu’ils offrent en termes de réglage par rapport à ceux qui n’en possèdent pas. Alors que la majorité des licences exclusives LLM sont accordées uniquement à des utilisateurs non commerciaux, le Technology Innovation Institute (TII) a fait un pas décisif vers l’avant en offrant aux chercheurs et aux utilisateurs commerciaux l’accès au grand modèle de langage LLM open-source « Falcon 40B ».

Parallèlement au lancement de Falcon 40B en tant que modèle open-source, le Technology Innovation Institute (TII) a fait un appel à propositions, invitant les scientifiques, les chercheurs et les visionnaires enthousiastes à exploiter le potentiel du modèle. Les parties intéressées sont encouragées à soumettre leurs idées innovantes et bénéficier du modèle pour créer des cas d’usage inspirants ou explorer d’autres possibilités d’application dans maints domaines, tels que l’ingénierie, les soins de santé, la durabilité, le codage et encore plus.

Pour encourager les propositions et projets de recherche exceptionnels, les projets sélectionnés recevront une « formation en puissance de calcul » en tant qu’investissement, permettant aux innovateurs de profiter des ressources informatiques pour accélérer l’analyse des données, la modélisation complexe et les nouvelles découvertes. Ce financement accélérera le développement d’idées novatrices, en fournissant les ressources nécessaires pour transformer ces idées en solutions percutantes dans le domaine d’Intelligence Artificielle (IA) ayant une viabilité et potentialité commerciale et des avantages sociétaux.

VentureOne, la branche de commercialisation du Conseil de recherche en technologies avancées (ATRC), facilitera la « puissance de calcul » pour transformer les solutions les plus innovantes en produits viables.

S.E. Faisal Al Bannai, secrétaire général du Conseil de recherche en technologie avancée (ATRC) a déclaré : « L’initiative consistant à transformer Falcon 40B en plateforme open-source marque une étape importante dans notre engagement à encourager l’innovation en matière d’Intelligence Artificielle (IA). Notre annonce révolutionne l’accès au LLM et permet aux chercheurs et aux entrepreneurs de proposer les cas d’usage les plus innovants. Nous soutiendrons également ces propositions en offrant un financement sous forme de ‘puissance de calcul’ par l’intermédiaire de VentureOne, dans le but de faire progresser un écosystème de recherche prospère. »

Dévoilé pour la première fois en mars 2023, Falcon a fait preuve de performances exceptionnelles et renforcé l’engagement des Émirats arabes unis à soutenir le progrès technologique. Basé sur le système d’évaluation holistique des modèles de langage (HELM) de l’Université de Stanford comme outil de référence pour la performance des LLM, le Falcon 40B a surpassé ses homologues renommés en utilisant beaucoup moins de puissance de calcul de formation. Avec 75% seulement de la puissance de calcul de formation comparé au grand modèle de langage LLM « GPT-3 » développé par OpenAI, et 40% de l’IA Chinchilla de DeepMind et 80% du calcul de formation du PaLM-62B de Google, l’outil a confirmé l’engagement de TII à faire progresser les avancées dans le domaine de l’IA générative.

Le Dr Ray O. Johnson, PDG de TII, a déclaré :

Falcon 40B constitue une percée capitale menée par le Centre de recherche sur l’IA et les sciences numériques (AIDRC) du Technology Innovation Institute (TII). La même équipe est également responsable du lancement innovateur de NOOR, le plus grand modèle de NLP en langue arabe au monde l’année dernière, et est en voie de développer et annoncer bientôt le Falcon 180B.

Le Dr Ebtesam Almazrouei, directrice de l’unité transversale d’intelligence artificielle (IA) du TII, a déclaré :

Les Émirats arabes unis continuent de progresser et ont récemment gagné cinq places pour se classer au premier rang des pays arabes et au 37ème rang parmi 166 pays dans l’indice de préparation aux technologies d’avant-garde des Nations Unies 2023 (UN Frontier Technologies Readiness Index 2023). L’annonce de ce modèle d’IA générative open-source vient s’ajouter à une longue liste de jalons technologiques progressifs, et devrait renforcer la position des Émirats arabes unis en tant qu’acteur principal de l’IA.