Nougat, l’IA de Meta qui transforme les PDF scientifiques en textes lisibles et accessibles

Meta a dévoilé Nougat, un modèle d’IA capable de convertir les images PDF des articles scientifiques en texte structuré et lisible par les machines. Nougat vise à combler le fossé entre les documents PDF lisibles par les humains et le texte lisible par les machines, améliorant ainsi l’accès aux connaissances scientifiques.

Nougat est basé sur une variante du Vision Transformer, un modèle d’analyse d’images, et effectue une reconnaissance optique de caractères (OCR) adaptée au traitement des documents scientifiques. Contrairement aux moteurs OCR traditionnels, qui fonctionnent ligne par ligne, Nougat traite la page entière. Selon l’équipe, cela permet de gérer plus facilement des éléments tels que les exposants et les indices dans les formules mathématiques, qui ont souvent été transcrits de manière incorrecte par le passé.

Pour l’entraînement, l’équipe a utilisé un ensemble de données de PDF d’articles scientifiques provenant de sources telles que arXiv et PubMed Central avec le code source LaTeX correspondant de l’auteur ou des auteurs. L’ensemble de données comprend plus de 8 millions de pages.

Nougat surpasse largement les alternatives existantes

Dans les tests, Nougat a atteint une grande précision dans l’extraction du texte, des formules et des tableaux à partir des pages des articles scientifiques. Pour le texte continu, il a obtenu un score BLEU de plus de 91% et une précision de plus de 96%. La performance pour les formules et les tableaux était plus faible, à un peu plus de 75%, mais toujours nettement plus fiable que les alternatives telles que GROBID, dont la précision pour les formules mathématiques est de moins de 11%.

Selon Meta, Nougat est une solution prometteuse pour améliorer l’accès aux connaissances scientifiques en convertissant les articles de recherche PDF en texte structuré et lisible par les machines. Cela pourrait rendre des millions d’articles scientifiques plus accessibles en comblant le fossé entre le PDF et le texte. Cependant, des défis subsistent dans la gestion de la cohérence entre les documents et l’évitement des boucles de texte répétitives lors de la génération, indique l’équipe.

Le code et les modèles sont disponibles sur GitHub et sont destinés à accélérer les travaux futurs dans le domaine du traitement des documents scientifiques. Plus d’informations et d’exemples sont disponibles sur la page du projet Nougat.