Comment extraire efficacement des données avec LangExtract et LLMs ?

Par

LangExtract permet d’extraire facilement des données structurées à partir de textes non structurés grâce aux grands modèles de langage (LLMs). Simple à prendre en main, il utilise des prompts précis et s’adapte à de longs documents. Découvrez comment exploiter cet outil puissant et open-source.

3 principaux points à retenir.

  • LangExtract facilite l’extraction de données précises depuis des textes non structurés en combinant prompts et exemples.
  • La bibliothèque supporte les documents longs avec découpage intelligent et traitement parallèle.
  • Compatible avec plusieurs LLMs, elle propose aussi une visualisation interactive des résultats.

Qu’est-ce que LangExtract et pourquoi l’utiliser pour l’extraction de données ?

LangExtract, c’est un peu l’outil magique que tout data scientist rêvait de posséder. Développée par Google, cette bibliothèque Python open-source réinvente l’extraction de données en permettant de traiter des textes non structurés. Pourquoi est-ce si génial ? Tout simplement parce qu’il utilise des grands modèles de langage (LLMs) pour transformer ces amas de texte en données structurées pertinentes. Imaginez les rapports financiers, les notes de recherche ou les commentaires clients, tout ce savoir brut qui hiberne dans les recoins des documents. LangExtract permet de mettre en lumière cette information, là où les méthodes classiques, basées sur des règles, souvent échouent.

La véritable force de LangExtract réside dans sa simplicité d’utilisation. En quelques lignes, on peut définir ce qu’on veut extraire grâce à des prompts et quelques exemples. Ça sonne presque comme une caresse pour nos neurones, non ? Pour les longs documents, qui, avouons-le, sont souvent des labyrinthes de données, LangExtract gère cela avec brio grâce au chunking et à un processus multi-pass. En d’autres termes, il découpe le texte en morceaux gérables et les analyse un à un, s’assurant de ne rien laisser filer dans les méandres de l’oubli.

Un autre avantage ? La visualisation interactive des résultats. Fini les fichiers Excel ennuyeux à lire et difficile à comprendre. Ici, tout est coloré, structuré et surtout, facile à inspecter. Les résultats permettent une validation humaine rapide et une compréhension immédiate des données extraites. C’est un peu comme regarder un tableau où chaque élément a sa place, au lieu d’une toile d’art abstrait qu’on ne comprend pas.

Découvrez égalementQuels small language models choisir sur Hugging Face ?

En résumé, LangExtract bouleverse les codes de l’extraction de données. En permettant de tirer parti des LLMs pour une extraction précise et personnalisée, il répond à un besoin crucial dans un monde de plus en plus encombré par l’information non structurée.

Comment installer et configurer LangExtract en pratique ?

Installer LangExtract, c’est comme préparer un bon plat : il faut les bons ingrédients et un peu de patience. D’abord, assurez-vous que vous avez Python 3.10 ou une version ultérieure installé sur votre machine. Si ce n’est pas le cas, vous pourrez difficilement cuisiner sans les bons meubles de cuisine, n’est-ce pas ? Une fois cela fait, vous pouvez passer à l’étape suivante : l’installation de LangExtract. Ouvrez une console et tapez la commande suivante :

pip install langextract

Simple, non ? Pour une gestion plus soignée de votre environnement, il est préférable de le faire dans un environnement virtuel. Voici comment le créer et l’activer :

python -m venv langextract_env
source langextract_env/bin/activate  # Pour Windows, utilisez : .\langextract_env\Scripts\activate

Avec votre nouvel espace isolé, réessayez l’installation en utilisant la même commande. Mais attendez, il y a plus ! Si vous utilisez des modèles cloud comme OpenAI ou Google Gemini, il vous faudra une clé API, que vous devrez configurer en tant que variable d’environnement. Exécutez cette légère manipulation pour la rajouter :

export LANGEXTRACT_API_KEY="YOUR_API_KEY_HERE"
Découvrez égalementQuel outil de gestion d’agents IA choisir ?

Ou, si vous préférez un fichier .env :

cat >> .env << 'EOF'
LANGEXTRACT_API_KEY=your-api-key-here
EOF
echo '.env' >> .gitignore

Ça y est, vous avez presque terminé. N’oubliez pas que si vous optez pour des modèles locaux via Ollama, pas besoin de clés API. C’est comme choisir de cuisiner avec des ingrédients frais directement du marché plutôt que de passer par le supermarché ! Si vous voulez explorer d’autres options ou installer depuis Docker ou directement depuis la source, vous pouvez jeter un œil aux instructions disponibles sur le dépôt GitHub de LangExtract. Alors, prêts à extraire des données de manière efficace ?

Comment définir une tâche d’extraction avec LangExtract ?

Pour extraire efficacement des données avec LangExtract, il est crucial de bien définir la tâche d’extraction. Commencez par créer un prompt détaillé qui décrit précisément les informations que vous souhaitez extraire. Un prompt clair aide le modèle à comprendre le contexte et l’objectif de l’extraction. Par exemple, pour extraire des personnages, leurs émotions et les relations dans un texte littéraire, vous pourriez écrire :

prompt = """
  Extract characters, emotions, and relationships in order of appearance.
  Use exact text for extractions. Do not paraphrase or overlap entities.
  Provide meaningful attributes for each entity to add context."""

Cette formulation directe et explicite guidera le modèle dans sa tâche. Vous devez également fournir des exemples annotés sous forme d’ExampleData qui illustrent le résultat attendu. Ces annotations doivent être précises et sans paraphrase, car elles permettent de définir des standards clairs pour l’extraction. Concrètement, voici un exemple d’annotations pour un extrait de Shakespeare :

examples = [
    lx.data.ExampleData(
        text="ROMEO. But soft! What light through yonder window breaks? ...",
        extractions=[
            lx.data.Extraction(
                extraction_class="character",
                extraction_text="ROMEO",
                attributes={"emotional_state": "wonder"}
            ),
            lx.data.Extraction(
                extraction_class="emotion",
                extraction_text="But soft!",
                attributes={"feeling": "gentle awe"}
            )
        ]
    )
]
Découvrez égalementComment créer un tool calling agentique avec Gemma 4 ?

Ces annotations fournissent un cadre pour que le modèle comprenne l’attente d’une extraction fidèle et contextuelle. Une bonne pratique consiste à faire des tests itératifs. Lisez les résultats d’extraction après qu’ils aient été produits, et ajustez vos prompts et exemples si nécessaire. Parfois, il suffit d’une légère modification dans le texte ou les annotations pour obtenir un résultat bien plus précis. Le succès réside dans l’adaptabilité et la clarté de votre communication avec le modèle.

Au fur et à mesure que vous affinez ces éléments, envisagez d’explorer des exemples variés dans votre domaine. Cela renforcera la capacité du modèle à extraire des données pertinentes de manière efficace. N’oubliez pas, plus votre prompt et vos annotations sont précis, meilleur sera le résultat final. De telles best practices peuvent même faire la différence entre une extraction qui vous apporte des insights précieux et une extraction à côté de la plaque. Pour explorer plus en profondeur, ne manquez pas de jeter un œil ici : LangExtract et ses applications.

Comment lancer l’extraction et gérer les résultats avec LangExtract ?

Pour lancer l'extraction avec LangExtract, on utilise la fonction lx.extract(), qui permet de transformer des données brutes en informations organisées. Mais voyons ensemble les arguments clés qui composent cette fonction.

Tout d'abord, le texte ou la liste de documents que vous souhaitez traiter. Vous pouvez lui passer un simple texte, plusieurs textes dans une liste, ou même un lien qui pointe vers un document en ligne (comme un fichier sur Project Gutenberg). Ça simplifie drôlement la vie, vous ne trouvez pas ? 

Ensuite, il y a la description du prompt. C'est ici que vous définissez ce que vous attendez comme extraction. On ne peut pas se permettre d'être vague. Si vous voulez des personnages et leurs émotions, dites-le clairement ! 

Les exemples sont également cruciaux. En fournissant des exemples concrets d’extractions réussies (comme les personnages dans un extrait de Shakespeare), vous guidez le modèle sur ce qui est attendu. Par exemple :


import langextract as lx

prompt = """
  Extraire les personnages, les émotions et les relations dans l'ordre d'apparition.
  Utilisez le texte exact pour les extractions."""
examples = [
    lx.data.ExampleData(
        text="ROMEO. But soft! What light through yonder window breaks?",
        extractions=[
            lx.data.Extraction(
                extraction_class="character",
                extraction_text="ROMEO",
                attributes={"emotional_state": "wonder"}
            ),
            lx.data.Extraction(
                extraction_class="emotion",
                extraction_text="But soft!",
                attributes={"feeling": "gentle awe"}
            )
        ]
    )
]


Le model_id vous permet de choisir quel modèle LLM utiliser. Que ce soit Google Gemini, un modèle local ou OpenAI, vous avez la liberté de choix.


En plus de ces éléments essentiels, des options avancées comme extraction_passes (qui permet de relancer l'extraction sur des textes longs pour améliorer le rappel) et max_workers (permettant de traiter les morceaux en parallèle) vous offrent flexibilité et puissance.


Découvrez égalementKarpathy LLM Wiki peut-il remplacer le RAG ?
Lorsque vous exécutez lx.extract(), le résultat est un objet Python contenant toutes les entités extraites. Pour exploiter ces données, vous pouvez sauvegarder le tout dans un fichier JSONL, idéal pour le traitement ultérieur. Voici comment :


lx.io.save_annotated_documents([result], output_name="extraction_results.jsonl", output_dir=".")


LangExtract permet même de visualiser vos résultats. Générez un fichier HTML interactif qui met en lumière chaque extraction dans son contexte, simplifiant ainsi les revues humaines. Il suffit d'utiliser :


html = lx.visualize("extraction_results.jsonl")
with open("viz.html", "w") as f:
    f.write(html if isinstance(html, str) else html.data)


Ainsi, même pour les documents longs, le découpage automatique gère la complexité, vous permettant de vous concentrer sur l'essentiel. En bref, avec LangExtract, l'extraction de données devient accessible et efficace, même pour les novices, tout en élégamment transformant le chaos des textes non structurés en insights précieux.


Quels formats d’entrée et cas d’usage pour LangExtract ?


LangExtract se distingue par sa capacité à traiter divers formats d’entrée, ce qui en fait un outil exceptionnellement flexible et performant pour l’extraction de données. Que vous travailliez avec du texte brut ou que vous ayez plusieurs documents à traiter, LangExtract est prêt à s’adapter. Vous pouvez, par exemple, alimenter le système avec une simple chaîne de caractères, ou bien lui fournir un tableau contenant une liste de textes. Imaginez tout ce que vous pourriez extraire d’une bibliothèque numérique comme Project Gutenberg : il vous suffit simplement de fournir l’URL du texte souhaité, et LangExtract se charge de la récupération et de l’analyse. Ainsi, vous pouvez entrer le lien vers un document que LangExtract téléchargera et traitera pour vous. 


Découvrez égalementComment mesurer et limiter les hallucinations des LLM ?
Mais ce n’est pas tout. LangExtract facilite également l’analyse de contenu Markdown ou HTML, après transformation en texte brut. Cela peut s’avérer particulièrement utile dans le cas où vos données proviennent de blogs ou de documentations techniques. En revanche, il faut préciser que LangExtract ne gère pas directement les fichiers PDF ou les images ; une extraction préalable du texte est nécessaire avant de pouvoir utiliser cet outil. C’est une étape cruciale à ne pas négliger.


Les cas d’usage de LangExtract sont à la fois variés et riches. Dans la recherche documentaire, le logiciel peut transformer des dizaines de pages techniques en résumés clairs. Dans le domaine de la finance, il peut extraire des informations critiques d’un rapport annuel ou détecter des tendances dans des textes financiers complexes. En médecine, LangExtract peut aider à conjuguer plusieurs notes cliniques pour extraire des données patients ou des traitements, permettant ainsi une analyse plus poussé des données de santé. Dans la littérature, imaginez pouvoir analyser des œuvres entières pour en tirer des thèmes, émotions et relations entre personnages, tout cela, en un rien de temps.


Pour résumer la polyvalence de LangExtract, voici un tableau des formats d’entrée pris en charge et quelques recommandations pour préparer vos données :
  • Textes bruts : N’importe quel texte saisi directement.
  • Listes de textes : Traitement simultané de plusieurs documents.
  • URLs : Téléchargement automatique de documents à partir de liens.
  • Markdown/HTML : Préciser la transformation en texte brut nécessaire.

Avec cette flexibilité, LangExtract s’avère être un outil puissant, prêt à relever les défis de l’extraction de données, quel que soit votre domaine d’activité.

LangExtract est-il l’outil qu’il vous faut pour extraire vos données textuelles ?

LangExtract s’impose comme une solution puissante et accessible pour transformer des textes bruts en données structurées exploitables, même pour des documents volumineux et complexes. En combinant la flexibilité des prompts, la puissance des grands modèles de langage et une interface conviviale, cette bibliothèque répond aux besoins réels des professionnels confrontés à l’extraction d’informations spécifiques. Que vous soyez data scientist, analyste ou développeur, LangExtract vous fait gagner du temps tout en offrant une précision que les méthodes classiques peinent à atteindre. Il est temps de franchir le pas vers une extraction plus intelligente et personnalisée, au bénéfice direct de votre efficacité métier.

FAQ

Qu’est-ce que LangExtract et à qui s’adresse-t-il ?

LangExtract est une bibliothèque Python open-source développée par Google pour extraire des données structurées depuis du texte non structuré à l’aide de grands modèles de langage (LLMs). Elle s’adresse aux data scientists, développeurs et analystes désirant automatiser l’extraction d’informations précises dans des documents variés.

Quels modèles de langage peut-on utiliser avec LangExtract ?

LangExtract supporte plusieurs LLMs tels que Google Gemini, OpenAI GPT (par exemple gpt-4o), ainsi que des modèles locaux via Ollama. L’utilisateur choisit le modèle via l’argument model_id selon ses besoins et ressources.

Comment gérer les documents très longs avec LangExtract ?

LangExtract divise automatiquement les gros textes en morceaux via un système de chunking, effectue l’extraction en parallèle sur ces segments, puis fusionne les résultats. Des passes multiples peuvent être utilisées pour améliorer la précision et la couverture.

Faut-il une clé API pour utiliser LangExtract ?

LangExtract en tant que bibliothèque est gratuite et open-source, mais utiliser des LLMs cloud (OpenAI, Google Gemini) nécessite de fournir une clé API via une variable d’environnement. Pour les modèles locaux (Ollama), aucune clé n’est nécessaire.

Comment visualiser les résultats d’extraction avec LangExtract ?

LangExtract propose des fonctions pour sauvegarder les extractions en format JSONL et générer un fichier HTML interactif qui affiche les entités extraites dans le contexte du texte avec un code couleur selon la classe, facilitant ainsi la relecture et validation humaine.

 

 

A propos de l’auteur

Franck Scandolera, consultant expert et formateur en Analytics, Data Engineering et IA générative, accompagne depuis plus de dix ans des professionnels dans la transformation data-driven. Responsable de l’agence webAnalyste et fondateur de Formations Analytics, il maîtrise l’intégration des technologies novatrices telles que les LLMs pour automatiser la structuration de données. Son expérience terrain en tracking, pipelines data et automatisation no-code lui permet de vulgariser efficacement les outils complexes comme LangExtract, offrant ainsi à ses clients des solutions concrètes et durables pour exploiter pleinement la donnée textuelle.

Retour en haut
MetricsMag