{"id":649021,"date":"2025-10-16T09:47:22","date_gmt":"2025-10-16T08:47:22","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=649021"},"modified":"2025-10-16T09:47:28","modified_gmt":"2025-10-16T08:47:28","slug":"affiner-et-deployer-des-modeles-gpt-avec-hugging-face-transformers","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/fr\/pycharm\/2025\/10\/affiner-et-deployer-des-modeles-gpt-avec-hugging-face-transformers\/","title":{"rendered":"Affiner et d\u00e9ployer des mod\u00e8les GPT avec Hugging Face Transformers"},"content":{"rendered":"

Hugging Face est devenu une r\u00e9f\u00e9rence aussi bien pour les chercheurs en machine learning que pour les amateurs. L’un de leurs plus grands succ\u00e8s est Transformers<\/a>, un framework de d\u00e9finition de mod\u00e8les pour le machine learning, que ce soit pour le texte, la vision par ordinateur, l’audio ou la vid\u00e9o. En raison du vaste r\u00e9f\u00e9rentiel de mod\u00e8les de machine learning de pointe disponibles sur Hugging Face Hub<\/a> et de la compatibilit\u00e9 de Transformers avec la majorit\u00e9 des frameworks d’entra\u00eenement, il est largement utilis\u00e9 pour l’inf\u00e9rence et l’entra\u00eenement de mod\u00e8les.<\/p>\n

Pourquoi ajuster un mod\u00e8le d’IA ?<\/h2>\n

L’ajustement des mod\u00e8les d’IA est essentiel pour adapter leurs performances \u00e0 des t\u00e2ches et \u00e0 des ensembles de donn\u00e9es sp\u00e9cifiques, afin de les rendre plus pr\u00e9cis et efficaces par rapport \u00e0 un mod\u00e8le \u00e0 usage g\u00e9n\u00e9ral. En adaptant un mod\u00e8le pr\u00e9-entra\u00een\u00e9, l’ajustement r\u00e9duit la n\u00e9cessit\u00e9 de proc\u00e9der \u00e0 un entra\u00eenement \u00e0 partir de z\u00e9ro, ce qui permet d’\u00e9conomiser du temps et des ressources. Il permet \u00e9galement d’am\u00e9liorer le traitement de formats sp\u00e9cifiques, de nuances et de cas atypiques dans un domaine donn\u00e9, ce qui donne des r\u00e9sultats plus fiables et mieux adapt\u00e9s.<\/p>\n

Dans cet article, nous allons optimiser un mod\u00e8le GPT avec un raisonnement math\u00e9matique afin qu’il puisse mieux r\u00e9pondre aux questions du domaine des math\u00e9matiques.<\/p>\n

Utiliser des mod\u00e8les de Hugging Face<\/h2>\n

Lorsque vous utilisez PyCharm, vous pouvez facilement parcourir et ajouter de nouveaux mod\u00e8les provenant de Hugging Face. Dans un nouveau fichier Python, dans le menu Code<\/em> en haut, s\u00e9lectionnez Insert HF Model<\/em>.<\/p>\n

\"Utilisation<\/figure>\n

Dans le menu qui s’ouvre, vous pouvez parcourir les mod\u00e8les par cat\u00e9gorie ou saisir votre recherche dans la barre pr\u00e9vue \u00e0 cet effet en haut. Lorsque vous s\u00e9lectionnez un mod\u00e8le, sa description s’affiche \u00e0 sa droite.<\/p>\n

\"Explorer<\/figure>\n

Cliquez sur Use Model<\/em> pour ajouter un extrait de code \u00e0 votre fichier. Et voil\u00e0, il ne vous reste plus qu’\u00e0 utiliser votre mod\u00e8le Hugging Face.<\/p>\n

\"Utiliser<\/figure>\n

Mod\u00e8les GPT (Generative Pre-Trained Transformer – Transformer g\u00e9n\u00e9ratif pr\u00e9-entra\u00een\u00e9)<\/h2>\n

Les mod\u00e8les GPT sont tr\u00e8s populaires sur Hugging Face Hub<\/a>, mais de quoi s’agit-il ? Les mod\u00e8les GPT d\u00e9signent des mod\u00e8les entra\u00een\u00e9s capables de comprendre le langage naturel et de g\u00e9n\u00e9rer du texte de haute qualit\u00e9. Ils sont principalement utilis\u00e9s dans des t\u00e2ches li\u00e9es \u00e0 l’implication textuelle, \u00e0 la r\u00e9ponse \u00e0 des questions, \u00e0 la similarit\u00e9 s\u00e9mantique et \u00e0 la classification de documents. L’exemple le plus c\u00e9l\u00e8bre est ChatGPT, cr\u00e9\u00e9 par OpenAI<\/a>.<\/p>\n

De nombreux mod\u00e8les OpenAI GPT sont disponibles sur Hugging Face Hub<\/a>. Nous allons voir comment les utiliser avec Transformers, les ajuster avec nos propres donn\u00e9es et les d\u00e9ployer dans une application.<\/p>\n

Avantages de l’utilisation de Transformers<\/h2>\n

Transformers, associ\u00e9 \u00e0 d’autres outils de Hugging Face, offre des outils avanc\u00e9s permettant d’ajuster n’importe quel mod\u00e8le sophistiqu\u00e9 de deep learning. Si vous ne souhaitez pas vous pencher sur les d\u00e9tails de l’architecture d’un mod\u00e8le donn\u00e9 et de sa m\u00e9thode de tokenisation, utilisez ces outils pour cr\u00e9er des mod\u00e8les \u00ab\u00a0plug and play\u00a0\u00bb \u00e0 partir des donn\u00e9es d\u2019entra\u00eenement compatibles. Ils offrent par ailleurs de nombreuses possibilit\u00e9s de personnalisation de la tokenisation et de l’entra\u00eenement.<\/p>\n

Transformers en action<\/h2>\n

Pour voir de plus pr\u00e8s comment fonctionne Transformers, regardons comment l’utiliser pour interagir avec un mod\u00e8le GPT.<\/p>\n

Inf\u00e9rence au moyen d’un mod\u00e8le pr\u00e9-entra\u00een\u00e9 avec un pipeline<\/h3>\n

Apr\u00e8s avoir s\u00e9lectionn\u00e9 et ajout\u00e9 le mod\u00e8le GPT-2 d’OpenAI au code, nous obtenons ce qui suit :<\/p>\n

from transformers import pipeline\n\n\npipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\")<\/pre>\n
Avant de l’utiliser, nous devons effectuer quelques pr\u00e9paratifs. Tout d’abord, nous devons installer un framework de machine learning. Dans cet exemple, nous avons choisi PyTorch<\/a>. Vous pouvez l’installer facilement via la fen\u00eatre Python Packages<\/em> dans PyCharm.<\/p>\n
\"Installation<\/figure>\n
Ensuite, nous devons installer Transformers avec l’option `torch`. Pour ce faire, utilisez le terminal. Ouvrez-le en utilisant le bouton de gauche ou utilisez les touches de raccourci \u2325 F12 <\/em>(macOS) ou Alt + F12<\/em> (Windows).<\/p>\n
\"Installation<\/figure>\n
Dans le terminal, dans la mesure o\u00f9 nous utilisons uv, nous devons utiliser les commandes suivantes pour ajouter l’ensemble en tant que d\u00e9pendance et l’installer :<\/p>\n
uv add \u201ctransformers[torch]\u201d\nuv sync<\/pre>\n
Si vous utilisez pip :<\/p>\n
pip install \u201ctransformers[torch]\u201d<\/pre>\n
Nous allons \u00e9galement installer quelques autres biblioth\u00e8ques dont nous aurons besoin par la suite, avec notamment python-dotenv, datasets, notebook et ipywidgets. Vous pouvez utiliser l’une des m\u00e9thodes ci-dessus pour les installer.
Ensuite, il peut \u00eatre pr\u00e9f\u00e9rable d’ajouter un GPU pour acc\u00e9l\u00e9rer le mod\u00e8le. Selon la configuration de votre ordinateur, vous pouvez l’ajouter en d\u00e9finissant le param\u00e8tre device dans le pipeline. Puisque j’utilise un Mac M2, je peux d\u00e9finir device=\"mps\"<\/code> de la fa\u00e7on suivante :<\/p>\n
pipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\", device=\"mps\")<\/pre>\n
Si vous avez des GPU CUDA, vous pouvez \u00e9galement utiliser device=\"cuda\"<\/code>.<\/p>\n
Maintenant que le pipeline est configur\u00e9, nous allons faire un essai avec un prompt simple :<\/p>\n
from transformers import pipeline\n\n\npipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\", device=\"mps\")\n\n\nprint(pipe(\"A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?\", max_new_tokens=200))<\/pre>\n
Cliquez sur le bouton Run<\/em>, en haut, pour ex\u00e9cuter le script () :<\/p>\n
\"Ex\u00e9cution<\/figure>\n
Le r\u00e9sultat prend la forme suivante :<\/p>\n
[{'generated_text': 'A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter'}]<\/pre>\n
Il n’y a pratiquement aucun raisonnement, juste une suite de mots.\u00a0<\/p>\n
Vous verrez peut-\u00eatre \u00e9galement cet avertissement :<\/p>\n
Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.<\/pre>\n
Il s’agit du param\u00e8tre par d\u00e9faut. Vous pouvez \u00e9galement l’ajouter manuellement comme indiqu\u00e9 ci-dessous, pour faire dispara\u00eetre l’avertissement, mais nous n’avons pas vraiment \u00e0 nous en pr\u00e9occuper \u00e0 ce stade.<\/p>\n
print(pipe(\"A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?\", max_new_tokens=200, pad_token_id=pipe.tokenizer.eos_token_id))<\/pre>\n
Maintenant que nous avons vu comment GPT-2 fonctionne tel quel, nous allons essayer d’am\u00e9liorer son raisonnement math\u00e9matique.<\/p>\n
Chargement et pr\u00e9paration d’un ensemble de donn\u00e9es depuis Hugging Face Hub<\/h3>\n
Avant de travailler sur le mod\u00e8le GPT, nous avons d’abord besoin de donn\u00e9es d’entra\u00eenement. Voyons comment obtenir un ensemble de donn\u00e9es depuis Hugging Face Hub.<\/p>\n
Si ce n’est pas d\u00e9j\u00e0 fait, cr\u00e9ez un compte Hugging Face, ainsi qu’un jeton d’acc\u00e8s<\/a>. Nous n’avons besoin que d’un jeton `read` pour l’instant. Stockez votre jeton dans un fichier `.env` de la fa\u00e7on suivante :<\/p>\n
HF_TOKEN=your-hugging-face-access-token<\/pre>\n
Nous allons utiliser Math Reasoning Dataset<\/a>, qui comporte du texte d\u00e9crivant des raisonnements math\u00e9matiques. Nous allons ajuster notre mod\u00e8le GPT avec cet ensemble de donn\u00e9e afin qu’il puisse r\u00e9soudre plus efficacement les probl\u00e8mes math\u00e9matiques.<\/p>\n
Nous allons cr\u00e9er un notebook Jupyter, que nous utiliserons pour l’ajustement, car il permet d’ex\u00e9cuter diff\u00e9rents extraits de code un par un et de suivre la progression.<\/p>\n
Dans la premi\u00e8re cellule, nous allons utiliser ce script pour charger l’ensemble de donn\u00e9es depuis Hugging Face Hub :<\/p>\n
from datasets import load_dataset\nfrom dotenv import load_dotenv\nimport os\n\n\nload_dotenv()\ndataset = load_dataset(\"Cheukting\/math-meta-reasoning-cleaned\", token=os.getenv(\"HF_TOKEN\"))\ndataset<\/pre>\n
Ex\u00e9cutez cette cellule (cela peut prendre du temps selon le d\u00e9bit de votre connexion Internet) pour t\u00e9l\u00e9charger l’ensemble de donn\u00e9es. Une fois cette op\u00e9ration termin\u00e9e, nous pouvons examiner les r\u00e9sultats :<\/p>\n
DatasetDict({\n    train: Dataset({\n        features: ['id', 'text', 'token_count'],\n        num_rows: 987485\n    })\n})\n<\/pre>\n
Si vous \u00eates curieux et souhaitez jeter un \u0153il sur les donn\u00e9es, vous pouvez le faire dans PyCharm. Ouvrez la fen\u00eatre Jupyter Variables<\/em> en utilisant le bouton de droite :<\/p>\n
\"Ouverture<\/figure>\n
D\u00e9veloppez la section dataset<\/em> pour voir l’option View as DataFrame<\/em> pr\u00e8s de dataset[\u2018train\u2019]<\/em> :<\/p>\n
\"Variables<\/figure>\n
Cliquez dessus pour examiner les donn\u00e9es dans la fen\u00eatre d’outils Data View<\/em> :<\/p>\n
\"Outil<\/figure>\n
Ensuite, nous allons tokeniser le texte de l’ensemble de donn\u00e9es :<\/p>\n
from transformers import GPT2Tokenizer\n\n\ntokenizer = GPT2Tokenizer.from_pretrained(\"openai-community\/gpt2\")\ntokenizer.pad_token = tokenizer.eos_token\n\n\ndef tokenize_function(examples):\n   return tokenizer(examples['text'], truncation=True, padding='max_length', max_length=512)\n\n\ntokenized_datasets = dataset.map(tokenize_function, batched=True)<\/pre>\n
Ici, nous utilisons le tokenizer GPT-2 et d\u00e9finissons pad_token<\/code> sur eos_token<\/code> : il s’agit du jeton de fin de ligne. Ensuite, nous allons tokeniser le texte avec une fonction. La premi\u00e8re ex\u00e9cution risque d’\u00eatre laborieuse, mais ensuite, les donn\u00e9es seront en m\u00e9moire cache et permettront de r\u00e9ex\u00e9cuter la cellule plus rapidement.<\/p>\n
Le jeu de donn\u00e9es comporte plus de 1 million de lignes pour l’entra\u00eenement. Si vous disposez de suffisamment de puissance de calcul pour les traiter toutes, vous pouvez toutes les utiliser. Dans la mesure o\u00f9 la pr\u00e9sente d\u00e9monstration consiste en un entra\u00eenement local sur un ordinateur portable, je n’en utiliserai qu’une petite partie !<\/p>\n
tokenized_datasets_split = tokenized_datasets[\"train\"].shard(num_shards=100, index=0).train_test_split(test_size=0.2, shuffle=True)\ntokenized_datasets_split<\/pre>\n
Ici, je ne prends que 1 % des donn\u00e9es, puis j’ex\u00e9cute train_test_split<\/code> pour diviser l’ensemble de donn\u00e9es en deux :<\/p>\n
DatasetDict({\n    train: Dataset({\n        features: ['id', 'text', 'token_count', 'input_ids', 'attention_mask'],\n        num_rows: 7900\n    })\n    test: Dataset({\n        features: ['id', 'text', 'token_count', 'input_ids', 'attention_mask'],\n        num_rows: 1975\n    })\n})\n<\/pre>\n
Nous sommes d\u00e9sormais pr\u00eats \u00e0 ajuster le mod\u00e8le GPT-2.<\/p>\n
Ajuster un mod\u00e8le GPT<\/h3>\n
Nous allons utiliser la cellule vide suivante pour d\u00e9finir nos arguments d’entra\u00eenement :<\/p>\n
from transformers import TrainingArguments\ntraining_args = TrainingArguments(\n   output_dir='.\/results',\n   num_train_epochs=5,\n   per_device_train_batch_size=8,\n   per_device_eval_batch_size=8,\n   warmup_steps=100,\n   weight_decay=0.01,\n   save_steps = 500,\n   logging_steps=100,\n   dataloader_pin_memory=False\n)<\/pre>\n
La plupart d’entre eux sont assez standards pour l’ajustement d’un mod\u00e8le. Toutefois, selon la configuration de votre ordinateur, il peut \u00eatre n\u00e9cessaire d’ajuster plusieurs choses :<\/p>\n