{"id":652182,"date":"2025-10-28T23:18:20","date_gmt":"2025-10-28T22:18:20","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=652182"},"modified":"2025-10-28T23:18:28","modified_gmt":"2025-10-28T22:18:28","slug":"ajustando-e-implantando-modelos-gpt-usando-o-transformers-do-hugging-face","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/pt-br\/pycharm\/2025\/10\/ajustando-e-implantando-modelos-gpt-usando-o-transformers-do-hugging-face\/","title":{"rendered":"Ajustando e implantando modelos GPT usando o Transformers do Hugging Face"},"content":{"rendered":"

Hugging Face \u00e9 atualmente um nome conhecido entre pesquisadores e entusiastas do machine learning. Um dos seus maiores sucessos \u00e9 o Transformers<\/a>, um framework de defini\u00e7\u00e3o de modelos para modelos de machine learning em texto, vis\u00e3o computacional, \u00e1udio e v\u00eddeo. Devido ao vasto reposit\u00f3rio de modelos de machine learning de \u00faltima gera\u00e7\u00e3o dispon\u00edveis no Hugging Face Hub<\/a> e a compatibilidade do Transformers com a maioria dos frameworks de treinamento, ele \u00e9 amplamente utilizado para infer\u00eancia e treinamento de modelos.<\/p>\n

Por que fazer o ajuste-fino de um modelo de IA?<\/h2>\n

A otimiza\u00e7\u00e3o de modelos de IA \u00e9 crucial para adaptar seu desempenho a tarefas e conjuntos de dados espec\u00edficos, permitindo que eles alcancem maior precis\u00e3o e efici\u00eancia em compara\u00e7\u00e3o com o uso de um modelo de uso geral. Ao adaptar um modelo pr\u00e9-treinado, o ajuste fino reduz a necessidade de treinar do zero, economizando tempo e recursos. Ele tamb\u00e9m permite um melhor tratamento de formatos espec\u00edficos, nuances e casos extremos dentro de um determinado dom\u00ednio, gerando resultados mais confi\u00e1veis e personalizados.<\/p>\n

Neste post do nosso blog, vamos otimizar um modelo GPT com racioc\u00ednio matem\u00e1tico para que ele lide melhor com quest\u00f5es matem\u00e1ticas.<\/p>\n

Usando modelos da Hugging Face<\/h2>\n

Ao usarmos o PyCharm, podemos facilmente navegar e adicionar qualquer modelo da Hugging Face. Em um novo arquivo Python, no menu Code<\/em>, na parte superior, selecione Insert HF Model<\/em>.<\/p>\n

\"Utilizando<\/figure>\n

No menu que \u00e9 aberto, voc\u00ea pode navegar pelos modelos por categoria ou come\u00e7ar a digitar na barra de pesquisa na parte superior. Ao selecionar um modelo, voc\u00ea pode ver sua descri\u00e7\u00e3o \u00e0 direita.<\/p>\n

\"Explore<\/figure>\n

Ao clicar em Use Model<\/em>, voc\u00ea ver\u00e1 um trecho de c\u00f3digo adicionado ao seu arquivo. E \u00e9 isso \u2013 agora est\u00e1 tudo pronto para voc\u00ea come\u00e7ar a usar seu modelo da Hugging Face.<\/p>\n

\"Usar<\/figure>\n

Modelos GPT (Generative Pre-Trained Transformer)<\/h2>\n

Os modelos GPT s\u00e3o muito populares no Hugging Face Hub<\/a>, mas o que s\u00e3o? Os GPTs s\u00e3o modelos treinados que compreendem a linguagem natural e geram textos de alta qualidade. Eles s\u00e3o usados principalmente em tarefas relacionadas a associa\u00e7\u00e3o textual, resposta a perguntas, similaridade sem\u00e2ntica e classifica\u00e7\u00e3o de documentos. O exemplo mais famoso \u00e9 o ChatGPT, criado pela OpenAI<\/a>.<\/p>\n

Muitos modelos GPT da OpenAI est\u00e3o dispon\u00edveis no Hugging Face Hub<\/a>, e aprenderemos como usar esses modelos com o Transformers<\/em>, ajust\u00e1-los com nossos pr\u00f3prios dados e implant\u00e1-los em um aplicativo.<\/em><\/p>\n

Benef\u00edcios do uso do Transformers<\/h2>\n

O Transformers, juntamente com outras ferramentas fornecidas pela Hugging Face, oferece ferramentas de alto n\u00edvel para o ajuste fino de qualquer modelo sofisticado de aprendizado profundo. Em vez de exigir que voc\u00ea compreenda totalmente a arquitetura e o m\u00e9todo de tokeniza\u00e7\u00e3o de um determinado modelo, essas ferramentas ajudam a tornar os modelos \u201cplug and play\u201d com quaisquer dados de treinamento compat\u00edveis, ao mesmo tempo em que oferecem uma grande quantidade de personaliza\u00e7\u00e3o em tokeniza\u00e7\u00e3o e treinamento.<\/p>\n

Transformers em a\u00e7\u00e3o<\/h2>\n

Para ver mais de perto o <\/em>Transformers em a\u00e7\u00e3o, vamos ver como podemos us\u00e1-lo para interagir com um modelo GPT.<\/p>\n

Infer\u00eancia usando um modelo pr\u00e9-treinado com um pipeline<\/h3>\n

Ap\u00f3s selecionar e adicionar o modelo GPT-2 da OpenAI ao c\u00f3digo, este \u00e9 o resultado obtido:<\/p>\n

from transformers import pipeline\n\n\npipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\")<\/pre>\n
Antes de podermos us\u00e1-lo, precisamos fazer alguns preparativos. Primeiro, precisamos instalar um framework de machine learning. Neste exemplo, escolhemos o PyTorch<\/a>. Voc\u00ea pode instal\u00e1-lo facilmente atrav\u00e9s da janela Python Packages<\/em> no PyCharm.<\/p>\n
\"Instalar<\/figure>\n
Em seguida, precisamos instalar o Transformers <\/em>usando a op\u00e7\u00e3o `torch`. Voc\u00ea pode fazer isso usando o terminal \u2013 abra-o usando o bot\u00e3o \u00e0 esquerda ou use a tecla de atalho \u2325 F12 <\/em>(macOS) ou Alt + F12<\/em> (Windows).<\/p>\n
\"Instalar<\/figure>\n
No terminal, como estamos usando o uv, usamos os seguintes comandos para adicion\u00e1-lo como depend\u00eancia e instal\u00e1-lo:<\/p>\n
uv add \u201ctransformers[torch]\u201d\nuv sync<\/pre>\n
Se voc\u00ea estiver usando o pip:<\/p>\n
pip install \u201ctransformers[torch]\u201d<\/pre>\n
Tamb\u00e9m instalaremos mais algumas bibliotecas que precisaremos posteriormente, incluindo python-dotenv, datasets, <\/em>notebook <\/em>e <\/em>ipywidgets. <\/em>Voc\u00ea pode usar qualquer um dos m\u00e9todos acima para instal\u00e1-los.
Depois disso, talvez seja melhor adicionar um dispositivo GPU para acelerar o modelo. Dependendo do que voc\u00ea tem na sua m\u00e1quina, voc\u00ea pode adicion\u00e1-lo definindo o par\u00e2metro do dispositivo no pipeline.. <\/em>Como estou usando um computador Mac M2, posso definir device=\"mps\"<\/code> desta maneira:<\/p>\n
pipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\", device=\"mps\")<\/pre>\n
Se voc\u00ea tiver GPUs CUDA, tamb\u00e9m poder\u00e1 definir device=\"cuda\"<\/code>.<\/p>\n
Agora que configuramos nosso pipeline, vamos test\u00e1-lo com um prompt simples:<\/p>\n
from transformers import pipeline\n\n\npipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\", device=\"mps\")\n\n\nprint(pipe(\"A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?\", max_new_tokens=200))<\/pre>\n
Execute o script com o bot\u00e3o Run<\/em> () na parte superior:<\/p>\n
\"Execute<\/figure>\n
O resultado ser\u00e1 semelhante a este:<\/p>\n
[{'generated_text': 'A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter'}]<\/pre>\n
N\u00e3o h\u00e1 muito racioc\u00ednio nisso, apenas um monte de coisas sem sentido.\u00a0<\/p>\n
Voc\u00ea tamb\u00e9m poder\u00e1 receber este aviso:<\/p>\n
Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.<\/pre>\n
Esta \u00e9 a configura\u00e7\u00e3o padr\u00e3o. Voc\u00ea tamb\u00e9m pode adicion\u00e1-la manualmente, conforme mostrado abaixo, para que este aviso desapare\u00e7a, mas n\u00e3o precisamos nos preocupar muito com isso nesta fase.<\/p>\n
print(pipe(\"A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?\", max_new_tokens=200, pad_token_id=pipe.tokenizer.eos_token_id))<\/pre>\n
Agora que vimos como o GPT-2 se comporta imediatamente ap\u00f3s a implanta\u00e7\u00e3o, vamos ver se conseguimos melhor\u00e1-lo no racioc\u00ednio matem\u00e1tico com alguns ajustes.<\/p>\n
Carregue e prepare um conjunto de dados do Hugging Face Hub<\/h3>\n
Antes de trabalharmos no modelo GPT, precisamos primeiro de dados de treinamento. Vejamos como obter um conjunto de dados do Hugging Face Hub.<\/p>\n
Se ainda n\u00e3o o fez, inscreva-se para obter uma conta Hugging Face e criar um token de acesso<\/a>. Por enquanto, s\u00f3 precisamos de um token `read`. Armazene seu token em um arquivo `.env`, desta forma:<\/p>\n
HF_TOKEN=your-hugging-face-access-token<\/pre>\n
Usaremos este Conjunto de dados de racioc\u00ednio matem\u00e1tico<\/a>, que cont\u00e9m texto descrevendo alguns racioc\u00ednios matem\u00e1ticos. Ajustaremos nosso modelo GPT com este conjunto de dados para que ele possa resolver problemas matem\u00e1ticos de maneira mais eficaz.<\/p>\n
Vamos criar um novo notebook Jupyter, que usaremos para o ajuste fino, pois ele nos permite executar diferentes trechos de c\u00f3digo, um por um, e monitorar o progresso.<\/p>\n
Na primeira c\u00e9lula, usamos este script para carregar o conjunto de dados do Hugging Face Hub:<\/p>\n
from datasets import load_dataset\nfrom dotenv import load_dotenv\nimport os\n\n\nload_dotenv()\ndataset = load_dataset(\"Cheukting\/math-meta-reasoning-cleaned\", token=os.getenv(\"HF_TOKEN\"))\ndataset<\/pre>\n
Execute esta c\u00e9lula (pode demorar um pouco, dependendo da velocidade da sua internet), que ir\u00e1 baixar o conjunto de dados. Quando estiver pronto, podemos dar uma olhada no resultado:<\/p>\n
DatasetDict({\n    train: Dataset({\n        features: ['id', 'text', 'token_count'],\n        num_rows: 987485\n    })\n})\n<\/pre>\n
Se voc\u00ea estiver curioso e quiser dar uma olhada nos dados, pode fazer isso no PyCharm. Abra a janela Jupyter Variables<\/em> usando o bot\u00e3o \u00e0 direita:<\/p>\n
\"Abrindo<\/figure>\n
Expanda dataset<\/em>, e voc\u00ea ver\u00e1 a op\u00e7\u00e3o View as DataFrame<\/em> ao lado de dataset[\u2018train\u2019]<\/em>:<\/p>\n
\"Jupyter<\/figure>\n
Clique nele para ver os dados na janela de ferramentas Data View<\/em>:<\/p>\n
\"Ferramenta<\/figure>\n
Em seguida, vamos tokenizar o texto no conjunto de dados:<\/p>\n
from transformers import GPT2Tokenizer\n\n\ntokenizer = GPT2Tokenizer.from_pretrained(\"openai-community\/gpt2\")\ntokenizer.pad_token = tokenizer.eos_token\n\n\ndef tokenize_function(examples):\n   return tokenizer(examples['text'], truncation=True, padding='max_length', max_length=512)\n\n\ntokenized_datasets = dataset.map(tokenize_function, batched=True)<\/pre>\n
Aqui, usamos o tokenizador GPT-2 e definimos o pad_token<\/code> para ser o eos_token<\/code>, que \u00e9 o s\u00edmbolo que indica o fim da linha. Depois disso, vamos tokenizar o texto com uma fun\u00e7\u00e3o. Pode demorar um pouco na primeira vez que voc\u00ea execut\u00e1-lo, mas depois disso ele ser\u00e1 armazenado em cache e ficar\u00e1 mais r\u00e1pido se voc\u00ea precisar executar a c\u00e9lula novamente.<\/p>\n
O conjunto de dados tem quase 1 milh\u00e3o de linhas para treinamento. Se voc\u00ea tiver capacidade computacional suficiente para processar tudo, poder\u00e1 utiliz\u00e1-los todos. No entanto, nesta demonstra\u00e7\u00e3o, estamos treinando localmente em um laptop, ent\u00e3o \u00e9 melhor usar apenas uma pequena parte!<\/p>\n
tokenized_datasets_split = tokenized_datasets[\"train\"].shard(num_shards=100, index=0).train_test_split(test_size=0.2, shuffle=True)\ntokenized_datasets_split<\/pre>\n
Aqui, uso apenas 1% dos dados e, em seguida, executo train_test_split<\/code> <\/em>para dividir o conjunto de dados em dois:<\/p>\n
DatasetDict({\n    train: Dataset({\n        features: ['id', 'text', 'token_count', 'input_ids', 'attention_mask'],\n        num_rows: 7900\n    })\n    test: Dataset({\n        features: ['id', 'text', 'token_count', 'input_ids', 'attention_mask'],\n        num_rows: 1975\n    })\n})\n<\/pre>\n
Agora estamos prontos para fazer o ajuste fino do modelo GPT-2.<\/p>\n
Ajuste-fino de um modelo GPT<\/h3>\n
Na pr\u00f3xima c\u00e9lula vazia, definiremos nossos argumentos de treinamento:<\/p>\n
from transformers import TrainingArguments\ntraining_args = TrainingArguments(\n   output_dir='.\/results',\n   num_train_epochs=5,\n   per_device_train_batch_size=8,\n   per_device_eval_batch_size=8,\n   warmup_steps=100,\n   weight_decay=0.01,\n   save_steps = 500,\n   logging_steps=100,\n   dataloader_pin_memory=False\n)<\/pre>\n
A maioria deles \u00e9 bastante comum para o ajuste fino de um modelo. No entanto, dependendo da configura\u00e7\u00e3o do seu computador, talvez seja necess\u00e1rio ajustar algumas coisas:<\/p>\n