{"id":652183,"date":"2025-10-28T23:23:29","date_gmt":"2025-10-28T22:23:29","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=652183"},"modified":"2025-10-28T23:23:37","modified_gmt":"2025-10-28T22:23:37","slug":"ajuste-e-implementacion-de-modelos-de-gpt-con-transformers-de-hugging-face","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/es\/pycharm\/2025\/10\/ajuste-e-implementacion-de-modelos-de-gpt-con-transformers-de-hugging-face\/","title":{"rendered":"Ajuste e implementaci\u00f3n de modelos de GPT con Transformers de Hugging Face"},"content":{"rendered":"

Actualmente, Hugging Face es un referente entre los investigadores y los entusiastas del aprendizaje autom\u00e1tico. Uno de sus mayores \u00e9xitos son los Transformers<\/a>, un marco de trabajo de definici\u00f3n de modelos para aprendizaje autom\u00e1tico en texto, visi\u00f3n artificial, audio y v\u00eddeo. Debido al amplio repositorio de modelos de aprendizaje autom\u00e1tico de \u00faltima generaci\u00f3n disponibles en Hugging Face Hub<\/a> y a la compatibilidad de los Transformers con la mayor\u00eda de los marcos de trabajo de entrenamiento, se utiliza ampliamente para la inferencia y el entrenamiento de modelos.<\/p>\n

\u00bfPor qu\u00e9 queremos ajustar un modelo de IA?<\/h2>\n

El ajuste de los modelos de IA es fundamental para adaptar su rendimiento a tareas y conjuntos de datos espec\u00edficos, lo que les permite ser m\u00e1s precisos y eficientes en comparaci\u00f3n con el uso de un modelo generalista. Al adaptar un modelo entrenado previamente, el ajuste no implica un entrenamiento desde cero, lo que ahorra tiempo y recursos. Tambi\u00e9n permite manejar mejor los formatos espec\u00edficos, los matices y los casos extremos dentro de un campo concreto, por lo que los resultados son m\u00e1s fiables y personalizados.<\/p>\n

En este art\u00edculo del blog, ajustaremos un modelo de GPT con razonamiento matem\u00e1tico para que maneje mejor las preguntas sobre matem\u00e1ticas.<\/p>\n

Uso de modelos de Hugging Face<\/h2>\n

Si usamos PyCharm, podemos explorar y a\u00f1adir f\u00e1cilmente cualquier modelo de Hugging Face. En un nuevo archivo de Python, desde el men\u00fa Code<\/em> de la parte superior, seleccione Insert HF Model<\/em>.<\/p>\n

\"Uso<\/figure>\n

En el men\u00fa que se abre, ver\u00e1 los modelos por categor\u00eda o podr\u00e1 escribir en la barra de b\u00fasqueda situada en la parte superior. Al seleccionar un modelo, ver\u00e1 su descripci\u00f3n a la derecha.<\/p>\n

\"Exploraci\u00f3n<\/figure>\n

Al hacer clic en Use Model<\/em>, ver\u00e1 que se a\u00f1ade un fragmento de c\u00f3digo al archivo. \u00a1Ya lo tiene! Listo para empezar a usar el modelo de Hugging Face.<\/p>\n

\"Uso<\/figure>\n

Modelos de GPT (Generative Pre-Trained Transformer)<\/h2>\n

Los modelos de GPT son muy populares en Hugging Face Hub<\/a>, pero \u00bfqu\u00e9 son? Los GPT son modelos entrenados que entienden el lenguaje natural y generan texto de alta calidad. Se utilizan principalmente en tareas relacionadas con los textos, la respuesta a preguntas, la similitud sem\u00e1ntica y la clasificaci\u00f3n de documentos. El ejemplo m\u00e1s conocido es ChatGPT, creado por OpenAI<\/a>.<\/p>\n

Hay muchos modelos de GPT de OpenAI disponibles en Hugging Face Hub<\/a> y aprenderemos a utilizarlos con los Transformers, ajustarlos con nuestros propios datos e implementarlos en una aplicaci\u00f3n.<\/p>\n

Ventajas de utilizar Transformers<\/h2>\n

Los Transformers, junto con otras herramientas proporcionadas por Hugging Face, ofrecen herramientas de alto nivel para ajustar cualquier modelo sofisticado de aprendizaje profundo. En lugar de exigirle que comprenda completamente la arquitectura y el m\u00e9todo de tokenizaci\u00f3n de un modelo determinado, estas herramientas ayudan a que los modelos sean \u00abplug and play\u00bb con cualquier dato de entrenamiento compatible, adem\u00e1s de que permiten personalizar mucho la tokenizaci\u00f3n y el entrenamiento.<\/p>\n

Transformers en acci\u00f3n<\/h2>\n

Para ver m\u00e1s de cerca c\u00f3mo funcionan los Transformers, veamos c\u00f3mo podemos utilizarlos para interactuar con un modelo de GPT.<\/p>\n

Inferencia utilizando un modelo entrenado previamente con un proceso<\/h3>\n

Tras seleccionar y a\u00f1adir el modelo OpenAI GPT-2 al c\u00f3digo, esto es lo que obtenemos:<\/p>\n

from transformers import pipeline\n\n\npipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\")<\/pre>\n
Antes de poder utilizarlo, debemos hacer algunos ajustes. En primer lugar, debemos instalar un marco de trabajo de aprendizaje autom\u00e1tico. En este ejemplo, hemos elegido PyTorch<\/a>. Se puede instalar f\u00e1cilmente a trav\u00e9s de la ventana Python Packages<\/em> en PyCharm.<\/p>\n
\"Instalaci\u00f3n<\/figure>\n
A continuaci\u00f3n, debemos instalar los Transformers con la opci\u00f3n `torch`. Para ello, utilice el terminal: \u00e1bralo con el bot\u00f3n de la izquierda o utilice la tecla de acceso r\u00e1pido \u2325 F12<\/em> (macOS) o Alt + F12<\/em> (Windows).<\/p>\n
\"Instalaci\u00f3n<\/figure>\n
En el terminal, dado que estamos con uv, utilizamos los siguientes comandos para a\u00f1adirlo como dependencia e instalarlo:<\/p>\n
uv add \u201ctransformers[torch]\u201d\nuv sync<\/pre>\n
Si usa pip:<\/p>\n
pip install \u201ctransformers[torch]\u201d<\/pre>\n
Tambi\u00e9n instalaremos un par de bibliotecas m\u00e1s que necesitaremos m\u00e1s adelante, como python-dotenv, datasets, <\/em>notebook e ipywidgets. <\/em>Puede utilizar cualquiera de los m\u00e9todos anteriores para instalarlas.
Despu\u00e9s, lo mejor ser\u00eda a\u00f1adir un dispositivo GPU para acelerar el modelo. Dependiendo de lo que haya en la m\u00e1quina, se puede a\u00f1adir configurando el par\u00e1metro del dispositivo en el proceso. <\/em>Como estoy usando una m\u00e1quina Mac M2, puedo configurar device=\"mps\"<\/code> as\u00ed:<\/p>\n
pipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\", device=\"mps\")<\/pre>\n
Si tiene una GPU CUDA, tambi\u00e9n puede configurar device=\"cuda\"<\/code>.<\/p>\n
Ahora que hemos configurado el canal, vamos a probarlo con una petici\u00f3n sencilla:<\/p>\n
from transformers import pipeline\n\n\npipe = pipeline(\"text-generation\", model=\"openai-community\/gpt2\", device=\"mps\")\n\n\nprint(pipe(\"A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?\", max_new_tokens=200))<\/pre>\n
Ejecute el script con el bot\u00f3n Run<\/em> () situado en la parte superior:<\/p>\n
\"Ejecuci\u00f3n<\/figure>\n
El resultado se parecer\u00e1 a esto:<\/p>\n
[{'generated_text': 'A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width?nnA rectangle has a perimeter of 20 cm. If the width is 6 cm, what is the width? A rectangle has a perimeter'}]<\/pre>\n
Aqu\u00ed no hay demasiado razonamiento, sino palabras sin mucho sentido.\u00a0<\/p>\n
Tambi\u00e9n es posible que aparezca esta advertencia:<\/p>\n
Setting `pad_token_id` to `eos_token_id`:50256 for open-end generation.<\/pre>\n
Esta es la configuraci\u00f3n predeterminada. Tambi\u00e9n puede a\u00f1adirla de forma manual como se muestra a continuaci\u00f3n para que esta advertencia desaparezca, pero ahora mismo no es algo que deba preocuparnos.<\/p>\n
print(pipe(\"A rectangle has a perimeter of 20 cm. If the length is 6 cm, what is the width?\", max_new_tokens=200, pad_token_id=pipe.tokenizer.eos_token_id))<\/pre>\n
Ahora que hemos visto c\u00f3mo se comporta GPT-2 sin configuraciones adicionales, veamos si podemos mejorar su razonamiento matem\u00e1tico con algunos ajustes.<\/p>\n
Carga y preparaci\u00f3n de un conjunto de datos desde Hugging Face Hub<\/h3>\n
Antes de trabajar con el modelo de GPT, primero necesitamos datos de entrenamiento. Veamos c\u00f3mo conseguir un conjunto de datos desde Hugging Face Hub.<\/p>\n
Si a\u00fan no lo ha hecho, reg\u00edstrese en Hugging Face y cree un token de acceso<\/a>. De momento, solo necesitamos un token `read`. Guarde el token as\u00ed en un archivo `.env`:<\/p>\n
HF_TOKEN=your-hugging-face-access-token<\/pre>\n
Utilizaremos este conjunto de datos de razonamiento matem\u00e1tico<\/a>, que contiene texto que describe algunos razonamientos matem\u00e1ticos. Ajustaremos nuestro modelo GPT con este conjunto de datos para que pueda resolver problemas matem\u00e1ticos de forma m\u00e1s eficaz.<\/p>\n
Vamos a crear un nuevo notebook de Jupyter, que utilizaremos para el proceso de ajuste, ya que nos permite ejecutar diferentes fragmentos de c\u00f3digo uno por uno y supervisar el progreso.<\/p>\n
En la primera celda, utilizamos este script para cargar el conjunto de datos desde Hugging Face Hub:<\/p>\n
from datasets import load_dataset\nfrom dotenv import load_dotenv\nimport os\n\n\nload_dotenv()\ndataset = load_dataset(\"Cheukting\/math-meta-reasoning-cleaned\", token=os.getenv(\"HF_TOKEN\"))\ndataset<\/pre>\n
Ejecute esta celda (puede tardar un poco, seg\u00fan la velocidad de su conexi\u00f3n a Internet), que descargar\u00e1 el conjunto de datos. Cuando haya terminado, podremos ver el resultado:<\/p>\n
DatasetDict({\n    train: Dataset({\n        features: ['id', 'text', 'token_count'],\n        num_rows: 987485\n    })\n})\n<\/pre>\n
Si tiene curiosidad y quiere echar un vistazo a los datos, puede hacerlo en PyCharm. Abra la ventana Jupyter Variables<\/em> con el bot\u00f3n de la derecha:<\/p>\n
\"Apertura<\/figure>\n
Expanda el conjunto de datos<\/em> y ver\u00e1 la opci\u00f3n View as DataFrame<\/em> junto a dataset[\u2018train\u2019]<\/em>:<\/p>\n
\"Jupyter<\/figure>\n
Haga clic en este para ver los datos en la ventana de herramientas Data View<\/em>:<\/p>\n
\"Herramienta<\/figure>\n
A continuaci\u00f3n, tokenizaremos el texto del conjunto de datos:<\/p>\n
from transformers import GPT2Tokenizer\n\n\ntokenizer = GPT2Tokenizer.from_pretrained(\"openai-community\/gpt2\")\ntokenizer.pad_token = tokenizer.eos_token\n\n\ndef tokenize_function(examples):\n   return tokenizer(examples['text'], truncation=True, padding='max_length', max_length=512)\n\n\ntokenized_datasets = dataset.map(tokenize_function, batched=True)<\/pre>\n
Aqu\u00ed utilizamos el tokenizador GPT-2 y configuramos el pad_token<\/code> para que sea el eos_token<\/code>, que es el token que indica el final de la l\u00ednea. A continuaci\u00f3n, tokenizaremos el texto con una funci\u00f3n. Es posible que la primera vez que lo ejecute tarde un poco, pero despu\u00e9s se almacenar\u00e1 en la cach\u00e9 y ser\u00e1 m\u00e1s r\u00e1pido si hay que volver a ejecutar la celda.<\/p>\n
El conjunto de datos tiene casi un mill\u00f3n de filas para el entrenamiento. Si tiene suficiente potencia de c\u00e1lculo para procesarlas todas, puede utilizarlas todas. Sin embargo, en esta demostraci\u00f3n estamos entrenando de forma local en un ordenador port\u00e1til, \u00a1as\u00ed que es mejor que utilice solo una peque\u00f1a parte!<\/p>\n
tokenized_datasets_split = tokenized_datasets[\"train\"].shard(num_shards=100, index=0).train_test_split(test_size=0.2, shuffle=True)\ntokenized_datasets_split<\/pre>\n
Aqu\u00ed tomo solo el 1\u00a0% de los datos y, a continuaci\u00f3n, ejecuto train_test_split<\/code> para dividir el conjunto de datos en dos:<\/p>\n
DatasetDict({\n    train: Dataset({\n        features: ['id', 'text', 'token_count', 'input_ids', 'attention_mask'],\n        num_rows: 7900\n    })\n    test: Dataset({\n        features: ['id', 'text', 'token_count', 'input_ids', 'attention_mask'],\n        num_rows: 1975\n    })\n})\n<\/pre>\n
Ya estamos listos para ajustar el modelo GPT-2.<\/p>\n
Ajuste de un modelo de GPT<\/h3>\n
En la siguiente celda vac\u00eda, estableceremos los argumentos de entrenamiento:<\/p>\n
from transformers import TrainingArguments\ntraining_args = TrainingArguments(\n   output_dir='.\/results',\n   num_train_epochs=5,\n   per_device_train_batch_size=8,\n   per_device_eval_batch_size=8,\n   warmup_steps=100,\n   weight_decay=0.01,\n   save_steps = 500,\n   logging_steps=100,\n   dataloader_pin_memory=False\n)<\/pre>\n
La mayor\u00eda de ellos son bastante est\u00e1ndar para ajustar un modelo, aunque, seg\u00fan la configuraci\u00f3n del ordenador, es posible que quiera modificar algunas cosas:<\/p>\n