JetBrains AI
Supercharge your tools with AI-powered features inside many JetBrains products
Mellum2 se pasa al código abierto: un modelo rápido para flujos de trabajo de IA
Entrenado desde cero y diseñado para un despliegue práctico, Mellum2 se ha creado para el enrutamiento, preguntas y respuestas, subagentes y el uso privado de la IA en sistemas de ingeniería de software.
Hoy lanzamos como código abierto Mellum2, un modelo de 12 000 millones de parámetros diseñado para resolver las partes más difíciles de la IA de producción: la latencia, el rendimiento y el coste. Creado desde cero y publicado bajo licencia Apache 2.0, Mellum2 ofrece una alternativa de alto rendimiento y rentable para su infraestructura.
Mellum comenzó con la finalización de código; ahora lo hemos evolucionado para que procese tanto el lenguaje natural como el código. Ahora es una herramienta versátil lista para optimizar el enrutamiento, el resumen y los pasos de razonamiento intermedio en todos sus flujos de trabajo de IA modernos.
Ya sea para experimentar, realizar un ajuste fino o desplegar a gran escala, Mellum2 está listo para ejecutarse en sus propios sistemas.
Arquitectura y rendimiento
Mellum2 está diseñado para resolver los cuellos de botella de los sistemas a escala de producción gracias a su arquitectura y a un diseño centrado y orientado a la eficiencia.
- Diseño de mezcla de expertos (MoE): el modelo cuenta con un total de 12 000 millones de parámetros, pero como utiliza un diseño MoE, solo hay 2500 millones de parámetros activos por token. Esto reduce los costes de computación al tiempo que permite una inferencia de alto rendimiento y baja latencia para cargas de trabajo en tiempo real.
- Enfoque especializado: a diferencia de muchos modelos modernos, Mellum2 no es multimodal. Se entrena específicamente con datos de lenguaje natural y de código. Esta especialización garantiza que el modelo destaque en entornos de ingeniería de software sin dejar de ser ligero y rápido.
En nuestro informe técnico, detallamos el desempeño de nuestro modelo en pruebas comparativas de generación de código, ciencias, matemáticas y razonamiento. Mellum2 es competitivo frente a otros modelos de tamaño similar, al tiempo que reduce el tiempo de inferencia a menos de la mitad, lo que supone una ventaja definitiva para los despliegues de nivel de producción.
Principales usos de Mellum2
- Enrutar y orquestar cargas de trabajo de IA: utilice Mellum2 para analizar las peticiones entrantes y ayudar a seleccionar el modelo o la herramienta adecuados para cada tarea.
- Crear procesos RAG de baja latencia: recupere el contexto relevante, utilice Mellum2 para resumirlo y genere respuestas al instante.
- Impulsar subagentes rápidos en flujos de trabajo complejos: divida los procesos de agentes en pasos como la recopilación de contexto, la planificación y la validación. Utilice Mellum2 para tareas rápidas y especializadas en lugar de depender de un único modelo de gran tamaño.
- Permitir el despliegue de IA privado y local: ejecute Mellum2 localmente o alójelo usted mismo para mantener el código y los datos totalmente bajo su control.
La filosofía del «modelo focal»: por qué los modelos enfocados escalan mejor
A medida que los sistemas de IA adquieren complejidad, los cuellos de botella del rendimiento se desplazan de la capacidad bruta a la latencia, el rendimiento y el coste a gran escala. No todas las tareas requieren el modelo más grande. Muchos pasos en los sistemas de IA modernos son repetitivos, sensibles a la latencia y de alta frecuencia. Estos pasos se benefician de un modelo rápido y fiable que pueda enrutarse, alojarse y controlarse eficazmente.
En JetBrains, creemos que en el futuro triunfarán los sistemas coordinados, no los modelos únicos. Los modelos de frontera seguirán superando los límites, pero los productos de IA prácticos también requieren modelos focales: componentes rápidos y especializados que gestionen con eficacia las tareas de alta frecuencia.
Ese es el papel que prevemos que desempeñará Mellum2 en la próxima generación de herramientas de software de IA.
Empiece a utilizar Mellum2
Si está creando sistemas de IA para ingeniería de software —ya sea dentro de un IDE, en un proceso RAG, como parte de un flujo de trabajo de agentes o completamente en su propia infraestructura—, nos encantaría que probara Mellum2.
El código abierto es la forma en que se crean mejores herramientas.
Artículo original en inglés de:
