JetBrains AI
Supercharge your tools with AI-powered features inside many JetBrains products
Mellum2 wird Open Source: ein schnelles Modell für KI-Workflows
Mellum2 wurde für praktische Anwendungen erstellt und von Grund auf neu trainiert. Es ist auf Routing, Frage-Antwort-Anwendungen, Unteragenten und die vertrauliche KI-Nutzung in Softwareentwicklungssystemen ausgelegt.
Heute stellen wir Mellum2 als Open-Source bereit – ein Modell mit 12 Milliarden Parametern, das für die schwierigsten Herausforderungen beim Produktionseinsatz von KI konzipiert wurde: Latenz, Durchsatz und Kosten. Das von Grund auf neu entwickelte, unter der Apache-2.0-Lizenz veröffentlichte Mellum2 ist eine leistungsstarke, kostengünstige Alternative für Ihre Infrastruktur.
Mellum war zunächst auf Code-Completion ausgelegt; jetzt haben wir es so weiterentwickelt, dass es sowohl natürliche Sprache als auch Code verarbeiten kann. Es ist nun ein vielseitiges Werkzeug, das Sie für Routing, Zusammenfassungen und intermediäre Denkschritte in Ihren modernen KI-Workflows nutzen können.
Ganz gleich, ob Sie experimentieren, feintunen oder das Modell in großem Maßstab einsetzen möchten – Mellum2 ist bereit für die Nutzung in Ihren Systemen.
Architektur und Performance
Die Architektur und das zielgerichtete, effizienzorientierte Design von Mellum2 sind darauf ausgelegt, Engpässe in großflächig eingesetzten Produktionssystemen zu beseitigen.
- Mixture-of-Experts-Modell (MoE): Das Modell verfügt über insgesamt 12 Milliarden Parameter, doch da es auf einem MoE-Design basiert, sind pro Token nur 2,5 Milliarden Parameter aktiv. Dadurch werden die Rechenkosten gesenkt und gleichzeitig Inferenzen mit hohem Durchsatz und geringer Latenz für Echtzeitanwendungen ermöglicht.
- Spezialisierung: Im Gegensatz zu vielen modernen Modellen ist Mellum2 nicht multimodal. Es wurde speziell mit Daten aus dem Bereich der natürlichen Sprache und der Programmierung trainiert. Diese Spezialisierung gewährleistet, dass sich das Modell in der Softwareentwicklung besonders gut bewährt und dabei schlank und schnell bleibt.
In unserem technischen Bericht beschreiben wir die Leistungsfähigkeit unseres Modells anhand von Benchmarks in den Bereichen Codegenerierung, Naturwissenschaften, Mathematik und logisches Denken. Mellum2 hält mit anderen Modellen ähnlicher Größe mit und verkürzt dabei die Inferenzzeit auf weniger als die Hälfte – ein entscheidender Vorteil für den Einsatz in Produktionsumgebungen.
Wichtige Anwendungsfälle für Mellum2
- Routing und Orchestrierung von KI-Aufgaben: Verwenden Sie Mellum2, um eingehende Prompts zu analysieren und das richtige Modell oder Tool für die jeweilige Aufgabe auszuwählen.
- RAG-Pipelines mit geringer Latenz: Rufen Sie den relevanten Kontext ab, lassen Sie Mellum2 eine Zusammenfassung erstellen und generieren Sie sofortige Antworten.
- Leistungsstarke Unteragenten in komplexen Workflows: Gliedern Sie Agent-Pipelines in einzelne Schritte wie Kontexterfassung, Planung und Validierung. Verwenden Sie Mellum2 für schnelle, spezialisierte Aufgaben, statt sich auf ein einziges großes Modell zu beschränken.
- Vertrauliche, lokale KI-Nutzung: Führen Sie Mellum2 lokal aus oder hosten Sie es auf den eigenen Servern, um die vollständige Kontrolle über Code und Daten zu behalten.
„Focal-Model“-Philosophie: Warum fokussierte Modelle besser skalierbar sind
Mit zunehmender Komplexität verlagern sich die Leistungsengpässe von KI-Systemen von der reinen Performance hin zu Latenz, Durchsatz und Kosten bei großflächiger Nutzung. Nicht jede Aufgabe erfordert das größte Modell. Viele Schritte in modernen KI-Systemen sind wiederkehrend, latenzempfindlich und hochfrequent. Diese Schritte profitieren von einem schnellen und zuverlässigen Modell, das sich effizient routen, hosten und kontrollieren lässt.
Bei JetBrains sind wir davon überzeugt, dass die Zukunft nicht einzelnen Modellen, sondern koordinierten Systemen gehört. Frontier-Modelle werden weiterhin die Grenzen erweitern, doch für praxistaugliche KI-Produkte sind auch fokussierte Modelle erforderlich: schnelle, spezialisierte Komponenten, die hochfrequente Aufgaben effizient bewältigen.
Das ist die Rolle, in der wir Mellum2 in der nächsten Generation der KI-Softwaretools sehen.
Legen Sie mit Mellum2 los
Wenn Sie KI-Systeme für die Softwareentwicklung bauen – sei es innerhalb einer IDE, in einer RAG-Pipeline, als Teil eines Agentenworkflows oder vollständig in Ihrer eigenen Infrastruktur –, würden wir uns freuen, wenn Sie Mellum2 ausprobieren würden.
Denn Open Source ist der Weg zu besseren Tools.
Autor*innen des ursprünglichen Blogposts
