JetBrains AI
Supercharge your tools with AI-powered features inside many JetBrains products
Mellum2 오픈소스 공개: AI 워크플로를 위한 빠른 모델
처음부터 자체적으로 학습되고 실제 배포를 염두에 두고 설계된 Mellum2는 소프트웨어 엔지니어링 시스템에서 라우팅, Q&A, 서브 에이전트, 프라이빗 AI 활용을 위해 구축되었습니다.
오늘은 프로덕션 AI의 가장 어려운 과제인 지연 시간, 처리량, 비용 문제를 해결하도록 설계된 120억 개 매개변수 모델 Mellum2를 오픈소스로 공개합니다. 완전히 자체 개발되고 Apache 2.0 라이선스로 공개된 Mellum2는 인프라를 위한 고성능의 비용 효율적 대안을 제공합니다.
Mellum은 처음에는 코드 완성 기능을 위해 개발되었지만, 이제는 자연어와 코드를 모두 처리할 수 있는 수준으로 발전했고 최신 AI 워크플로 전반에서 라우팅, 요약, 중간 추론 단계를 지원할 수 있는 다목적 도구로 자리 잡았습니다.
실험, 세부 조정, 대규모 배포 등 어떤 목적이든 Mellum2는 자체 시스템에서 바로 실행할 수 있습니다.
아키텍처와 성능
Mellum2는 아키텍처와 효율성 중심의 설계를 통해 프로덕션 규모 시스템의 병목 현상을 해결하도록 설계되었습니다.
- Mixture-of-Experts(MoE) 설계: 이 모델은 총 120억 개의 매개변수가 있지만, MoE 설계를 사용하기 때문에 토큰당 실제로 활성화되는 매개변수는 25억 개에 불과합니다. 이는 계산 비용을 줄이는 동시에, 실시간 워크로드에 필요한 높은 처리량과 저지연 추론 성능을 제공합니다.
- 특화된 집중 분야: 많은 최신 모델과 달리 Mellum2는 다중 모달이 아니며, 자연어와 코드 데이터에 특화되어 트레이닝되었습니다. 이러한 특화 설계를 통해 이 모델은 소프트웨어 엔지니어링 환경에서 뛰어난 성능을 발휘하는 동시에 경량성과 속도를 유지합니다.
당사 기술 보고서에는 코드 생성, 과학, 수학, 추론 벤치마크 전반에 걸친 모델의 성능이 상세히 설명되어 있습니다. Mellum2는 비슷한 규모의 다른 모델과 견줄 만한 성능을 제공하면서도, 추론 시간을 절반 이하로 줄여 프로덕션급 배포 환경에서 확실한 이점을 제공합니다.
Mellum2의 주요 활용 사례
- AI 워크로드 라우팅 및 오케스트레이션: Mellum2를 사용해 입력 프롬프트를 분석하고, 각 작업에 적합한 모델이나 도구를 선택할 수 있습니다.
- 저지연 RAG 파이프라인 구축: 관련 컨텍스트를 검색하고, Mellum2를 사용해 이를 요약한 뒤, 즉시 응답을 생성할 수 있습니다.
- 복잡한 워크플로에서 빠르게 서브 에이전트 구동: 에이전트 파이프라인을 컨텍스트 수집, 계획 수립, 검증과 같은 단계로 분할하여 처리할 수 있습니다. 하나의 대규모 모델만 사용하지 말고, 특화된 작업을 빠르게 처리할 때는 Mellum2를 사용해 보세요.
- 프라이빗 로컬 AI 배포 지원: Mellum2를 로컬 환경에서 실행하거나 자체 호스팅하여 코드와 데이터를 완전히 통제할 수 있습니다.
‘포컬 모델’ 철학: 집중형 모델이 더 효과적으로 확장되는 이유
AI 시스템이 점차 복잡해짐에 따라, 성능 병목의 중심은 순수한 성능 자체에서 대규모 환경에서의 지연 시간, 처리량, 그리고 비용 문제로 옮겨가고 있습니다. 모든 작업에 대규모 모델이 필요한 것은 아닙니다. 최신 AI 시스템의 많은 단계는 반복적이고, 지연 시간에 민감하며, 높은 빈도로 수행됩니다. 이러한 작업에는 효율적으로 라우팅, 호스팅 및 관리할 수 있는 빠르고 안정적인 모델이 적합합니다.
JetBrains는 단일 모델이 아니라 서로 조율된 시스템이 미래라고 생각합니다. 프론티어 모델은 앞으로도 성능의 한계를 계속 확장해 나가겠지만, 실용적인 AI 제품에는 포컬 모델도 필요합니다. 즉, 빈번하게 발생하는 작업을 효율적으로 처리하는 빠르고 특화된 구성 요소가 필요합니다.
이것이 바로 JetBrains가 차세대 AI 소프트웨어 도구 에코시스템에서 Mellum2가 맡아주기를 바라는 역할입니다.
Mellum2 시작하기
IDE, RAG 파이프라인, 에이전트 워크플로, 자체 인프라 환경 등 어떤 형태로든 소프트웨어 엔지니어링용 AI 시스템을 구축하고 있다면, Mellum2를 사용해 보세요.
오픈소스는 더 나은 도구를 만드는 기반이 됩니다.
게시물 원문 작성자
