모델 출시
Muse Glimmer, 소비자용 하드웨어에서 자율 에이전트 작업 수행하는 30-billion 파라미터 모델로 공개
- Muse Glimmer는 Muse Spark에서 증류된 30-billion 파라미터 모델로 클라우드 없이 로컬 실행이 가능하다.
- 4-bit 양자화로 20 GB 미만 크기이며 DFlash 기반 드래프터로 빠른 텍스트 생성을 지원한다.
| 모델 | Muse-Glimmer-30B |
|---|---|
| 저장소 | meta-models/Muse-Glimmer-30B |
| 개방성 | 오픈형 |
| 라이선스 | Apache-2.0 |
- Muse Glimmer는 전용 지각 인코더를 갖춘 30-billion 파라미터 규모의 인과적 언어 모델로, Muse Spark로부터 증류되었으며 소비자용 하드웨어에서 자율적인 에이전트 작업을 수행하도록 목적에 맞게 설계되었다.
- 이 모델은 다단계 추론, 신뢰할 수 있는 도구 사용, 멀티모달 이해, 실패 복구 기능을 하나의 모델에 통합하여 클라우드 인프라나 네트워크 접속 없이 로컬에서 실행된다.
- Muse Glimmer는 100개 이상의 언어로 된 데이터를 학습했다.
- 양자화 기법을 사용하여 모델의 가중치를 약 4-bit 정밀도로 압축함으로써 언어 모델의 크기를 20 GB 미만으로 줄였다고 회사가 밝혔다.
- Muse Glimmer는 DFlash를 기반으로 한 경량 드래프터 모델과 함께 제공되며, 이는 한 번에 여러 토큰 블록 전체를 제안하는 작은 보조 네트워크다.
- 이 기법을 통해 Muse Glimmer는 동일한 출력 품질을 유지하면서도 표준 토큰 단위 생성 방식보다 훨씬 빠르게 텍스트를 생성할 수 있다고 회사가 밝혔다.
회사가 밝힌 수치
| Model Architecture | Dense Causal Transformer with Perception Encoder |
|---|---|
| Total Parameters | \~29.6B |
| Language Model | |
| Architecture | Dense Causal Transformer |
| Number of Parameters | 29.6B (including vision encoder) |
| Hidden dimension | 6656 |
| Layers | 52 |
| Attention pattern | [Local, Local, Local, Global] repeating |
| Sliding window size | 2048 |
| Gated attention | Yes |
| Attention heads (Q / KV) | 32 / 2 (GQA ratio 16:1) |
| Head dimension | 128 |
| FFN type | SwiGLU |
| FFN intermediate dimension | 19,968 |
| Position encoding | RoPE (θ \= 500,000), local layers only |
| Perception encoder | \~1.8B param ViT-G/14, 50 layers, width 1536, patch size 14 |
| Vocabulary size | 202,048 |
| Tokenizer | 200,000 BPE tokens + 2,048 special tokens |
| Max visual tokens per image | 4,096 |
| Context length | 131,072+ |
| Supported modalities | Input: text + image, Output: text |
| Training Data | Multimodal content sourced from publicly available data, data provided by third parties and information from Meta's products and services, curated and enriched by external vendor networks and Meta personnel. |
| Knowledge cutoff | January 4, 2026 |
벤치마크
- 회사가 자기 발표에 실은 값이다.
- 비교 대상과 측정 조건은 회사가 정했다.
Benchmarks
| Category | Benchmark | Muse Glimmer-30B High Reasoning | Gemma4-31B Thinking Mode | Qwen3.6-27B Thinking Mode |
|---|---|---|---|---|
| General Agentic | MCP Atlas (Public) | 75.5 | 54.2 | 62.5 |
| DeepSearch QA | 74.6 | 61.7 | 71.1 | |
| 𝛕3-Banking | 23.5 | 15.1 | 16.7 | |
| WildClawBench | 47.6 | 37.6 | 43.2 | |
| GDPVal-AA v2 | 953 | 811 | 1141 | |
| Gaia2 | 43.3 | 36.4 | 40.0 | |
| SkillsBench (with skills) | 44.3 | 32.4 | 46.6 | |
| OSWorld-Verified | 65.9 | 58.5 | 75.6 | |
| Agentic Coding | SWE-Bench Pro | 51.2 | 36.9 | 50.2 |
| SWE-Bench Verified | 76.0 | 66.6 | 77.2 | |
| TerminalBench 2.1 (with terminus2) | 51.7 | 43.4 | 60.7 | |
| SciCode | 43.6 | 43.4 | 39.8 | |
| Multimodal | Charxiv Reasoning | 78.8 | 77.7 | 78.4 |
| ScreenSpot Pro | 75.4 | 75.9 | 76.1 | |
| OmniDocBench v1.5 | 75.8 | 72.5 | 77.8 | |
| MMMU Pro | 74 | 73 | 75 | |
| Safety | CI Memories | Violation (↓): 26.4 Coverage: 64.8 | Violation (↓): 12.1 Coverage: 53.0 | Violation (↓): 53.4 Coverage: 66.9 |
| Siren AgentDojo | Attack Success Rate (↓): 28.4 Utility: 94.2 | Attack Success Rate (↓): 25.6 Utility: 90.8 | Attack Success Rate (↓): 40.3 Utility: 92.7 | |
| General Capabilities and Reasoning | IFBench | 77.0 | 76.0 | 70.8 |
| AIME 2026 | 94.7 | 89.2 | 94.1 | |
| GPQA Diamond (AA) | 83.5 | 85.7 | 84.2 | |
| HLE Text (AA) | 22.0 | 23.6 | 23.1 | |
| AA-LCR | 80.0 | 68.3 | 73.3 | |
| Beam128K | 65.1 | 58.2 | 63.0 |