ドイツの LLM 開発企業 Aleph Alpha は 10 月 5 日、オープンウェイトの Mixture-of-Experts (MoE) モデル『Kolibri』を公開しました。総パラメータ 78B のうちトークンあたり 3.46B だけを活性化し、公共・産業・航空宇宙など規制の厳しい領域での主権 AI 展開を狙う位置づけです。

主なポイント

  • 1 層あたり 384 の専門家 + 1 共有エキスパートで構成し、1 トークンにつき 6 専門家 + 1 共有を選択する MoE 設計
  • コンテキスト長は 1,048,576 トークン、FP8 重みを含む Hugging Face での配布、ライセンスは Apache 2.0
  • 独語データが訓練データの 20% 以上を占める 24 兆トークンで学習。推論モードとツール呼び出しをネイティブ対応
  • 顧客自身のインフラ上での展開を前提に、学習データの出自や設計判断を文書化。欧州の主権 AI 戦略に沿う形で提供

出典: Aleph Alpha releases Kolibri — Sovereign AI made in Germany