Moonshot、2.8 兆パラメータの「Kimi K3」を公開 - 世界最大の OSS モデル

中国 Moonshot AI が 7 月 16 日、総パラメータ 2.8 兆のマルチモーダル推論モデル「Kimi K3」を公開しました。オープンウェイトで公開されるモデルとしては史上最大規模で、独立評価でも米国大手モデルに肉薄する性能が報告されています。

主なポイント

• 総パラメータ 2.8 兆、Mixture-of-Experts 構成で 896 エキスパートから各トークンあたり 16 を活性化
• コンテキスト長は 100 万トークンで、常時「thinking mode」動作
• 独自機構として Kimi Delta Attention (KDA) と Attention Residuals (AttnRes) を導入
• Artificial Analysis の長時間タスク評価で Elo 1547 と Claude Fable 5 に次ぐ 2 位
• 価格は 入力 3 ドル / 出力 15 ドル (100 万トークン当たり)、キャッシュヒット時は 0.30 ドル
• 完全な重みは 7 月 27 日公開予定、API は既に稼働

出典: China's Moonshot AI releases Kimi K3, the largest open-source model ever, rivaling top U.S. systems