パラメータ数2.8兆、学習効率は最大12.3倍へ。マイクロソフトが仕掛ける次世代AI「MAI-Base-2」の衝撃的な技術革新とは？AIの常識を覆すその裏側に迫る。#AI #マイクロソフト
▼詳細はこちら
@aitechmatome.bsky.socialtech-matome.com【衝撃】マイクロソフトの視覚言語基盤モデルMAI-Base-2、学習効率が最大12.3倍に到達 - AIテクノロジーまとめマイクロソフトは総パラメータ数2.8兆の視覚言語基盤モデルであるM<a href="https://tech-matome.com//?tag=ai">AI</a>-Base-2の事前学習完了を発表しました。
本モデルはエヌビディアのGB200を1万6<a href="https://tech-matome.com//?tag=000">000</a>基使用し、50兆トークンのデータで学習されました。
従来手法と比較して他社モデルと同等性能に達するための計算効率が4.2倍から12.3倍高いと推定されています。
この高効率化は最適化手法ミューオンの採用やトークンを破棄しないMoE構造の工夫により実現しました。
また局所的な勾配クリッピングによる学習の安定化や、小規模実験から本番精度を予測するソーススケーリング手法も貢献しています。
画像処理では独立したエンコーダーを使用せず視覚と言語を一体的に学習する方式を採用しました。
現在は事後学習が進行中であり、マイクロソフト・ファウンドリを通じた提携パートナーへのライセンス提供が計画されています。
@altarf.pinky.st.ap.brid.gy
@kuromori-mineo.bsky.social
@rurou-creator.bsky.social
@poteto.jp