17日前

SHAKTI:エッジAIおよび低リソース環境向けに最適化された25億パラメータの小規模言語モデル

Shakhadri, Syed Abdul Gaffar, KR, Kruthika, Aralimatti, Rakshit
SHAKTI:エッジAIおよび低リソース環境向けに最適化された25億パラメータの小規模言語モデル
要約

Shaktiは、スマートフォンやウェアラブルデバイス、IoTシステムなどリソース制約の厳しいエッジデバイスを想定して特別に最適化された、25億パラメータを有する言語モデルを紹介する。Shaktiは高性能な自然言語処理(NLP)と効率性・精度の両立を実現しており、計算リソースやメモリが限られた環境においてリアルタイムAIアプリケーションに最適である。地域言語やドメイン固有のタスクに対応する機能を備えており、医療、金融、カスタマーサービスなどの分野で優れた性能を発揮する。ベンチマーク評価の結果、より大規模なモデルと比較しても競争力のある性能を維持しながら、低遅延とオンデバイスでの効率性を両立していることが明らかになった。これにより、エッジAIにおける先進的なソリューションとしての位置づけが確立されている。