HyperAIHyperAI

Command Palette

Search for a command to run...

LLMON対応のGranite4.1 3B/8Bプレビュー公開

本日、IBMは、大規模言語モデル向けに設計したマークアップ言語「LLMON」を用いた実験プレビューモデル「granite-4.1-3b-LLMON-preview」と「granite-4.1-8b-LLMON-preview」を公開した。LLMONは、システム指示、会話履歴、検索文書、ツール応答、ユーザーデータ、出力制約、推論チェーンを、意味のあるタグと予約特殊トークンの区切り子で明示する。JSONのような既存形式では、引用符や括弧が本文と同一視され、深い入れ子も長い範囲で把握しにくく、小規模モデルの脆弱性や間接プロンプトインジェクションの余地を広げると説明する。 モデルはグラニット4.1のベースモデルから作り、ポストトレーニングでLLMONの読み書きを学習させる。各ターンは指示、データ、要件などの個別ブロックとして提示され、実行ブロックがどの指示をどのデータに適用し、どの制約でどこへ出力するかを示す。実行ブロックに結び付いた指示だけが命令として扱われるが、これは学習で得られた性質で、保証ではない。 評価では、OPIベンチマークの静的間接プロンプトインジェクションに対し、試験した最先端モデルの最高値より相対47%、オープンソース最高値より95%多くの攻撃を回避したと報告した。ASBやStruQでも同様の傾向が見られ、通常の会話テンプレートと同等の通常能力を維持したとされる。既存のJSONワークフロー向けに可逆変換ツールやノートブックも提供し、会話テンプレートを置き換えるのではなく拡張する。固定スキーマに縛られず、ドメイン専用タグを追加学習で読み書きさせることもできる。 公開物はGitHubのリポジトリ、ツールキット、ノートブック、アテンション可視化を含む実験プレビューであり、本番利用は想定していない。IBMは利用者に結果報告を求めている。

関連リンク