Falcon-H1-Arabic:ハイブリッドアーキテクチャで進化するアラビア語AI、最大256Kトークン対応で業界最高水準の性能を実現
ティーアイインスティテュート(TII)は、アラビア語自然言語処理の新たな標準を打ち出す「Falcon-H1-Arabic」を発表した。これは、3B、7B、34Bの3つのサイズで提供されるアラビア語向け大規模言語モデル群で、これまでにないハイブリッドアーキテクチャを採用し、性能と実用性の両面で飛躍的な進歩を実現した。このモデルは、前バージョンのFalcon-Arabicに寄せられた開発者や研究者のフィードバックを基に、長文理解、方言対応、数学的推論、専門分野知識の不足を解消するため、アーキテクチャからデータ構築まで一から見直された成果である。 Falcon-H1-Arabicの最大の特徴は、Transformerと状態空間モデル(Mamba)をブロック単位で並列処理し、出力前に統合する「ハイブリッドMamba-Transformerアーキテクチャ」の採用だ。これにより、極めて長いテキスト(最大256,000トークン)を線形時間で処理可能となり、小説や技術文書の全体理解が可能になった。特にアラビア語の複雑な語形変化や柔軟な文構造に対しても、高い一貫性と推論能力を発揮する。 データ面では、アラビア語の表記・語形・句読点・構文に特化した深層言語解析によるクリーニングを行い、ノイズの少ない高品質なコーパスを構築。また、エジプト語、レバノン語、ガルフ語、マグレブ語といった方言のカバレッジを大幅に拡充し、実世界の多様な使用状況に応じた生成能力を強化。全学習データの約3000億トークンのうち、アラビア語と英語、多言語コンテンツがほぼ均等に含まれており、STEM分野や多言語推論でも優れた性能を発揮する。 ベンチマークでは、Open Arabic LLM Leaderboard(OALL)で3Bモデルがすべての同規模モデルを上回り、7Bモデルは100億規模のモデルを圧倒。34Bモデルは700億規模のLlama-3.3-70Bをも上回る成績を収め、アラビア語NLPの新記録を樹立。3LM、ArabCulture、AraDice(方言評価)でも高スコアを記録。 用途はモデルサイズに応じて分かれる。3Bはエッジデバイスや低遅延チャットに最適。7Bは生産環境の汎用AIアシスタントに適し、34Bは法的・医療・学術分野の長文分析に最適。ただし、モデルは訓練データのバイアスや幻覚を含む可能性があるため、医療・法的判断の根拠にはならない。TIIは、本モデルの開発に貢献した研究者やコミュニティに謝意を表している。
