o3-mini と DeepSeek-R1: どちらがより安全か？

DeepSeek-R1の登場は、AI業界全体、特に大規模言語モデル（LLMs）にとって転換点となる。その能力は、創造的思考、コード生成、数学、自動プログラム修復などの複数のタスクにおいて優れた性能を示しており、実行コストが低いことも明らかになっている。しかし、大規模言語モデルは重要な質的特性に準拠する必要がある。すなわち、安全性と人間の価値観との整合性である。DeepSeek-R1の明確な競合他社は、アメリカのOpenAIが開発したo3-miniモデルであり、このモデルは性能、安全性、コスト面で高い基準を設定すると予想されている。本論文では、DeepSeek-R1（70Bバージョン）とOpenAIのo3-mini（ベータ版）の安全性レベルについて系統的な評価を行った。この評価には最近リリースされた自動安全テストツール「ASTRAL」を使用し、両モデルに対して計1260個の不安全なテスト入力を自動的にかつ系統的に生成および実行した。両LLMが提供した結果に対する半自動的な評価を実施した後、結果はDeepSeek-R1がOpenAIのo3-miniと比較して非常に安全性が低いことを示している。具体的には、評価に基づいてDeepSeek-R1は実行されたプロンプトの11.98%に対して不適切な回答を行い、一方o3-miniはわずか1.19%であった。