人工知能の分野における出現とは、単純な個人やルールの相互作用を通じて複雑な集団行動や構造が生じる現象を指します。人工知能では、この種の創発は、モデルによって学習された高度な機能や動作を指します。これらの機能や動作は、設計者によって直接指定されるものではなく、モデル自体の学習プロセスを通じて徐々に生成されます。
たとえば、ニューラル ネットワークでは、各ニューロンの単純な計算と隣接するニューロンの接続によって大規模なネットワークが形成されます。これらのニューロンと接続が学習すると、ネットワークは画像分類や音声認識など、単一のニューロンや接続の能力を超える複雑な動作を示すことができます。
創発は、モデルの複雑さのために直接予測または理解することが難しい可能性のある予期せぬ影響や動作を指す場合もあります。たとえば、強化学習では、環境との対話を通じてエージェントが学習した行動が予期しない戦略や行動を示す場合があり、これらの行動は創発の結果である可能性があります。大型モデルの登場と、幻覚それと同じ原理です。
創発的な動作は大規模モデルに特有のものではなく、物理学、進化生物学、経済学、力学システムなどの多くの分野で実際に見られます。分野全体で使用される創発の単一の定義はありませんが、すべての定義は結局同じ基本的な現象に帰着します。システムの量的パラメータの小さな変化が、その質的挙動に大きな変化をもたらす可能性があります。。これらのシステムの定性的な動作は、動作を決定する「ゲームのルール」または方程式が大幅に異なる可能性があるさまざまな「体制」とみなすことができます。
【1】https://www.assemblyai.com/blog/emergent-abilities-of-large-language-models