百科事典

LeNet-5 は、ディープ ラーニングと畳み込みニューラル ネットワークの分野における独創的な作品であり、畳み込み層、プーリング層、完全接続層など、現代のディープ ラーニングの多くの重要な概念の基礎を築きました。

適格性の問題は主に、変化する環境の中でアクションやイベントを正常に実行するために必要なすべての条件や要素を決定することに関係します。

ReAct は、推論とアクションの進歩を組み合わせて、言語モデルがさまざまな言語推論と意思決定タスクを解決できるようにする一般的なパラダイムを提案します。

Pre-training Once は、3 ブランチの自己教師ありトレーニング フレームワークで、各事前トレーニング ステップでトレーニング用にサブネットワークをランダムにサンプリングするための伸縮性のあるスチューデント ブランチを導入します。

FlexAttendant は、高解像度の視覚言語モデルの効率を向上させるために設計された柔軟なアテンション メカニズムです。

FlashAttention は、効率的でメモリに優しいアテンション アルゴリズムです。

コーザル アテンション (CATT) は、特に視覚言語タスクにおいて、因果推論を組み込むことによってモデルの解釈可能性とパフォーマンスを向上させる革新的なアテンション メカニズムです。このメカニズムは、オーストラリアの南洋理工大学とモナシュ大学の研究者によって20日に発見されました。

思考ツリーは、言語モデルを促進するための一般的な思考連鎖アプローチを一般化し、問題解決の中間ステップとして一貫したテキスト単位 (アイデア) の探索を可能にします。

MoMa アーキテクチャは、混合モダリティの初期融合言語モデルを事前トレーニングするために設計された、新しいモダリティ対応ハイブリッド エキスパート (MoE) アーキテクチャです。

Multi-step Error Minimization (正式名: Multi-step Error Minimization、略して MEM) が論文「Multimodal Unlearnable E […]」に掲載されました。

幾何学的ラングランズ予想は、ラングランズ プログラムの幾何学的バージョンです。

ラングランズ プログラムは、現代数学において非常に影響力のある研究分野であり、数論、代数幾何学、群表現理論などの数学の複数の分野が関与しており、それらの間の深いつながりを明らかにしようとしています。

特定用途向け集積回路 (ASIC) は、特定のユーザー要件および特定の電子システムのニーズに従って設計および製造される集積回路です。

実時間とは、プログラムまたはプロセスの実行時間を測定するために使用される用語で、あらゆるタイプの待機時間やブロック時間を含む、プログラムの実行の開始から終了までにかかる実際の時間を指します。

パレート フロントは、複数の目的の最適化における重要な概念であり、複数の目的の間で最適なトレードオフを達成する一連のソリューションを指します。

ストライドは、画像処理と畳み込みニューラル ネットワーク (CNN) で一般的に使用される用語です。画像処理のコンテキストでは、ステップ サイズとは、トリミング、特徴抽出、フィルタリングなどの操作を画像に適用するときに、操作ウィンドウが画像上で移動するステップ数を指します。 たとえば、画像のトリミングを行う場合、[…]

動的プロンプトは、自然言語処理 (NLP) およびその他の人工知能アプリケーションの特定のタスクまたはインスタンスに基づいてプロンプトを動的に調整できるようにするプロンプト テクノロジです。この手法により、モデルのパフォーマンスと適応性が大幅に向上します。ディン […]

Simple Online and Realtime Tracking (略して SORT) は、シンプルで効率的なアルゴリズムに焦点を当てた実用的なマルチターゲット追跡手法であり、2016 IEEE 国際画像処理会議でクイーンズランド工科大学とシドニー大学の研究者によって発表されました。 …]

優先エクスペリエンス再生は、エクスペリエンスの重要性に基づいて異なる頻度でエクスペリエンスを再生し、学習効率を向上させる強化学習の手法です。

CoT テクノロジーは、複雑な問題を一連の段階的なサブ問題解決策に分解することにより、詳細な推論プロセスを生成するようにモデルをガイドします。これにより、算術推論、常識的推論、記号推論などの複雑なタスクにおけるモデルのパフォーマンスが向上します。

Parameter Efficient Fine-tuning (PERT) は、フルパラメーターの微調整に匹敵するパフォーマンスを維持しながら、モデル パラメーターのごく一部のみを微調整することで計算コストとストレージ コストを削減する、大規模な事前トレーニング モデル用の微調整方法です。

人工知能の分野における「世界モデル」とは、環境や世界の状態を表現し、状態間の遷移を予測できるモデルのことです。このモデルにより、エージェントはシミュレートされた環境で学習し、学習した戦略を現実世界に移すことができるため、学習効率が向上し、リスクが軽減されます。ユルゲン・S […]

マルチモーダル対照学習および共同例選択 (JEST) は、大規模な言語モデル (ChatGPT など) のトレーニング プロセスにおける高エネルギー消費の問題を解決することを目的としています。

フル パラメーター チューニングは、深層学習におけるモデル最適化テクノロジであり、特に転移学習またはドメイン適応シナリオで使用されます。これには、特定のタスクまたはデータセットに適合するように事前トレーニングされたモデルのすべてのパラメーターを微調整することが含まれます。