آلية الانتباه

تعتمد آلية الاهتمام البشري على الحدس. إنها وسيلة يستخدمها البشر لاستخدام الموارد المحدودة لتصفية المعلومات ذات القيمة العالية بسرعة من بين كمية كبيرة من المعلومات. تعتمد آلية الانتباه في التعلم العميق على نمط تفكير الانتباه البشري وقد تم استخدامها على نطاق واسع في أنواع مختلفة من السيناريوهات مثل معالجة اللغة الطبيعية وتصنيف الصور والتعرف على الكلام وما إلى ذلك، وحققت نتائج ملحوظة.

 

مشفر-فك تشفير إطار

مشفر-فك تشفير إنه إطار نموذجي شائع جدًا في التعلم العميق. تعليق الصورة في التطبيق مشفر-فك تشفير إنه سي إن إن-آر إن إن الترميز– إطار فك التشفير؛ في نماذج الترجمة الآلية العصبية مشفر-فك تشفير في كثير من الأحيان يكون LSTM-LSTM الترميز– فك تشفير الإطار.

 

التشفير هو تشفير تسلسل الإدخال في متجه بطول ثابت؛ فك التشفير هو فك تشفير المتجه الثابت الذي تم إنشاؤه مسبقًا إلى تسلسل إخراج.

نموذج الاهتمام

يتم استخدام نموذج الاهتمام بشكل أساسي في التعلم العميق، والذي ينقسم بشكل أساسي إلى ثلاثة مجالات رئيسية: فهم اللغة الطبيعية، والتعرف على الصور، والتعرف على الكلام.

• فهم اللغة الطبيعية

يلعب نموذج الاهتمام دورًا رئيسيًا في فهم اللغة الطبيعية. اعتمدت شركة جوجل نموذج الاهتمام في أحدث ترجماتها الآلية، والذي يستخدم بشكل أساسي لاستخراج الكلمات الرئيسية من الجمل أو الفقرات الطويلة، كما هو موضح أدناه:

• التعرف على الصور

في التعرف على الصور، يتم استخدام نموذج الاهتمام لتصنيف الصور وتوليد الصور. الشكل التالي هو تطبيق لإنشاء تسمية توضيحية للصورة:

في هذه الدراسة، تم تصور أوزان نموذج الانتباه وعرضها في الصورة الأصلية، وهي المنطقة البيضاء في الصورة. من الصورة، يمكننا أن نرى أن القرص الطائر والكلب يتوافقان مع القرص الطائر والكلب في الجملة على التوالي.

• التعرف على الكلام

حقق إطار عمل التشفير وفك التشفير المبني على نموذج الانتباه نتائج جيدة، كما أثبت التوافق بين الكلام والكلمات.