يُقدّم الانتباه الذاتي تمثيلات مدمجة منخفضة الأبعاد للمخططات المعرفية لتنبؤ الروابط

حَرَّكَتْ بَعْضُ النماذج مُحَادَثَةَ مَشْرُوعِ التَّقْدِيمِ الْمُرْتَبِطِ، الْمُعْرَفِ أَيْضًا بِتَكْمِيلِ رُؤُوسِ الْمَعْلُومَاتِ، بِإِدْخَالِ رُؤُوسِ الْمَعْلُومَاتِ فِي أَبْعَادٍ أَقَلَّ مُتَّسِعَةً نِسْبَةً. وَلَكِنَّ أَفْضَلَ النَّتَائِجِ الْحَالِيَّةِ تُسْتَحَقُّ عَلَى حِسَابِ تَزَايُدٍ مُلْحِظٍ فِي أَبْعَادِ التَّمْثِيلِ، الْمُسَبِّبِ لِمُشْكِلَةِ الْمُسَامَحَةِ فِي حَالَةِ قِيَمٍ كَبِيرَةٍ مِنْ رُؤُوسِ الْمَعْلُومَاتِ. وَلَقَدْ أُسْتُخْدِمَتْ نَمَذْجَةُ "تْرَانْسْفُورْمَر" حَديثًا بِنَجَاحٍ كَمُحَوِّلٍ قَوِيٍّ لِرُؤُوسِ الْمَعْلُومَاتِ، وَلَكِنَّ النماذج المتوفرة تَمْتَلِكُ مُشْكِلَةَ مُسَامَحَةٍ لَازِلَةً. لِتَحَدُّثِ هَذِهِ الْمُسَامَحَةِ، نُقَدِّمُ نَمُوذَجًا مُبْنِيًا عَلَى "تْرَانْسْفُورْمَر" لِلْحُصُولِ عَلَى تَمْثِيلَاتٍ مُتَفَعِّلَةٍ وَأَبْعَادٍ قَلِيلَةٍ. وَنُسْتَخْدِمُ عَدَدًا كَبِيرًا مِنْ رُؤُوسِ الْاِنْتِبَاهِ الذَّاتِيِّ كَمَفتاحٍ لِتَطْبِيقِ تَحْوِيلَاتٍ مُتَفَعِّلَةٍ حَسَبَ الْمُسْتَفْتِي، لِلْمُسَاعَدَةِ فِي اسْتِخْرَاجِ الْمُعْلَمَاتِ الْمُشْتَرَكَةِ بَيْنَ الْكَائِنَاتِ وَالْعَلَائِقِ. وَتُظْهِرُ النَّتَائِجِ التَّجْرِيبِيَّةُ عَلَى مُبَادِئِ التَّقْدِيمِ الْمُرْتَبِطِ الْمُعْتَمَدَةِ، وَهِيَ WN18RR و FB15k-237، أَنَّ نَمُوذَجَنَا يَحْظَى بِأَدَاءٍ مُتَقَارِبٍ بِصِفَةٍ مُفَضَّلَةٍ مَعَ أَفْضَلِ النَّمَذْجَاتِ الْحَالِيَّةِ. وَبِالْخُصُوصِ، نَحْصُلُ عَلَى نَتَائِجِ وَاعِدَةٍ بِتَخْفِيفٍ مُلْحِظٍ فِي أَبْعَادِ التَّمْثِيلِ بِمِقْدَارِ 66.9% مُقَارِنَةً بِأَفْضَلِ خَمْسَةِ نَمَذْجَاتٍ حَالِيَّةٍ مِنْ أَفْضَلِ النَّمَذْجَاتِ الْحَالِيَّةِ، بِمُعَمَّلٍ مُتَوَسِّطٍ.