النموذج الذي تم تقديمه مؤخرًا بعنوان BERT يظهر أداءً قويًا في عدة مقاييس لفهم اللغة. في هذا البحث، نصف إعادة تنفيذ بسيطة للنموذج BERT للاستدلال على الحس السليم. نوضح أن الانتباهاات التي ينتجها BERT يمكن استخدامها مباشرة في مهام مثل مشكلة توضيح الضمائر وتحدي Winograd Schema (وينوغارد شيما). الطريقة المقترحة التي تعتمد على الانتباه للاستدلال على الحس السليم هي بسيطة من الناحية المفهومية ومع ذلك قوية من الناحية التجريبية. التحليل التجريبي على عدة مجموعات بيانات يظهر أن النظام المقترح يؤدي بشكل ملحوظ جيد في جميع الحالات بينما يتفوق على أفضل النتائج المبلغ عنها سابقًا بمقدار كبير. بينما تشير النتائج إلى أن BERT يبدو أنه يتعلم ضمنيًا إنشاء علاقات معقدة بين الكيانات، قد يتطلب حل مهام الاستدلال على الحس السليم أكثر من النماذج غير المراقبة المستفادة من كوربوسات نصوص ضخمة.