نقدم صياغة جديدة لاستخراج المعلومات المهيكلة (SIE) من الوثائق الغنية بصرياً. تهدف هذه الصياغة إلى معالجة قيود الصيغ الحالية القائمة على الترميز IOB أو الرسم البياني، والتي تعتمد بشكل مفرط على ترتيب النص الإدخالي الصحيح أو تواجه صعوبات في فك رموز رسم بياني معقد. بدلاً من ذلك، مستوحاة من الكاشفات القائمة على النقاط المرجعية في مجال الرؤية، نمثل الكيان ككلمة نقطة مرجعية وصندوق حدود، ونمثل ربط الكيانات كرابطة بين الكلمات النقاط المرجعية. هذا أكثر متانة فيما يتعلق بترتيب النص ويحافظ على رسم بياني مضغوط لربط الكيانات. تحفزنا هذه الصياغة على تقديم 1) محول وثيقة (DocTr) يهدف إلى اكتشاف وربط صناديق حدود الكيانات في الوثائق الغنية بصرياً، و2) استراتيجية تدريب أولي بسيطة تساعد في تعلم اكتشاف الكيانات في سياق اللغة. أظهرت التقييمات على ثلاثة مقاييس للمعلومات المهيكلة استخراجها فعالية الصياغة المقترحة، وأداء النهج العام أفضل من الحلول الحالية.