مبدأ التردد

مبدأ التردد، أو مبدأ F باختصار، هو مفهوم مهم في مجال التعلم العميق. يصف الخاصية التي تميل الشبكات العصبية العميقة (DNNs) إلى تكييف الوظيفة المستهدفة من التردد المنخفض إلى التردد العالي أثناء التدريب. تم اقتراح هذا المبدأ من قبل Zhi-Qin John Xu من جامعة شنغهاي جياو تونغ وزملائه في عام 2018 في ورقة بحثية بعنوان "سلوك التدريب للشبكة العصبية العميقة في مجال التردد"مذكورة بوضوح في ".

يقدم تقديم مبدأ التردد منظورًا جديدًا لفهم سلوك التدريب والقدرة على التعميم للشبكات العصبية العميقة. وفقًا لهذا المبدأ، ستقوم DNN أولاً بالتقاط مكونات التردد المنخفض للوظيفة المستهدفة أثناء عملية التعلم، ثم تتعلم تدريجيًا مكونات التردد العالي. إن هذا الترتيب من التجهيز من الترددات المنخفضة إلى الترددات العالية هو عكس سلوك العديد من الطرق العددية التقليدية، مثل طريقة جاكوبي، والتي عادة ما تتقارب بشكل أسرع على المكونات ذات التردد العالي.

وقد تحقق فريق البحث من مبدأ التردد من خلال التجارب على البيانات الاصطناعية أحادية البعد، وأكد كذلك فعاليته على مجموعات البيانات الحقيقية عالية الأبعاد (مثل MNIST وCIFAR10). كما اقترحوا نموذج مبدأ التردد الخطي الذي يمكنه التنبؤ بدقة بنتائج التعلم لشبكة عصبية واسعة من طبقتين ReLU وشرح قدرة DNN على التعميم نظريًا.