1. مقدمة البرنامج التعليمي

Open-AutoGLM هو إطار عمل مساعد ذكي للهواتف المحمولة، أطلقته شركة Zhipu AI في نوفمبر 2024، وهو مبني على AutoGLM. يستطيع هذا الإطار فهم محتوى شاشة الهاتف المحمول بطريقة متعددة الوسائط، ومساعدة المستخدمين في إنجاز المهام من خلال عمليات مؤتمتة. تتوفر أوراق بحثية ذات صلة. AutoGLM: وكلاء المؤسسة المستقلون لواجهات المستخدم الرسومية .

على عكس أدوات أتمتة الهواتف المحمولة التقليدية، يستخدم تطبيق Phone Agent نموذجًا لغويًا مرئيًا لفهم الشاشة، بالإضافة إلى إمكانيات تخطيط ذكية لإنشاء وتنفيذ عمليات التشغيل تلقائيًا. يتحكم النظام بالجهاز عبر ADB (جسر تصحيح أخطاء أندرويد). كل ما على المستخدمين فعله هو وصف احتياجاتهم بلغة طبيعية، مثل "افتح تطبيق Xiaohongshu للبحث عن الطعام"، وسيقوم Phone Agent بتحليل الغرض تلقائيًا، وفهم الواجهة الحالية، وتخطيط الخطوة التالية، وإتمام العملية بالكامل.

يحتوي النظام أيضًا على آلية تأكيد حساسة مدمجة، ويدعم التحكم اليدوي في تسجيل الدخول أو في سيناريوهات CAPTCHA. بالإضافة إلى ذلك، يوفر النظام إمكانيات تصحيح أخطاء ADB عن بُعد، مما يتيح التحكم والتطوير عن بُعد بمرونة عبر شبكة Wi-Fi أو اتصال الشبكة.

يدعم هذا البرنامج التعليمي النماذج والوظائف التالية:

نقطتا تفتيش للنموذج:

• AutoGLM-Phone-9B (النسخة الصينية المحسّنة) (الافتراضي)
• AutoGLM-Phone-9B-Multilingual (إصدار متعدد اللغات)

الوظائف الأساسية:

• يدعم العمليات الآلية لأكثر من 50 تطبيقًا صينيًا شائعًا.
• فهم الشاشة متعددة الوسائط واتخاذ القرارات الذكية
• التفاعل باللغة الطبيعية، لا حاجة لكتابة نص مكتوب.
• يدعم التحكم عن بعد عبر منفذ USB وشبكة Wi-Fi
• آلية تأكيد العمليات الحساسة وآلية الاستحواذ اليدوي

يستخدم هذا البرنامج التعليمي نموذج نشر قائم على السحابة، مع التحكم الآلي المحلي في الهاتف المحمول من خلال استدعاءات واجهة برمجة التطبيقات (API).

⚠️  ملاحظة هامة:  هذا المشروع مخصص لأغراض البحث والتعلم فقط. يُحظر منعاً باتاً استخدامه للحصول على معلومات بطرق غير مشروعة، أو للتدخل في النظام، أو لأي أنشطة غير قانونية.

2. أمثلة المشاريع

سيناريوهات التطبيق النموذجية

يمكن لبرنامج Phone Agent أتمتة مجموعة متنوعة من المهام اليومية:

التسوق عبر الإنترنت:

• افتح موقع تاوباو وابحث عن سماعات رأس لاسلكية.
• البحث عن أغطية الهواتف على موقع JD.com

توصيل الطعام:

• افتح تطبيق ميتوان وابحث عن مطاعم الهوت بوت القريبة.
• اطلب شاي الحليب من إليمي.

المحتوى الاجتماعي:

• افتح تطبيق Xiaohongshu وابحث عن أدلة الطعام.
• البحث عن فيديوهات اللياقة البدنية على تيك توك.

خدمات السفر:

• افتح تطبيق Amap (خرائط Gaode) وانتقل إلى أقرب مقهى.
• "أتحقق من تذاكر القطار إلى شنغهاي ليوم غد"

3. خطوات التشغيل

إذا عرضت خدمة النموذج رسالة "Bad Gateway"، فهذا يعني أن النموذج قيد التهيئة. يُرجى الانتظار لمدة تتراوح بين 5 و10 دقائق ثم المحاولة مرة أخرى.

تم إكمال الخطوتين 1 و 2. يرجى الانتقال إلى الخطوة 3.

1. تهيئة البيئة المحلية

الخطوة الأولى: اسحب المشروع

git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM

الخطوة الثانية: تثبيت تبعيات بايثون

يوصى باستخدام بايثون 3.10 أو إصدار أحدث.

pip install -r requirements.txt
pip install -e .

الخطوة 3: تثبيت ADB (جسر تصحيح أخطاء أندرويد)

مستخدمو نظام macOS:

1. قم بتنزيل ADB الرسمي  حزمة التثبيت
2. استخرج الملفات إلى مسار مخصص (على سبيل المثال) ~/Downloads/platform-tools)
3. قم بتكوين متغيرات البيئة

قم بتنفيذ الأمر في الطرفية (بافتراض أن دليل الاستخراج هو ~/Downloads/platform-tools).

export PATH=${PATH}:~/Downloads/platform-tools

تحقق من التثبيت

adb version

مستخدمو ويندوز/لينكس:

يرجى الرجوع إلى الموقع الرسمي لبنك التنمية الآسيويقم بتهيئة النظام المقابل في المنتصف.

2. تهيئة النموذج البعيد

إذا كنت قد قمت بالفعل بنشر خدمة النموذج في السحابة، فيرجى تسجيل المعلومات التالية:

• عنوان URL الأساسينموذج عنوان الخدمة، بالصيغة التالية: https://hyperai-tutorials-xxxx.gear-c1.openbayes.net/v1
• نموذجاسم النموذج، القيمة الافتراضية هي autoglm-phone-9b

3. قم بتهيئة جهاز أندرويد

الخطوة 1: تجهيز الجهاز المحمول

1. تفعيل وضع المطور
   • يدخل  设置 > 关于手机 > 版本号
   • انقر على رقم الإصدار بسرعة حوالي 10 مرات حتى ترى رسالة "تم تمكين وضع المطور".
2. قم بتمكين تصحيح أخطاء USB
   • يدخل  设置 > 开发者选项 > USB 调试ضع علامة في المربع لتفعيل هذه الميزة.
   • بالنسبة لبعض الطرازات، يلزم إعادة تشغيل الجهاز حتى تدخل التغييرات حيز التنفيذ.
3. تفعيل تصحيح الأخطاء اللاسلكية(يوصى به للتحكم عن بعد)
   • تأكد من أن هاتفك وجهاز الكمبيوتر الخاص بك متصلان بنفس شبكة الواي فاي.
   • يدخل  设置 > 开发者选项 > 无线调试فعّل هذا الخيار
   • يعرض السجل عنوان IP ورقم المنفذ (على سبيل المثال) 192.168.31.70:39359)
4. السماح بالنقرات المحاكاة(بعض الطرازات تتطلب شريحة SIM)
   • يدخل  设置 > 开发者选项 > 模拟点击فعّل هذا الخيار

يرجى التحقق بعناية من الأذونات ذات الصلة:

الخطوة الثانية: إنشاء اتصال ADB

الطريقة الأولى: التوصيل عبر منفذ USB

عند توصيل هاتفك وجهاز الكمبيوتر باستخدام كابل بيانات USB، تأكد من أن الكابل قادر على نقل البيانات، وليس مجرد كابل شحن.

عرض الأجهزة المتصلة

adb devices

مثال على المخرجات:

List of devices attached
ABC123456789    device

الطريقة الثانية: الاتصال اللاسلكي (موصى به)

استخدم عنوان IP والمنفذ المعروضين في إعدادات تصحيح الأخطاء اللاسلكية للهاتف.

adb connect 192.168.31.70:39359

التحقق من الاتصال

adb devices

مثال على المخرجات:

List of devices attached
192.168.31.70:39359    device

وصف معرّف الجهاز: device-id  إنه adb devices  معرّف الجهاز في مخرجات الأمر. عند التوصيل عبر منفذ USB، يكون عادةً هو الرقم التسلسلي للجهاز (على سبيل المثال، ...). ABC123456789عند الاتصال لاسلكيًا، يكون التنسيق هو IP:port (على سبيل المثال، ...). 192.168.31.70:39359).

الخطوة 3: تثبيت لوحة مفاتيح ADB

1. قم بتنزيل حزمة تثبيت لوحة مفاتيح ADB.

2. قم بتثبيت ملف APK على هاتفك.

adb -s <device-id> install path/to/ADBKeyboard.apk

3. أدخل  设置 > 输入法  أو  设置 > 键盘列表يُمكَِن ADB Keyboard(قد تتطلب بعض طرازات الهواتف إعادة تشغيل الجهاز)

2. البدء باستخدام AutoGLM

الاستعدادات قبل بدء التشغيل

• أبقِ شاشة هاتفك مضاءة وغير مقفلة.
• تأكد من أن اتصال ADB يعمل بشكل صحيح.adb devices  (يمكن رؤية المعدات)

تشغيل الوضع التفاعلي

الطريقة الأولى: التوصيل عبر منفذ USB

python main.py \
  --device-id ABC123456789 \
  --base-url https://hyperai-tutorials-xxx.gear-c1.openbayes.net/v1 \
  --model "autoglm-phone-9b"

وصف المعلمة:

• --device-idمعرّف الجهاز، من adb devices  يحصل
• --base-urlعنوان خدمة النموذج المستندة إلى السحابة، ونقطة نهاية واجهة برمجة التطبيقات التي قمت بنشرها.
• --modelاسم النموذج، بما يتوافق مع اسم النموذج المستخدم أثناء النشر.

الطريقة الثانية: الاتصال اللاسلكي (موصى به)

python main.py \
  --connect 192.168.31.70:39359 \
  --base-url https://hyperai-tutorials-xxx.gear-c1.openbayes.net/v1 \
  --model "autoglm-phone-9b"

وصف المعلمة:

• --connectعنوان IP الخاص بالجهاز، والذي تم الحصول عليه من صفحة تصحيح الأخطاء اللاسلكية على الهاتف.
• --base-urlعنوان خدمة النموذج المستندة إلى السحابة، ونقطة نهاية واجهة برمجة التطبيقات التي قمت بنشرها.
• --modelاسم النموذج، بما يتوافق مع اسم النموذج المستخدم أثناء النشر.

بعد بدء التشغيل، قم بإدخال المهمة في الوضع التفاعلي، على سبيل المثال:

> 打开小红书搜索美食
> 打开淘宝搜索无线耳机

نفّذ المهمة مباشرة

python main.py \
  --connect 192.168.31.70:39359 \  # 无线连接
  #--device-id ABC123456789 \  #USB 连接
  --base-url https://hyperai-tutorials-xxx.gear-c1.openbayes.net/v1 \
  --model "autoglm-phone-9b" \
  "打开美团搜索附近的火锅店"

5. الأسئلة الشائعة

فشل الاتصال بالجهاز

# 重启 ADB 服务
adb kill-server
adb start-server
adb devices

انقطع الاتصال اللاسلكي

• تأكد من أن هاتفك وجهاز الكمبيوتر الخاص بك متصلان بنفس شبكة الواي فاي.
• إعادة التنفيذ adb connect  طلب
• تتطلب بعض الأجهزة إعادة تفعيل خاصية تصحيح الأخطاء اللاسلكية بعد إعادة التشغيل.

لا يعمل إدخال النص

• تأكد من تثبيت وتفعيل لوحة مفاتيح ADB.
• يفحص  设置 > 输入法  هل تم تفعيله في الصين؟
• بالنسبة لبعض الطرازات، يلزم إعادة تشغيل الجهاز حتى تدخل التغييرات حيز التنفيذ.

مشاكل ترميز ويندوز

إذا واجهت UnicodeEncodeError gbk code  خطأ:

# 在命令前添加环境变量
set PYTHONIOENCODING=utf-8
python main.py ...

فشلت لقطة الشاشة (شاشة سوداء)

هذا يعني عادةً أن التطبيق يعرض صفحات حساسة (مثل صفحات الدفع، وكلمات المرور، والتطبيقات المصرفية). سيكتشف النظام ذلك تلقائيًا ويطلب تدخلاً يدويًا.

إحداثيات عملية النقر غير دقيقة.

المشروع حاليًا في مرحلة الاختبار، وقد تحدث بعض الانحرافات في إحداثيات عمليات النقر في التطبيق. إذا واجهت هذه المشكلة، يمكنك... مشاكل GitHub  قدّم ملاحظاتك حول تطبيقات وسيناريوهات محددة للمساعدة في تحسين النموذج.

معلومات الاستشهاد

إذا وجدتم عملنا مفيداً، فيرجى الاستشهاد بالأوراق البحثية التالية:

@article{liu2024autoglm,
  title={Autoglm: Autonomous foundation agents for guis},
  author={Liu, Xiao and Qin, Bo and Liang, Dongzhu and Dong, Guang and Lai, Hanyu and Zhang, Hanchen and Zhao, Hanlin and Iong, Iat Long and Sun, Jiadai and Wang, Jiaqi and others},
  journal={arXiv preprint arXiv:2411.00820},
  year={2024}
}

@article{xu2025mobilerl,
  title={MobileRL: Online Agentic Reinforcement Learning for Mobile GUI Agents},
  author={Xu, Yifan and Liu, Xiao and Liu, Xinghan and Fu, Jiaqi and Zhang, Hanchen and Jing, Bohao and Zhang, Shudan and Wang, Yuting and Zhao, Wenyi and Dong, Yuxiao},
  journal={arXiv preprint arXiv:2509.18119},
  year={2025}
}