1. Introduction au tutoriel

Open-AutoGLM est un framework d'assistant intelligent mobile développé par Zhipu AI et lancé en novembre 2024. Basé sur AutoGLM, il permet d'interpréter le contenu des écrans mobiles de manière multimodale et d'assister les utilisateurs dans la réalisation de tâches grâce à des opérations automatisées. Des articles de recherche associés sont disponibles. AutoGLM : Agents de base autonomes pour interfaces graphiques .

Contrairement aux outils d'automatisation mobile traditionnels, Phone Agent utilise un modèle de langage visuel pour la perception de l'écran, associé à des capacités de planification intelligentes, afin de générer et d'exécuter automatiquement les processus opérationnels. Le système contrôle l'appareil via ADB (Android Debug Bridge). Il suffit à l'utilisateur de décrire ses besoins en langage naturel, par exemple « ouvrir Xiaohongshu pour chercher un restaurant », et Phone Agent interprète automatiquement l'intention, comprend l'interface actuelle, planifie l'action suivante et mène à bien l'ensemble du processus.

Le système intègre un mécanisme de confirmation de fonctionnement sensible et prend en charge la prise de contrôle manuelle lors de la connexion ou en cas de CAPTCHA. De plus, il offre des fonctionnalités de débogage ADB à distance, permettant un contrôle et un développement flexibles à distance via Wi-Fi ou connexion réseau.

Ce tutoriel prend en charge les modèles et fonctions suivants :

2 points de contrôle du modèle :

• AutoGLM-Phone-9B (Version optimisée pour le chinois) (Par défaut)
• AutoGLM-Phone-9B-Multilingual (Version multilingue)

Fonctions principales :

• Prend en charge les opérations automatisées pour plus de 50 applications chinoises courantes.
• Compréhension multimodale de l'écran et prise de décision intelligente
• Interaction en langage naturel, aucune écriture de script requise.
• Compatible avec les télécommandes USB et WiFi
• Mécanisme de confirmation de fonctionnement sensible et de prise de contrôle manuelle

Ce tutoriel utilise un modèle de déploiement basé sur le cloud, le contrôle automatisé local du téléphone mobile étant réalisé via des appels API.

⚠️  Remarque importante :  Ce projet est exclusivement destiné à la recherche et à l'apprentissage. Toute utilisation à des fins d'obtention illégale d'informations, de perturbation du système ou d'activités illégales est strictement interdite.

2. Exemples de projets

Scénarios d'application typiques

Phone Agent peut automatiser diverses tâches quotidiennes :

Achats en ligne :

• Ouvrez Taobao et recherchez des écouteurs sans fil.
• Recherche de coques de téléphone sur JD.com

Livraison de repas :

• «Ouvrez Meituan et recherchez les restaurants de fondue chinoise à proximité»
• Commandez un thé au lait sur Eleme.

Contenu social :

• «Ouvrez Xiaohongshu et recherchez des guides gastronomiques»
• Je recherche des vidéos de fitness sur TikTok.

Services de voyage :

• «Ouvrez Amap (Gaode Maps) et naviguez jusqu'au café le plus proche.»
• « Je vérifie mes billets de train pour Shanghai demain. »

3. Étapes de l'opération

Si le service du modèle affiche « Bad Gateway », cela signifie que le modèle est en cours d'initialisation. Veuillez patienter 5 à 10 minutes et réessayer.

Les étapes 1 et 2 sont maintenant terminées. Veuillez passer à l'étape 3.

1. Configuration de l'environnement local

Étape 1 : Extraire le projet

git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM

Étape 2 : Installer les dépendances Python

Il est recommandé d'utiliser Python 3.10 ou une version ultérieure.

pip install -r requirements.txt
pip install -e .

Étape 3 : Installer ADB (Android Debug Bridge)

Utilisateurs macOS :

1. Téléchargez la version officielle d'ADB  package d'installation
2. Extraire vers un chemin personnalisé (par exemple) ~/Downloads/platform-tools）
3. Configurer les variables d'environnement

Exécutez la commande dans le terminal (en supposant que le répertoire d'extraction soit ~/Downloads/platform-tools).

export PATH=${PATH}:~/Downloads/platform-tools

Vérifier l'installation

adb version

Utilisateurs Windows/Linux :

Veuillez vous référer à Site officiel de la BADConfigurez le système correspondant au milieu.

2. Configurer le modèle distant

Si vous avez déjà déployé le service de modélisation dans le cloud, veuillez enregistrer les informations suivantes :

• URL de baseAdresse du service modèle, au format suivant : https://hyperai-tutorials-xxxx.gear-c1.openbayes.net/v1
• modèleNom du modèle, par défaut : autoglm-phone-9b

3. Configurer l'appareil Android

Étape 1 : Préparation de l'appareil mobile

1. Activer le mode développeur
   • Entrer  设置 > 关于手机 > 版本号
   • Appuyez rapidement une dizaine de fois sur le numéro de version jusqu'à ce que le message « Le mode développeur est activé » s'affiche.
2. Activer le débogage USB
   • Entrer  设置 > 开发者选项 > USB 调试Cochez la case pour activer.
   • Pour certains modèles, un redémarrage de l'appareil est nécessaire pour que les modifications soient prises en compte.
3. Activer le débogage sans fil(Recommandé pour la télécommande)
   • Assurez-vous que votre téléphone et votre ordinateur sont connectés au même réseau Wi-Fi.
   • Entrer  设置 > 开发者选项 > 无线调试Activer cette option
   • L'enregistrement affiche l'adresse IP et le numéro de port (par exemple) 192.168.31.70:39359）
4. Autoriser les clics simulés(Certains modèles nécessitent une carte SIM)
   • Entrer  设置 > 开发者选项 > 模拟点击Activer cette option

Veuillez vérifier attentivement les autorisations requises :

Étape 2 : Établir une connexion ADB

Méthode 1 : Connexion USB

Lorsque vous connectez votre téléphone et votre ordinateur à l'aide d'un câble de données USB, assurez-vous que ce câble est capable de transférer des données et non pas seulement de servir de câble de chargement.

Afficher les appareils connectés

adb devices

Exemple de sortie :

List of devices attached
ABC123456789    device

Méthode 2 : Connexion sans fil (recommandée)

Utilisez l'adresse IP et le port affichés dans les paramètres de débogage sans fil du téléphone.

adb connect 192.168.31.70:39359

Vérifier la connexion

adb devices

Exemple de sortie :

List of devices attached
192.168.31.70:39359    device

description de l'identifiant du périphérique : device-id  c'est adb devices  L'identifiant du périphérique dans la sortie de la commande. Lorsqu'il est connecté via USB, il s'agit généralement du numéro de série du périphérique (par exemple, ...). ABC123456789Lors d'une connexion sans fil, le format est IP:port (par exemple, ...). 192.168.31.70:39359).

Étape 3 : Installer le clavier ADB

1. Téléchargez le package d'installation du clavier ADB.

2. Installez le fichier APK sur votre téléphone.

adb -s <device-id> install path/to/ADBKeyboard.apk

3. Entrez  设置 > 输入法  ou  设置 > 键盘列表Activer ADB Keyboard(Certains modèles de téléphone peuvent nécessiter un redémarrage de l'appareil)

2. Premiers pas avec AutoGLM

Préparatifs avant le démarrage

• Gardez l'écran de votre téléphone allumé et déverrouillé.
• Vérifiez que la connexion ADB fonctionne correctement.adb devices  (L'équipement est visible)

Fonctionnement en mode interactif

Méthode 1 : Connexion USB

python main.py \
  --device-id ABC123456789 \
  --base-url https://hyperai-tutorials-xxx.gear-c1.openbayes.net/v1 \
  --model "autoglm-phone-9b"

Description des paramètres :

• --device-idIdentifiant de l'appareil, provenant de adb devices  Obtenir
• --base-urlL'adresse du service de modèle basé sur le cloud, le point de terminaison API que vous avez déployé.
• --modelNom du modèle, conforme au nom du modèle utilisé lors du déploiement.

Méthode 2 : Connexion sans fil (recommandée)

python main.py \
  --connect 192.168.31.70:39359 \
  --base-url https://hyperai-tutorials-xxx.gear-c1.openbayes.net/v1 \
  --model "autoglm-phone-9b"

Description des paramètres :

• --connectAdresse IP de l'appareil, obtenue à partir de la page de débogage sans fil du téléphone.
• --base-urlL'adresse du service de modèle basé sur le cloud, le point de terminaison API que vous avez déployé.
• --modelNom du modèle, conforme au nom du modèle utilisé lors du déploiement.

Après le démarrage, accédez à la tâche en mode interactif, par exemple :

> 打开小红书搜索美食
> 打开淘宝搜索无线耳机

Exécutez la tâche directement

python main.py \
  --connect 192.168.31.70:39359 \  # 无线连接
  #--device-id ABC123456789 \  #USB 连接
  --base-url https://hyperai-tutorials-xxx.gear-c1.openbayes.net/v1 \
  --model "autoglm-phone-9b" \
  "打开美团搜索附近的火锅店"

5. Foire aux questions

Échec de la connexion de l'appareil

# 重启 ADB 服务
adb kill-server
adb start-server
adb devices

Perte de connexion sans fil

• Vérifiez si votre téléphone et votre ordinateur sont connectés au même réseau Wi-Fi.
• Réexécuter adb connect  Commande
• Certains appareils nécessitent la réactivation du débogage sans fil après un redémarrage.

La saisie de texte ne fonctionne pas

• Vérifiez que le clavier ADB est installé et activé.
• examiner  设置 > 输入法  Est-ce que cela a été activé en Chine ?
• Pour certains modèles, un redémarrage de l'appareil est nécessaire pour que les modifications soient prises en compte.

Problèmes d'encodage Windows

Si vous rencontrez UnicodeEncodeError gbk code  erreur:

# 在命令前添加环境变量
set PYTHONIOENCODING=utf-8
python main.py ...

Capture d'écran impossible (écran noir)

Cela signifie généralement que l'application affiche des pages sensibles (paiement, mot de passe, applications bancaires). L'agent le détectera automatiquement et demandera une intervention manuelle.

Les coordonnées de l'opération de clic sont inexactes.

Le projet est actuellement en phase de test et certaines actions de clic dans l'application peuvent présenter des écarts de coordonnées. Si vous rencontrez ce problème, vous pouvez… Problèmes GitHub  Fournissez des commentaires sur des applications et des scénarios spécifiques afin d'aider à améliorer le modèle.

Informations sur la citation

Si vous trouvez nos travaux utiles, veuillez citer les articles suivants :

@article{liu2024autoglm,
  title={Autoglm: Autonomous foundation agents for guis},
  author={Liu, Xiao and Qin, Bo and Liang, Dongzhu and Dong, Guang and Lai, Hanyu and Zhang, Hanchen and Zhao, Hanlin and Iong, Iat Long and Sun, Jiadai and Wang, Jiaqi and others},
  journal={arXiv preprint arXiv:2411.00820},
  year={2024}
}

@article{xu2025mobilerl,
  title={MobileRL: Online Agentic Reinforcement Learning for Mobile GUI Agents},
  author={Xu, Yifan and Liu, Xiao and Liu, Xinghan and Fu, Jiaqi and Zhang, Hanchen and Jing, Bohao and Zhang, Shudan and Wang, Yuting and Zhao, Wenyi and Dong, Yuxiao},
  journal={arXiv preprint arXiv:2509.18119},
  year={2025}
}