GPT-4o est un modèle omnivariant autoregressif capable d’accepter en entrée toute combinaison de texte, d’audio, d’image et de vidéo, et de produire en sortie toute combinaison de texte, d’audio et d’image. Entraîné de manière end-to-end sur le texte, la vision et l’audio, ce modèle traite toutes les entrées et sorties via le même réseau neuronal. GPT-4o peut répondre à des entrées audio en seulement 232 millisecondes, en moyenne 320 millisecondes, ce qui est comparable au temps de réponse humain dans une conversation. Il égale les performances de GPT-4 Turbo en ce qui concerne le texte en anglais et le code, tout en offrant des améliorations significatives pour le texte dans les langues non anglaises, tout en étant bien plus rapide et 50 % moins coûteux via l’API. GPT-4o se distingue particulièrement par ses capacités avancées en compréhension visuelle et auditive par rapport aux modèles existants. Conformément à notre engagement en faveur du développement d’une IA sûre, ainsi qu’à nos engagements volontaires auprès de la Maison-Blanche, nous publions la fiche système GPT-4o, incluant les évaluations réalisées dans le cadre de notre Cadre de préparation. Cette fiche fournit une analyse détaillée des capacités, des limites et des évaluations de sécurité de GPT-4o dans plusieurs catégories, en mettant l’accent sur la conversion parole-parole, tout en évaluant également les capacités textuelles et visuelles, ainsi que les mesures mises en œuvre pour garantir la sécurité et l’alignement du modèle. Nous incluons également des évaluations tierces portant sur les capacités potentiellement dangereuses, ainsi qu’une discussion sur les impacts sociaux potentiels des capacités textuelles et visuelles de GPT-4o.