Vers la détection d'objets bruts dans des conditions diverses

Les méthodes existantes de détection d'objets considèrent souvent des entrées sRGB, qui ont été compressées à partir de données RAW à l’aide d’un ISP initialement conçu pour la visualisation. Toutefois, cette compression peut entraîner une perte d’informations cruciales pour la détection, en particulier dans des conditions lumineuses et météorologiques complexes. Nous introduisons le jeu de données AODRaw, comprenant 7 785 images réelles en mode RAW haute résolution, avec 135 601 instances annotées réparties sur 62 catégories, couvrant une large variété de scènes intérieures et extérieures sous 9 conditions distinctes d’éclairage et de météo. À partir d’AODRaw, qui prend en charge à la fois la détection d’objets en RAW et en sRGB, nous proposons une évaluation complète des méthodes actuelles de détection. Nous constatons que la pré-formation sur sRGB limite le potentiel de la détection en RAW en raison de l’écart de domaine entre sRGB et RAW, ce qui nous pousse à pré-entraîner directement sur le domaine RAW. Toutefois, l’apprentissage de représentations riches est plus difficile avec le pré-entraînement en RAW en raison du bruit de capteur. Pour soutenir ce pré-entraînement, nous transférons les connaissances d’un modèle pré-entraîné sur le domaine sRGB, disponible commercialement. En conséquence, nous obtenons des améliorations significatives dans des conditions variées et défavorables, sans recourir à des modules de post-traitement supplémentaires. Le code et le jeu de données sont disponibles à l’adresse suivante : https://github.com/lzyhha/AODRaw.