Récemment, la détection directe d'objets 3D à partir de nuages de points 3D a suscité un intérêt croissant. Pour extraire une représentation d'objet à partir d'un nuage de points irrégulier, les méthodes existantes adoptent généralement une étape de regroupement de points afin d'attribuer chaque point à une candidature d'objet, permettant ainsi d'appliquer un réseau du type PointNet pour extraire les caractéristiques de l'objet à partir des points regroupés. Toutefois, les attributions de points inexactes dues au schéma de regroupement manuel réduit la performance de la détection d'objets 3D.Dans cet article, nous proposons une méthode simple mais efficace pour la détection directe d'objets 3D à partir de nuages de points 3D. Contrairement à la stratégie classique de regroupement des points locaux autour de chaque candidat d'objet, notre méthode calcule la caractéristique d'un objet à partir de tous les points du nuage de points, grâce à un mécanisme d'attention intégré dans les Transformers \cite{vaswani2017attention}, où la contribution de chaque point est automatiquement apprise pendant l'entraînement du réseau. Grâce à un schéma amélioré de superposition d'attention, notre méthode fusionne les caractéristiques d'objets à différentes étapes, produisant ainsi des résultats de détection d'objets plus précis. Sans recourir à des éléments complexes ou artificiels, la méthode proposée atteint des performances de détection d'objets 3D de pointe sur deux benchmarks largement utilisés, ScanNet V2 et SUN RGB-D. Le code source et les modèles sont disponibles publiquement à l'adresse suivante : \url{https://github.com/zeliu98/Group-Free-3D}