il y a 2 mois
Rapport technique sur GPT-4
OpenAI ; Achiam, Josh ; Adler, Steven ; Agarwal, Sandhini ; Ahmad, Lama ; Akkaya, Ilge ; Aleman, Florencia Leoni ; Almeida, Diogo ; Altenschmidt, Janko ; Altman, Sam ; Anadkat, Shyamal ; Avila, Red ; Babuschkin, Igor ; Balaji, Suchir ; Balcom, Valerie ; Baltescu, Paul ; Bao, Haiming ; Bavarian, Mohammad ; Belgum, Jeff ; Bello, Irwan ; Berdine, Jake ; Bernadett-Shapiro, Gabriel ; Berner, Christopher ; Bogdonoff, Lenny ; Boiko, Oleg ; Boyd, Madelaine ; Brakman, Anna-Luisa ; Brockman, Greg ; Brooks, Tim ; Brundage, Miles ; Button, Kevin ; Cai, Trevor ; Campbell, Rosie ; Cann, Andrew ; Carey, Brittany ; Carlson, Chelsea ; Carmichael, Rory ; Chan, Brooke ; Chang, Che ; Chantzis, Fotis ; Chen, Derek ; Chen, Sully ; Chen, Ruby ; Chen, Jason ; Chen, Mark ; Chess, Ben ; Cho, Chester ; Chu, Casey ; Chung, Hyung Won ; Cummings, Dave ; Currier, Jeremiah ; Dai, Yunxing ; Decareaux, Cory ; Degry, Thomas ; Deutsch, Noah ; Deville, Damien ; Dhar, Arka ; Dohan, David ; Dowling, Steve ; Dunning, Sheila ; Ecoffet, Adrien ; Eleti, Atty ; Eloundou, Tyna ; Farhi, David ; Fedus, Liam ; Felix, Niko ; Fishman, Simón Posada ; Forte, Juston ; Fulford, Isabella ; Gao, Leo ; Georges, Elie ; Gibson, Christian ; Goel, Vik ; Gogineni, Tarun ; Goh, Gabriel ; Gontijo-Lopes, Rapha ; Gordon, Jonathan ; Grafstein, Morgan ; Gray, Scott ; Greene, Ryan ; Gross, Joshua ; Gu, Shixiang Shane ; Guo, Yufei ; Hallacy, Chris ; Han, Jesse ; Harris, Jeff ; He, Yuchen ; Heaton, Mike ; Heidecke, Johannes ; Hesse, Chris ; Hickey, Alan ; Hickey, Wade ; Hoeschele, Peter ; Houghton, Brandon ; Hsu, Kenny ; Hu, Shengli ; Hu, Xin ; Huizinga, Joost ; Jain, Shantanu ; Jain, Shawn ; Jang, Joanne ; Jiang, Angela ; Jiang, Roger ; Jin, Haozhun ; Jin, Denny ; Jomoto, Shino ; Jonn, Billie ; Jun, Heewoo ; Kaftan, Tomer ; Kaiser, Łukasz ; Kamali, Ali ; Kanitscheider, Ingmar ; Keskar, Nitish Shirish ; Khan, Tabarak ; Kilpatrick, Logan ; Kim, Jong Wook ; Kim, Christina ; Kim, Yongjik ; Kirchner, Jan Hendrik ; Kiros, Jamie ; Knight, Matt ; Kokotajlo, Daniel ; Kondraciuk, Łukasz ; Kondrich, Andrew ; Konstantinidis, Aris ; Kosic, Kyle ; Krueger, Gretchen ; Kuo, Vishal ; Lampe, Michael ; Lan, Ikai ; Lee, Teddy ; Leike, Jan ; Leung, Jade ; Levy, Daniel ; Li, Chak Ming ; Lim, Rachel ; Lin, Molly ; Lin, Stephanie ; Litwin, Mateusz ; Lopez, Theresa ; Lowe, Ryan ; Lue, Patricia ; Makanju, Anna ; Malfacini, Kim ; Manning, Sam ; Markov, Todor ; Markovski, Yaniv ; Martin, Bianca ; Mayer, Katie ; Mayne, Andrew ; McGrew, Bob ; McKinney, Scott Mayer ; McLeavey, Christine ; McMillan, Paul ; McNeil, Jake ; Medina, David ; Mehta, Aalok ; Menick, Jacob ; Metz, Luke ; Mishchenko, Andrey ; Mishkin, Pamela ; Monaco, Vinnie ; Morikawa, Evan ; Mossing, Daniel ; Mu, Tong ; Murati, Mira ; Murk, Oleg ; Mély, David ; Nair, Ashvin ; Nakano, Reiichiro ; Nayak, Rajeev ; Neelakantan, Arvind ; Ngo, Richard ; Noh, Hyeonwoo ; Ouyang, Long ; O'Keefe, Cullen ; Pachocki, Jakub ; Paino, Alex ; Palermo, Joe ; Pantuliano, Ashley ; Parascandolo, Giambattista ; Parish, Joel ; Parparita, Emy ; Passos, Alex ; Pavlov, Mikhail ; Peng, Andrew ; Perelman, Adam ; Peres, Filipe de Avila Belbute ; Petrov, Michael ; Pinto, Henrique Ponde de Oliveira ; Michael ; Pokorny ; Pokrass, Michelle ; Pong, Vitchyr H. ; Powell, Tolly ; Power, Alethea ; Power, Boris ; Proehl, Elizabeth ; Puri, Raul ; Radford, Alec ; Rae, Jack ; Ramesh, Aditya ; Raymond, Cameron ; Real, Francis ; Rimbach, Kendra ; Ross, Carl ; Rotsted, Bob ; Roussez, Henri ; Ryder, Nick ; Saltarelli, Mario ; Sanders, Ted ; Santurkar, Shibani ; Sastry, Girish ; Schmidt, Heather ; Schnurr, David ; Schulman, John ; Selsam, Daniel ; Sheppard, Kyla ; Sherbakov, Toki ; Shieh, Jessica ; Shoker, Sarah ; Shyam, Pranav ; Sidor, Szymon ; Sigler, Eric ; Simens, Maddie ; Sitkin, Jordan ; Slama, Katarina ; Sohl, Ian ; Sokolowsky, Benjamin ; Song, Yang ; Staudacher, Natalie ; Such, Felipe Petroski ; Summers, Natalie ; Sutskever, Ilya ; Tang, Jie ; Tezak, Nikolas ; Thompson, Madeleine B. ; Tillet, Phil ; Tootoonchian, Amin ; Tseng, Elizabeth ; Tuggle, Preston ; Turley, Nick ; Tworek, Jerry ; Uribe, Juan Felipe Cerón ; Vallone, Andrea ; Vijayvergiya, Arun ; Voss, Chelsea ; Wainwright, Carroll ; Wang, Justin Jay ; Wang, Alvin ; Wang, Ben ; Ward, Jonathan ; Wei, Jason ; Weinmann, CJ ; Welihinda, Akila ; Welinder, Peter ; Weng, Jiayi ; Weng, Lilian ; Wiethoff, Matt ; Willner, Dave ; Winter, Clemens ; Wolrich, Samuel ; Wong, Hannah ; Workman, Lauren ; Wu, Sherwin ; Wu, Jeff ; Wu, Michael ; Xiao, Kai ; Xu, Tao ; Yoo, Sarah ; Yu, Kevin ; Yuan, Qiming ; Zaremba, Wojciech ; Zellers, Rowan ; Zhang, Chong ; Zhang, Marvin ; Zhao, Shengjia ; Zheng, Tianhao ; Zhuang, Juntang ; Zhuk, William ; Zoph, Barret
Résumé
Nous rapportons le développement de GPT-4, un modèle à grande échelle et multimodal capable d'accepter des entrées d'images et de texte, et de produire des sorties textuelles. Bien que moins performant que les humains dans de nombreuses situations réelles, GPT-4 montre des performances au niveau humain sur diverses évaluations professionnelles et académiques, notamment en réussissant un examen du barreau simulé avec un score se situant dans le top 10% des candidats. GPT-4 est un modèle basé sur l'architecture Transformer, pré-entraîné pour prédire le prochain jeton (token) dans un document. Le processus d'alignement post-entraînement aboutit à une amélioration des performances en termes de véracité et d'adhésion au comportement souhaité. Un élément central de ce projet a été le développement d'infrastructures et de méthodes d'optimisation qui se comportent de manière prévisible sur une large gamme d'échelles. Cela nous a permis de prédire avec précision certains aspects des performances de GPT-4 en nous appuyant sur des modèles entraînés avec moins de 1/1000e des ressources informatiques utilisées pour GPT-4.