vor 2 Monaten
GPT-4 Technischer Bericht
OpenAI ; Achiam, Josh ; Adler, Steven ; Agarwal, Sandhini ; Ahmad, Lama ; Akkaya, Ilge ; Aleman, Florencia Leoni ; Almeida, Diogo ; Altenschmidt, Janko ; Altman, Sam ; Anadkat, Shyamal ; Avila, Red ; Babuschkin, Igor ; Balaji, Suchir ; Balcom, Valerie ; Baltescu, Paul ; Bao, Haiming ; Bavarian, Mohammad ; Belgum, Jeff ; Bello, Irwan ; Berdine, Jake ; Bernadett-Shapiro, Gabriel ; Berner, Christopher ; Bogdonoff, Lenny ; Boiko, Oleg ; Boyd, Madelaine ; Brakman, Anna-Luisa ; Brockman, Greg ; Brooks, Tim ; Brundage, Miles ; Button, Kevin ; Cai, Trevor ; Campbell, Rosie ; Cann, Andrew ; Carey, Brittany ; Carlson, Chelsea ; Carmichael, Rory ; Chan, Brooke ; Chang, Che ; Chantzis, Fotis ; Chen, Derek ; Chen, Sully ; Chen, Ruby ; Chen, Jason ; Chen, Mark ; Chess, Ben ; Cho, Chester ; Chu, Casey ; Chung, Hyung Won ; Cummings, Dave ; Currier, Jeremiah ; Dai, Yunxing ; Decareaux, Cory ; Degry, Thomas ; Deutsch, Noah ; Deville, Damien ; Dhar, Arka ; Dohan, David ; Dowling, Steve ; Dunning, Sheila ; Ecoffet, Adrien ; Eleti, Atty ; Eloundou, Tyna ; Farhi, David ; Fedus, Liam ; Felix, Niko ; Fishman, Simón Posada ; Forte, Juston ; Fulford, Isabella ; Gao, Leo ; Georges, Elie ; Gibson, Christian ; Goel, Vik ; Gogineni, Tarun ; Goh, Gabriel ; Gontijo-Lopes, Rapha ; Gordon, Jonathan ; Grafstein, Morgan ; Gray, Scott ; Greene, Ryan ; Gross, Joshua ; Gu, Shixiang Shane ; Guo, Yufei ; Hallacy, Chris ; Han, Jesse ; Harris, Jeff ; He, Yuchen ; Heaton, Mike ; Heidecke, Johannes ; Hesse, Chris ; Hickey, Alan ; Hickey, Wade ; Hoeschele, Peter ; Houghton, Brandon ; Hsu, Kenny ; Hu, Shengli ; Hu, Xin ; Huizinga, Joost ; Jain, Shantanu ; Jain, Shawn ; Jang, Joanne ; Jiang, Angela ; Jiang, Roger ; Jin, Haozhun ; Jin, Denny ; Jomoto, Shino ; Jonn, Billie ; Jun, Heewoo ; Kaftan, Tomer ; Kaiser, Łukasz ; Kamali, Ali ; Kanitscheider, Ingmar ; Keskar, Nitish Shirish ; Khan, Tabarak ; Kilpatrick, Logan ; Kim, Jong Wook ; Kim, Christina ; Kim, Yongjik ; Kirchner, Jan Hendrik ; Kiros, Jamie ; Knight, Matt ; Kokotajlo, Daniel ; Kondraciuk, Łukasz ; Kondrich, Andrew ; Konstantinidis, Aris ; Kosic, Kyle ; Krueger, Gretchen ; Kuo, Vishal ; Lampe, Michael ; Lan, Ikai ; Lee, Teddy ; Leike, Jan ; Leung, Jade ; Levy, Daniel ; Li, Chak Ming ; Lim, Rachel ; Lin, Molly ; Lin, Stephanie ; Litwin, Mateusz ; Lopez, Theresa ; Lowe, Ryan ; Lue, Patricia ; Makanju, Anna ; Malfacini, Kim ; Manning, Sam ; Markov, Todor ; Markovski, Yaniv ; Martin, Bianca ; Mayer, Katie ; Mayne, Andrew ; McGrew, Bob ; McKinney, Scott Mayer ; McLeavey, Christine ; McMillan, Paul ; McNeil, Jake ; Medina, David ; Mehta, Aalok ; Menick, Jacob ; Metz, Luke ; Mishchenko, Andrey ; Mishkin, Pamela ; Monaco, Vinnie ; Morikawa, Evan ; Mossing, Daniel ; Mu, Tong ; Murati, Mira ; Murk, Oleg ; Mély, David ; Nair, Ashvin ; Nakano, Reiichiro ; Nayak, Rajeev ; Neelakantan, Arvind ; Ngo, Richard ; Noh, Hyeonwoo ; Ouyang, Long ; O'Keefe, Cullen ; Pachocki, Jakub ; Paino, Alex ; Palermo, Joe ; Pantuliano, Ashley ; Parascandolo, Giambattista ; Parish, Joel ; Parparita, Emy ; Passos, Alex ; Pavlov, Mikhail ; Peng, Andrew ; Perelman, Adam ; Peres, Filipe de Avila Belbute ; Petrov, Michael ; Pinto, Henrique Ponde de Oliveira ; Michael ; Pokorny ; Pokrass, Michelle ; Pong, Vitchyr H. ; Powell, Tolly ; Power, Alethea ; Power, Boris ; Proehl, Elizabeth ; Puri, Raul ; Radford, Alec ; Rae, Jack ; Ramesh, Aditya ; Raymond, Cameron ; Real, Francis ; Rimbach, Kendra ; Ross, Carl ; Rotsted, Bob ; Roussez, Henri ; Ryder, Nick ; Saltarelli, Mario ; Sanders, Ted ; Santurkar, Shibani ; Sastry, Girish ; Schmidt, Heather ; Schnurr, David ; Schulman, John ; Selsam, Daniel ; Sheppard, Kyla ; Sherbakov, Toki ; Shieh, Jessica ; Shoker, Sarah ; Shyam, Pranav ; Sidor, Szymon ; Sigler, Eric ; Simens, Maddie ; Sitkin, Jordan ; Slama, Katarina ; Sohl, Ian ; Sokolowsky, Benjamin ; Song, Yang ; Staudacher, Natalie ; Such, Felipe Petroski ; Summers, Natalie ; Sutskever, Ilya ; Tang, Jie ; Tezak, Nikolas ; Thompson, Madeleine B. ; Tillet, Phil ; Tootoonchian, Amin ; Tseng, Elizabeth ; Tuggle, Preston ; Turley, Nick ; Tworek, Jerry ; Uribe, Juan Felipe Cerón ; Vallone, Andrea ; Vijayvergiya, Arun ; Voss, Chelsea ; Wainwright, Carroll ; Wang, Justin Jay ; Wang, Alvin ; Wang, Ben ; Ward, Jonathan ; Wei, Jason ; Weinmann, CJ ; Welihinda, Akila ; Welinder, Peter ; Weng, Jiayi ; Weng, Lilian ; Wiethoff, Matt ; Willner, Dave ; Winter, Clemens ; Wolrich, Samuel ; Wong, Hannah ; Workman, Lauren ; Wu, Sherwin ; Wu, Jeff ; Wu, Michael ; Xiao, Kai ; Xu, Tao ; Yoo, Sarah ; Yu, Kevin ; Yuan, Qiming ; Zaremba, Wojciech ; Zellers, Rowan ; Zhang, Chong ; Zhang, Marvin ; Zhao, Shengjia ; Zheng, Tianhao ; Zhuang, Juntang ; Zhuk, William ; Zoph, Barret
Abstract
Wir berichten über die Entwicklung von GPT-4, einem groß angelegten, multimodalen Modell, das Bild- und Texteingaben akzeptieren und Textausgaben erzeugen kann. Obwohl GPT-4 in vielen realen Szenarien weniger fähig als Menschen ist, zeigt es menschliche Leistungsniveaus bei verschiedenen professionellen und akademischen Benchmarks, einschließlich dem Bestehen eines simulierten Anwaltsprüfungs (bar exam) mit einer Punktzahl im oberen 10-Prozent-Bereich der Prüfungsteilnehmer. GPT-4 ist ein auf dem Transformer-Prinzip basierendes Modell, das vortrainiert wurde, um das nächste Token in einem Dokument vorherzusagen. Der nachfolgende Ausrichtungsprozess führt zu verbesserten Leistungen in Bezug auf Faktualität und Einhaltung des gewünschten Verhaltens. Ein wesentlicher Bestandteil dieses Projekts war die Entwicklung von Infrastruktur und Optimierungsmethoden, die sich über einen breiten Bereich von Skalierungen vorhersagbar verhalten. Dies ermöglichte es uns, einige Aspekte der Leistungsfähigkeit von GPT-4 auf Basis von Modellen vorherzusagen, die mit nicht mehr als 1/1000 des Rechenaufwands von GPT-4 trainiert wurden.