HyperAIHyperAI
vor 2 Monaten

Gemini 1.5: Die Freischaltung multimodaler Verständnisfähigkeiten bei Millionen von Kontexttoken

Gemini Team ; Georgiev, Petko ; Lei, Ving Ian ; Burnell, Ryan ; Bai, Libin ; Gulati, Anmol ; Tanzer, Garrett ; Vincent, Damien ; Pan, Zhufeng ; Wang, Shibo ; Mariooryad, Soroosh ; Ding, Yifan ; Geng, Xinyang ; Alcober, Fred ; Frostig, Roy ; Omernick, Mark ; Walker, Lexi ; Paduraru, Cosmin ; Sorokin, Christina ; Tacchetti, Andrea ; Gaffney, Colin ; Daruki, Samira ; Sercinoglu, Olcan ; Gleicher, Zach ; Love, Juliette ; Voigtlaender, Paul ; Jain, Rohan ; Surita, Gabriela ; Mohamed, Kareem ; Blevins, Rory ; Ahn, Junwhan ; Zhu, Tao ; Kawintiranon, Kornraphop ; Firat, Orhan ; Gu, Yiming ; Zhang, Yujing ; Rahtz, Matthew ; Faruqui, Manaal ; Clay, Natalie ; Gilmer, Justin ; Co-Reyes, JD ; Penchev, Ivo ; Zhu, Rui ; Morioka, Nobuyuki ; Hui, Kevin ; Haridasan, Krishna ; Campos, Victor ; Mahdieh, Mahdis ; Guo, Mandy ; Hassan, Samer ; Kilgour, Kevin ; Vezer, Arpi ; Cheng, Heng-Tze ; de Liedekerke, Raoul ; Goyal, Siddharth ; Barham, Paul ; Strouse, DJ ; Noury, Seb ; Adler, Jonas ; Sundararajan, Mukund ; Vikram, Sharad ; Lepikhin, Dmitry ; Paganini, Michela ; Garcia, Xavier ; Yang, Fan ; Valter, Dasha ; Trebacz, Maja ; Vodrahalli, Kiran ; Asawaroengchai, Chulayuth ; Ring, Roman ; Kalb, Norbert ; Soares, Livio Baldini ; Brahma, Siddhartha ; Steiner, David ; Yu, Tianhe ; Mentzer, Fabian ; He, Antoine ; Gonzalez, Lucas ; Xu, Bibo ; Kaufman, Raphael Lopez ; Shafey, Laurent El ; Oh, Junhyuk ; Hennigan, Tom ; Driessche, George van den ; Odoom, Seth ; Lucic, Mario ; Roelofs, Becca ; Lall, Sid ; Marathe, Amit ; Chan, Betty ; Ontanon, Santiago ; He, Luheng ; Teplyashin, Denis ; Lai, Jonathan ; Crone, Phil ; Damoc, Bogdan ; Ho, Lewis ; Riedel, Sebastian ; Lenc, Karel ; Yeh, Chih-Kuan ; Chowdhery, Aakanksha ; Xu, Yang ; Kazemi, Mehran ; Amid, Ehsan ; Petrushkina, Anastasia ; Swersky, Kevin ; Khodaei, Ali ; Chen, Gowoon ; Larkin, Chris ; Pinto, Mario ; Yan, Geng ; Badia, Adria Puigdomenech ; Patil, Piyush ; Hansen, Steven ; Orr, Dave ; Arnold, Sebastien M. R. ; Grimstad, Jordan ; Dai, Andrew ; Douglas, Sholto ; Sinha, Rishika ; Yadav, Vikas ; Chen, Xi ; Gribovskaya, Elena ; Austin, Jacob ; Zhao, Jeffrey ; Patel, Kaushal ; Komarek, Paul ; Austin, Sophia ; Borgeaud, Sebastian ; Friso, Linda ; Goyal, Abhimanyu ; Caine, Ben ; Cao, Kris ; Chung, Da-Woon ; Lamm, Matthew ; Barth-Maron, Gabe ; Kagohara, Thais ; Olszewska, Kate ; Chen, Mia ; Shivakumar, Kaushik ; Agarwal, Rishabh ; Godhia, Harshal ; Rajwar, Ravi ; Snaider, Javier ; Dotiwalla, Xerxes ; Liu, Yuan ; Barua, Aditya ; Ungureanu, Victor ; Zhang, Yuan ; Batsaikhan, Bat-Orgil ; Wirth, Mateo ; Qin, James ; Danihelka, Ivo ; Doshi, Tulsee ; Chadwick, Martin ; Chen, Jilin ; Jain, Sanil ; Le, Quoc ; Kar, Arjun ; Gurumurthy, Madhu ; Li, Cheng ; Sang, Ruoxin ; Liu, Fangyu ; Lamprou, Lampros ; Munoz, Rich ; Lintz, Nathan ; Mehta, Harsh ; Howard, Heidi ; Reynolds, Malcolm ; Aroyo, Lora ; Wang, Quan ; Blanco, Lorenzo ; Cassirer, Albin ; Griffith, Jordan ; Das, Dipanjan ; Lee, Stephan ; Sygnowski, Jakub ; Fisher, Zach ; Besley, James ; Powell, Richard ; Ahmed, Zafarali ; Paulus, Dominik ; Reitter, David ; Borsos, Zalan ; Joshi, Rishabh ; Pope, Aedan ; Hand, Steven ; Selo, Vittorio ; Jain, Vihan ; Sethi, Nikhil ; Goel, Megha ; Makino, Takaki ; May, Rhys ; Yang, Zhen ; Schalkwyk, Johan ; Butterfield, Christina ; Hauth, Anja ; Goldin, Alex ; Hawkins, Will ; Senter, Evan ; Brin, Sergey ; Woodman, Oliver ; Ritter, Marvin ; Noland, Eric ; Giang, Minh ; Bolina, Vijay ; Lee, Lisa ; Blyth, Tim ; Mackinnon, Ian ; Reid, Machel ; Sarvana, Obaid ; Silver, David ; Chen, Alexander ; Wang, Lily ; Maggiore, Loren ; Chang, Oscar ; Attaluri, Nithya ; Thornton, Gregory ; Chiu, Chung-Cheng ; Bunyan, Oskar ; Levine, Nir ; Chung, Timothy ; Eltyshev, Evgenii ; Si, Xiance ; Lillicrap, Timothy ; Brady, Demetra ; Aggarwal, Vaibhav ; Wu, Boxi ; Xu, Yuanzhong ; McIlroy, Ross ; Badola, Kartikeya ; Sandhu, Paramjit ; Moreira, Erica ; Stokowiec, Wojciech ; Hemsley, Ross ; Li, Dong ; Tudor, Alex ; Shyam, Pranav ; Rahimtoroghi, Elahe ; Haykal, Salem ; Sprechmann, Pablo ; Zhou, Xiang ; Mincu, Diana ; Li, Yujia ; Addanki, Ravi ; Krishna, Kalpesh ; Wu, Xiao ; Frechette, Alexandre ; Eyal, Matan ; Dafoe, Allan ; Lacey, Dave ; Whang, Jay ; Avrahami, Thi ; Zhang, Ye ; Taropa, Emanuel ; Lin, Hanzhao ; Toyama, Daniel ; Rutherford, Eliza ; Sano, Motoki ; Choe, HyunJeong ; Tomala, Alex ; Safranek-Shrader, Chalence ; Kassner, Nora ; Pajarskas, Mantas ; Harvey, Matt ; Sechrist, Sean ; Fortunato, Meire ; Lyu, Christina ; Elsayed, Gamaleldin ; Kuang, Chenkai ; Lottes, James ; Chu, Eric ; Jia, Chao ; Chen, Chih-Wei ; Humphreys, Peter ; Baumli, Kate ; Tao, Connie ; Samuel, Rajkumar ; Santos, Cicero Nogueira dos ; Andreassen, Anders ; Rakićević, Nemanja ; Grewe, Dominik ; Kumar, Aviral ; Winkler, Stephanie ; Caton, Jonathan ; Brock, Andrew ; Dalmia, Sid ; Sheahan, Hannah ; Barr, Iain ; Miao, Yingjie ; Natsev, Paul ; Devlin, Jacob ; Behbahani, Feryal ; Prost, Flavien ; Sun, Yanhua ; Myaskovsky, Artiom ; Pillai, Thanumalayan Sankaranarayana ; Hurt, Dan ; Lazaridou, Angeliki ; Xiong, Xi ; Zheng, Ce ; Pardo, Fabio ; Li, Xiaowei ; Horgan, Dan ; Stanton, Joe ; Ambar, Moran ; Xia, Fei ; Lince, Alejandro ; Wang, Mingqiu ; Mustafa, Basil ; Webson, Albert ; Lee, Hyo ; Anil, Rohan ; Wicke, Martin ; Dozat, Timothy ; Sinha, Abhishek ; Piqueras, Enrique ; Dabir, Elahe ; Upadhyay, Shyam ; Boral, Anudhyan ; Hendricks, Lisa Anne ; Fry, Corey ; Djolonga, Josip ; Su, Yi ; Walker, Jake ; Labanowski, Jane ; Huang, Ronny ; Misra, Vedant ; Chen, Jeremy ; Skerry-Ryan, RJ ; Singh, Avi ; Rijhwani, Shruti ; Yu, Dian ; Castro-Ros, Alex ; Changpinyo, Beer ; Datta, Romina ; Bagri, Sumit ; Hrafnkelsson, Arnar Mar ; Maggioni, Marcello ; Zheng, Daniel ; Sulsky, Yury ; Hou, Shaobo ; Paine, Tom Le ; Yang, Antoine ; Riesa, Jason ; Rogozinska, Dominika ; Marcus, Dror ; Badawy, Dalia El ; Zhang, Qiao ; Wang, Luyu ; Miller, Helen ; Greer, Jeremy ; Sjos, Lars Lowe ; Nova, Azade ; Zen, Heiga ; Chaabouni, Rahma ; Rosca, Mihaela ; Jiang, Jiepu ; Chen, Charlie ; Liu, Ruibo ; Sainath, Tara ; Krikun, Maxim ; Polozov, Alex ; Lespiau, Jean-Baptiste ; Newlan, Josh ; Cankara, Zeyncep ; Kwak, Soo ; Xu, Yunhan ; Chen, Phil ; Coenen, Andy ; Meyer, Clemens ; Tsihlas, Katerina ; Ma, Ada ; Gottweis, Juraj ; Xing, Jinwei ; Gu, Chenjie ; Miao, Jin ; Frank, Christian ; Cankara, Zeynep ; Ganapathy, Sanjay ; Dasgupta, Ishita ; Hughes-Fitt, Steph ; Chen, Heng ; Reid, David ; Rong, Keran ; Fan, Hongmin ; van Amersfoort, Joost ; Zhuang, Vincent ; Cohen, Aaron ; Gu, Shixiang Shane ; Mohananey, Anhad ; Ilic, Anastasija ; Tobin, Taylor ; Wieting, John ; Bortsova, Anna ; Thacker, Phoebe ; Wang, Emma ; Caveness, Emily ; Chiu, Justin ; Sezener, Eren ; Kaskasoli, Alex ; Baker, Steven ; Millican, Katie ; Elhawaty, Mohamed ; Aisopos, Kostas ; Lebsack, Carl ; Byrd, Nathan ; Dai, Hanjun ; Jia, Wenhao ; Wiethoff, Matthew ; Davoodi, Elnaz ; Weston, Albert ; Yagati, Lakshman ; Ahuja, Arun ; Gao, Isabel ; Pundak, Golan ; Zhang, Susan ; Azzam, Michael ; Sim, Khe Chai ; Caelles, Sergi ; Keeling, James ; Sharma, Abhanshu ; Swing, Andy ; Li, YaGuang ; Liu, Chenxi ; Bostock, Carrie Grimes ; Bansal, Yamini ; Nado, Zachary ; Anand, Ankesh ; Lipschultz, Josh ; Karmarkar, Abhijit ; Proleev, Lev ; Ittycheriah, Abe ; Yeganeh, Soheil Hassas ; Polovets, George ; Faust, Aleksandra ; Sun, Jiao ; Rrustemi, Alban ; Li, Pen ; Shivanna, Rakesh ; Liu, Jeremiah ; Welty, Chris ; Lebron, Federico ; Baddepudi, Anirudh ; Krause, Sebastian ; Parisotto, Emilio ; Soricut, Radu ; Xu, Zheng ; Bloxwich, Dawn ; Johnson, Melvin ; Neyshabur, Behnam ; Mao-Jones, Justin ; Wang, Renshen ; Ramasesh, Vinay ; Abbas, Zaheer ; Guez, Arthur ; Segal, Constant ; Nguyen, Duc Dung ; Svensson, James ; Hou, Le ; York, Sarah ; Milan, Kieran ; Bridgers, Sophie ; Gworek, Wiktor ; Tagliasacchi, Marco ; Lee-Thorp, James ; Chang, Michael ; Guseynov, Alexey ; Hartman, Ale Jakse ; Kwong, Michael ; Zhao, Ruizhe ; Kashem, Sheleem ; Cole, Elizabeth ; Miech, Antoine ; Tanburn, Richard ; Phuong, Mary ; Pavetic, Filip ; Cevey, Sebastien ; Comanescu, Ramona ; Ives, Richard ; Yang, Sherry ; Du, Cosmo ; Li, Bo ; Zhang, Zizhao ; Iinuma, Mariko ; Hu, Clara Huiyi ; Roy, Aurko ; Bijwadia, Shaan ; Zhu, Zhenkai ; Martins, Danilo ; Saputro, Rachel ; Gergely, Anita ; Zheng, Steven ; Jia, Dawei ; Antonoglou, Ioannis ; Sadovsky, Adam ; Gu, Shane ; Bi, Yingying ; Andreev, Alek ; Samangooei, Sina ; Khan, Mina ; Kocisky, Tomas ; Filos, Angelos ; Kumar, Chintu ; Bishop, Colton ; Yu, Adams ; Hodkinson, Sarah ; Mittal, Sid ; Shah, Premal ; Moufarek, Alexandre ; Cheng, Yong ; Bloniarz, Adam ; Lee, Jaehoon ; Pejman, Pedram ; Michel, Paul ; Spencer, Stephen ; Feinberg, Vladimir ; Xiong, Xuehan ; Savinov, Nikolay ; Smith, Charlotte ; Shakeri, Siamak ; Tran, Dustin ; Chesus, Mary ; Bohnet, Bernd ; Tucker, George ; von Glehn, Tamara ; Muir, Carrie ; Mao, Yiran ; Kazawa, Hideto ; Slone, Ambrose ; Soparkar, Kedar ; Shrivastava, Disha ; Cobon-Kerr, James ; Sharman, Michael ; Pavagadhi, Jay ; Araya, Carlos ; Misiunas, Karolis ; Ghelani, Nimesh ; Laskin, Michael ; Barker, David ; Li, Qiujia ; Briukhov, Anton ; Houlsby, Neil ; Glaese, Mia ; Lakshminarayanan, Balaji ; Schucher, Nathan ; Tang, Yunhao ; Collins, Eli ; Lim, Hyeontaek ; Feng, Fangxiaoyu ; Recasens, Adria ; Lai, Guangda ; Magni, Alberto ; De Cao, Nicola ; Siddhant, Aditya ; Ashwood, Zoe ; Orbay, Jordi ; Dehghani, Mostafa ; Brennan, Jenny ; He, Yifan ; Xu, Kelvin ; Gao, Yang ; Saroufim, Carl ; Molloy, James ; Wu, Xinyi ; Arnold, Seb ; Chang, Solomon ; Schrittwieser, Julian ; Buchatskaya, Elena ; Radpour, Soroush ; Polacek, Martin ; Giordano, Skye ; Bapna, Ankur ; Tokumine, Simon ; Hellendoorn, Vincent ; Sottiaux, Thibault ; Cogan, Sarah ; Severyn, Aliaksei ; Saleh, Mohammad ; Thakoor, Shantanu ; Shefey, Laurent ; Qiao, Siyuan ; Gaba, Meenu ; Chang, Shuo-yiin ; Swanson, Craig ; Zhang, Biao ; Lee, Benjamin ; Rubenstein, Paul Kishan ; Song, Gan ; Kwiatkowski, Tom ; Koop, Anna ; Kannan, Ajay ; Kao, David ; Schuh, Parker ; Stjerngren, Axel ; Ghiasi, Golnaz ; Gibson, Gena ; Vilnis, Luke ; Yuan, Ye ; Ferreira, Felipe Tiengo ; Kamath, Aishwarya ; Klimenko, Ted ; Franko, Ken ; Xiao, Kefan ; Bhattacharya, Indro ; Patel, Miteyan ; Wang, Rui ; Morris, Alex ; Strudel, Robin ; Sharma, Vivek ; Choy, Peter ; Hashemi, Sayed Hadi ; Landon, Jessica ; Finkelstein, Mara ; Jhakra, Priya ; Frye, Justin ; Barnes, Megan ; Mauger, Matthew ; Daun, Dennis ; Baatarsukh, Khuslen ; Tung, Matthew ; Farhan, Wael ; Michalewski, Henryk ; Viola, Fabio ; Quitry, Felix de Chaumont ; Lan, Charline Le ; Hudson, Tom ; Wang, Qingze ; Fischer, Felix ; Zheng, Ivy ; White, Elspeth ; Dragan, Anca ; Alayrac, Jean-baptiste ; Ni, Eric ; Pritzel, Alexander ; Iwanicki, Adam ; Isard, Michael ; Bulanova, Anna ; Zilka, Lukas ; Dyer, Ethan ; Sachan, Devendra ; Srinivasan, Srivatsan ; Muckenhirn, Hannah ; Cai, Honglong ; Mandhane, Amol ; Tariq, Mukarram ; Rae, Jack W. ; Wang, Gary ; Ayoub, Kareem ; FitzGerald, Nicholas ; Zhao, Yao ; Han, Woohyun ; Alberti, Chris ; Garrette, Dan ; Krishnakumar, Kashyap ; Gimenez, Mai ; Levskaya, Anselm ; Sohn, Daniel ; Matak, Josip ; Iturrate, Inaki ; Chang, Michael B. ; Xiang, Jackie ; Cao, Yuan ; Ranka, Nishant ; Brown, Geoff ; Hutter, Adrian ; Mirrokni, Vahab ; Chen, Nanxin ; Yao, Kaisheng ; Egyed, Zoltan ; Galilee, Francois ; Liechty, Tyler ; Kallakuri, Praveen ; Palmer, Evan ; Ghemawat, Sanjay ; Liu, Jasmine ; Tao, David ; Thornton, Chloe ; Green, Tim ; Jasarevic, Mimi ; Lin, Sharon ; Cotruta, Victor ; Tan, Yi-Xuan ; Fiedel, Noah ; Yu, Hongkun ; Chi, Ed ; Neitz, Alexander ; Heitkaemper, Jens ; Sinha, Anu ; Zhou, Denny ; Sun, Yi ; Kaed, Charbel ; Hulse, Brice ; Mishra, Swaroop ; Georgaki, Maria ; Kudugunta, Sneha ; Farabet, Clement ; Shafran, Izhak ; Vlasic, Daniel ; Tsitsulin, Anton ; Ananthanarayanan, Rajagopal ; Carin, Alen ; Su, Guolong ; Sun, Pei ; V, Shashank ; Carvajal, Gabriel ; Broder, Josef ; Comsa, Iulia ; Repina, Alena ; Wong, William ; Chen, Warren Weilun ; Hawkins, Peter ; Filonov, Egor ; Loher, Lucia ; Hirnschall, Christoph ; Wang, Weiyi ; Ye, Jingchen ; Burns, Andrea ; Cate, Hardie ; Wright, Diana Gage ; Piccinini, Federico ; Zhang, Lei ; Lin, Chu-Cheng ; Gog, Ionel ; Kulizhskaya, Yana ; Sreevatsa, Ashwin ; Song, Shuang ; Cobo, Luis C. ; Iyer, Anand ; Tekur, Chetan ; Garrido, Guillermo ; Xiao, Zhuyun ; Kemp, Rupert ; Zheng, Huaixiu Steven ; Li, Hui ; Agarwal, Ananth ; Ngani, Christel ; Goshvadi, Kati ; Santamaria-Fernandez, Rebeca ; Fica, Wojciech ; Chen, Xinyun ; Gorgolewski, Chris ; Sun, Sean ; Garg, Roopal ; Ye, Xinyu ; Eslami, S. M. Ali ; Hua, Nan ; Simon, Jon ; Joshi, Pratik ; Kim, Yelin ; Tenney, Ian ; Potluri, Sahitya ; Thiet, Lam Nguyen ; Yuan, Quan ; Luisier, Florian ; Chronopoulou, Alexandra ; Scellato, Salvatore ; Srinivasan, Praveen ; Chen, Minmin ; Koverkathu, Vinod ; Dalibard, Valentin ; Xu, Yaming ; Saeta, Brennan ; Anderson, Keith ; Sellam, Thibault ; Fernando, Nick ; Huot, Fantine ; Jung, Junehyuk ; Varadarajan, Mani ; Quinn, Michael ; Raul, Amit ; Le, Maigo ; Habalov, Ruslan ; Clark, Jon ; Jalan, Komal ; Bullard, Kalesha ; Singhal, Achintya ; Luong, Thang ; Wang, Boyu ; Rajayogam, Sujeevan ; Eisenschlos, Julian ; Jia, Johnson ; Finchelstein, Daniel ; Yakubovich, Alex ; Balle, Daniel ; Fink, Michael ; Agarwal, Sameer ; Li, Jing ; Dvijotham, Dj ; Pal, Shalini ; Kang, Kai ; Konzelmann, Jaclyn ; Beattie, Jennifer ; Dousse, Olivier ; Wu, Diane ; Crocker, Remi ; Elkind, Chen ; Jonnalagadda, Siddhartha Reddy ; Lee, Jong ; Holtmann-Rice, Dan ; Kallarackal, Krystal ; Liu, Rosanne ; Vnukov, Denis ; Vats, Neera ; Invernizzi, Luca ; Jafari, Mohsen ; Zhou, Huanjie ; Taylor, Lilly ; Prendki, Jennifer ; Wu, Marcus ; Eccles, Tom ; Liu, Tianqi ; Kopparapu, Kavya ; Beaufays, Francoise ; Angermueller, Christof ; Marzoca, Andreea ; Sarcar, Shourya ; Dib, Hilal ; Stanway, Jeff ; Perbet, Frank ; Trdin, Nejc ; Sterneck, Rachel ; Khorlin, Andrey ; Li, Dinghua ; Wu, Xihui ; Goenka, Sonam ; Madras, David ; Goldshtein, Sasha ; Gierke, Willi ; Zhou, Tong ; Liu, Yaxin ; Liang, Yannie ; White, Anais ; Li, Yunjie ; Singh, Shreya ; Bahargam, Sanaz ; Epstein, Mark ; Basu, Sujoy ; Lao, Li ; Ozturel, Adnan ; Crous, Carl ; Zhai, Alex ; Lu, Han ; Tung, Zora ; Gaur, Neeraj ; Walton, Alanna ; Dixon, Lucas ; Zhang, Ming ; Globerson, Amir ; Uy, Grant ; Bolt, Andrew ; Wiles, Olivia ; Nasr, Milad ; Shumailov, Ilia ; Selvi, Marco ; Piccinno, Francesco ; Aguilar, Ricardo ; McCarthy, Sara ; Khalman, Misha ; Shukla, Mrinal ; Galic, Vlado ; Carpenter, John ; Villela, Kevin ; Zhang, Haibin ; Richardson, Harry ; Martens, James ; Bosnjak, Matko ; Belle, Shreyas Rammohan ; Seibert, Jeff ; Alnahlawi, Mahmoud ; McWilliams, Brian ; Singh, Sankalp ; Louis, Annie ; Ding, Wen ; Popovici, Dan ; Simicich, Lenin ; Knight, Laura ; Mehta, Pulkit ; Gupta, Nishesh ; Shi, Chongyang ; Fatehi, Saaber ; Mitrovic, Jovana ; Grills, Alex ; Pagadora, Joseph ; Munkhdalai, Tsendsuren ; Petrova, Dessie ; Eisenbud, Danielle ; Zhang, Zhishuai ; Yates, Damion ; Mittal, Bhavishya ; Tripuraneni, Nilesh ; Assael, Yannis ; Brovelli, Thomas ; Jain, Prateek ; Velimirovic, Mihajlo ; Akbulut, Canfer ; Mu, Jiaqi ; Macherey, Wolfgang ; Kumar, Ravin ; Xu, Jun ; Qureshi, Haroon ; Comanici, Gheorghe ; Wiesner, Jeremy ; Gong, Zhitao ; Ruddock, Anton ; Bauer, Matthias ; Felt, Nick ; GP, Anirudh ; Arnab, Anurag ; Zelle, Dustin ; Rothfuss, Jonas ; Rosgen, Bill ; Shenoy, Ashish ; Seybold, Bryan ; Li, Xinjian ; Mudigonda, Jayaram ; Erdogan, Goker ; Xia, Jiawei ; Simsa, Jiri ; Michi, Andrea ; Yao, Yi ; Yew, Christopher ; Kan, Steven ; Caswell, Isaac ; Radebaugh, Carey ; Elisseeff, Andre ; Valenzuela, Pedro ; McKinney, Kay ; Paterson, Kim ; Cui, Albert ; Latorre-Chimoto, Eri ; Kim, Solomon ; Zeng, William ; Durden, Ken ; Ponnapalli, Priya ; Sosea, Tiberiu ; Choquette-Choo, Christopher A. ; Manyika, James ; Robenek, Brona ; Vashisht, Harsha ; Pereira, Sebastien ; Lam, Hoi ; Velic, Marko ; Owusu-Afriyie, Denese ; Lee, Katherine ; Bolukbasi, Tolga ; Parrish, Alicia ; Lu, Shawn ; Park, Jane ; Venkatraman, Balaji ; Talbert, Alice ; Rosique, Lambert ; Cheng, Yuchung ; Sozanschi, Andrei ; Paszke, Adam ; Kumar, Praveen ; Austin, Jessica ; Li, Lu ; Salama, Khalid ; Perz, Bartek ; Kim, Wooyeol ; Dukkipati, Nandita ; Baryshnikov, Anthony ; Kaplanis, Christos ; Sheng, XiangHai ; Chervonyi, Yuri ; Unlu, Caglar ; Casas, Diego de Las ; Askham, Harry ; Tunyasuvunakool, Kathryn ; Gimeno, Felix ; Poder, Siim ; Kwak, Chester ; Miecnikowski, Matt ; Mirrokni, Vahab ; Dimitriev, Alek ; Parisi, Aaron ; Liu, Dangyi ; Tsai, Tomy ; Shevlane, Toby ; Kouridi, Christina ; Garmon, Drew ; Goedeckemeyer, Adrian ; Brown, Adam R. ; Vijayakumar, Anitha ; Elqursh, Ali ; Jazayeri, Sadegh ; Huang, Jin ; Carthy, Sara Mc ; Hoover, Jay ; Kim, Lucy ; Kumar, Sandeep ; Chen, Wei ; Biles, Courtney ; Bingham, Garrett ; Rosen, Evan ; Wang, Lisa ; Tan, Qijun ; Engel, David ; Pongetti, Francesco ; de Cesare, Dario ; Hwang, Dongseong ; Yu, Lily ; Pullman, Jennifer ; Narayanan, Srini ; Levin, Kyle ; Gopal, Siddharth ; Li, Megan ; Aharoni, Asaf ; Trinh, Trieu ; Lo, Jessica ; Casagrande, Norman ; Vij, Roopali ; Matthey, Loic ; Ramadhana, Bramandia ; Matthews, Austin ; Carey, CJ ; Johnson, Matthew ; Goranova, Kremena ; Shah, Rohin ; Ashraf, Shereen ; Dasgupta, Kingshuk ; Larsen, Rasmus ; Wang, Yicheng ; Vuyyuru, Manish Reddy ; Jiang, Chong ; Ijazi, Joana ; Osawa, Kazuki ; Smith, Celine ; Boppana, Ramya Sree ; Bilal, Taylan ; Koizumi, Yuma ; Xu, Ying ; Altun, Yasemin ; Shabat, Nir ; Bariach, Ben ; Korchemniy, Alex ; Choo, Kiam ; Ronneberger, Olaf ; Iwuanyanwu, Chimezie ; Zhao, Shubin ; Soergel, David ; Hsieh, Cho-Jui ; Cai, Irene ; Iqbal, Shariq ; Sundermeyer, Martin ; Chen, Zhe ; Bursztein, Elie ; Malaviya, Chaitanya ; Biadsy, Fadi ; Shroff, Prakash ; Dhillon, Inderjit ; Latkar, Tejasi ; Dyer, Chris ; Forbes, Hannah ; Nicosia, Massimo ; Nikolaev, Vitaly ; Greene, Somer ; Georgiev, Marin ; Wang, Pidong ; Martin, Nina ; Sedghi, Hanie ; Zhang, John ; Banzal, Praseem ; Fritz, Doug ; Rao, Vikram ; Wang, Xuezhi ; Zhang, Jiageng ; Patraucean, Viorica ; Du, Dayou ; Mordatch, Igor ; Jurin, Ivan ; Liu, Lewis ; Dubey, Ayush ; Mohan, Abhi ; Nowakowski, Janek ; Ion, Vlad-Doru ; Wei, Nan ; Tojo, Reiko ; Raad, Maria Abi ; Hudson, Drew A. ; Keshava, Vaishakh ; Agrawal, Shubham ; Ramirez, Kevin ; Wu, Zhichun ; Nguyen, Hoang ; Liu, Ji ; Sewak, Madhavi ; Petrini, Bryce ; Choi, DongHyun ; Philips, Ivan ; Wang, Ziyue ; Bica, Ioana ; Garg, Ankush ; Wilkiewicz, Jarek ; Agrawal, Priyanka ; Li, Xiaowei ; Guo, Danhao ; Xue, Emily ; Shaik, Naseer ; Leach, Andrew ; Khan, Sadh MNM ; Wiesinger, Julia ; Jerome, Sammy ; Chakladar, Abhishek ; Wang, Alek Wenjiao ; Ornduff, Tina ; Abu, Folake ; Ghaffarkhah, Alireza ; Wainwright, Marcus ; Cortes, Mario ; Liu, Frederick ; Maynez, Joshua ; Terzis, Andreas ; Samangouei, Pouya ; Mansour, Riham ; Kępa, Tomasz ; Aubet, François-Xavier ; Algymr, Anton ; Banica, Dan ; Weisz, Agoston ; Orban, Andras ; Senges, Alexandre ; Andrejczuk, Ewa ; Geller, Mark ; Santo, Niccolo Dal ; Anklin, Valentin ; Merey, Majd Al ; Baeuml, Martin ; Strohman, Trevor ; Bai, Junwen ; Petrov, Slav ; Wu, Yonghui ; Hassabis, Demis ; Kavukcuoglu, Koray ; Dean, Jeff ; Vinyals, Oriol
Gemini 1.5: Die Freischaltung multimodaler Verständnisfähigkeiten bei Millionen von Kontexttoken
Abstract

In diesem Bericht stellen wir die Modellfamilie Gemini 1.5 vor, die die nächste Generation hochrechenintensiver multimodaler Modelle darstellt. Diese Modelle sind in der Lage, feingranulare Informationen aus Millionen von Tokens im Kontext zu erinnern und darauf abzuschließen, einschließlich mehrerer langer Dokumente sowie Stunden von Video- und Audiomaterial. Die Familie umfasst zwei neue Modelle: (1) ein aktualisiertes Gemini 1.5 Pro, das die Mehrheit der Fähigkeiten und Benchmarks der Februar-Version übertrifft; (2) Gemini 1.5 Flash, eine leichtgewichtigere Variante, die auf Effizienz optimiert ist und dabei nur minimale Qualitätsverluste aufweist.Die Gemini 1.5-Modelle erreichen nahezu perfekte Erinnerungsleistung bei Aufgaben zur langfristigen Kontextabholung in verschiedenen Modalitäten, verbessern den Stand der Technik bei Fragen zu langen Dokumenten, langen Videos und Spracherkennung mit großem Kontext und erreichen oder übertreffen die Leistung des Gemini 1.0 Ultra bei einer breiten Palette von Benchmarks.Bei der Untersuchung der Grenzen der langfristigen Kontextfähigkeit von Gemini 1.5 finden wir fortgesetzte Verbesserungen bei der Vorhersage des nächsten Tokens sowie nahezu perfekte Abholung (>99 %) bis zu mindestens 10 Mio. Tokens. Dies stellt einen generationalen Sprung gegenüber bestehenden Modellen wie Claude 3.0 (200k) und GPT-4 Turbo (128k) dar.Schließlich heben wir praktische Anwendungsfälle hervor: So arbeitet Gemini 1.5 zusammen mit Fachkräften an deren Aufgaben und erreicht Zeitersparnisse von 26 bis 75 % in zehn verschiedenen Berufsgruppen. Darüber hinaus zeigen wir überraschende neue Fähigkeiten großer Sprachmodelle am technologischen Rand; wenn dem Modell ein Grammatikhandbuch für Kalamang gegeben wird – eine Sprache mit weniger als 200 Sprechern weltweit – lernt es, Englisch in Kalamang zu übersetzen, auf einem ähnlichen Niveau wie eine Person, die sich vom gleichen Inhalt heranbildung hat.

Gemini 1.5: Die Freischaltung multimodaler Verständnisfähigkeiten bei Millionen von Kontexttoken | Neueste Forschungsarbeiten | HyperAI