HyperAIHyperAI

Command Palette

Search for a command to run...

TResNet:高性能GPU専用アーキテクチャ

Tal Ridnik Hussam Lawen Asaf Noy Emanuel Ben Baruch Gilad Sharir Itamar Friedman

概要

近年開発された多くの深層学習モデルは、FLOPs(浮動小数点演算回数)を少なくあるいは同等に抑えながら、ResNet50を上回るImageNet精度を達成している。しかし、FLOPsはネットワーク効率の指標としてしばしば用いられる一方で、実際のGPU上での学習および推論スループットを測定すると、従来のResNet50は最近の競合モデルと比べて著しく高速であり、精度とスループットのトレードオフにおいて優れた性能を発揮する。本研究では、精度を向上させつつもGPU上での学習および推論効率を維持するためのアーキテクチャ改変のシリーズを提案する。まず、FLOPs最適化によって引き起こされるボトルネックを実証的に示し、その原因を議論する。次に、GPUの構造およびリソースをより効果的に活用する代替設計を提案する。最終的に、GPUに特化した新たなConvNetモデル群であるTResNetを導入し、従来のConvNetと比較して高い精度と効率を実現した。ResNet50と同等のGPUスループットを持つTResNetモデルを用いることで、ImageNetにおけるトップ1精度は80.8%に達した。また、TResNetモデルは転移学習においても優れた性能を発揮し、スタンフォード・カーズ(96.0%)、CIFAR-10(99.0%)、CIFAR-100(91.5%)、Oxford-Flowers(99.1%)といった代表的な単ラベル分類データセットにおいて、最先端の精度を達成した。さらに、多ラベル分類および物体検出タスクにおいても良好な性能を示した。実装コードは以下のGitHubリポジトリで公開されている:https://github.com/mrT23/TResNet


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
TResNet:高性能GPU専用アーキテクチャ | 記事 | HyperAI超神経