GAN은 수천 개의 라인으로 구성되지만 가장 중요한 것은 안전성입니다.

Super Neuro에서

생성적 적대 신경망(GAN)은 딥러닝(ML) 개발의 다음 단계를 위한 핵심이며, 다양한 분야에서 엄청난 응용 가능성이 있습니다.

하지만 GAN의 번영은 아직 하드웨어와 프레임워크라는 두 가지 큰 산을 극복해야 합니다.

무엇? 간

GAN 개발을 위해서는 먼저 이미지와 비디오 분야의 시장을 점유한 후 다른 분야로 진출하는 것이 실현 가능한 전략일 수 있습니다. 예를 들어, 시뮬레이션된 데이터 세트는 HPC(고성능 컴퓨터 클러스터) 애플리케이션에 사용될 수 있습니다.

하지만 인프라와 소프트웨어의 조정된 개발이 언제쯤 더 많은 애플리케이션에 적응할 수 있을지는 아직 알 수 없습니다. 그럼에도 불구하고 GAN의 역할과 영향력은 목표한 작업을 달성하고 AI의 다음 단계를 준비하는 데 충분히 주목할 만합니다.

GAN에 대해 잘 모르는 사람이라면 이미 성숙한 ML 방법이 많이 있는데 왜 GAN을 연구해야 하는지 궁금해할 수도 있습니다.

실제로 GAN은 참조나 샘플을 기반으로 출력을 생성하는 간단한 인식 및 분류 방법보다 더 나은 결과를 달성했으며, 그 결과는 놀라웠습니다.

기능적으로 GAN은 다른 합성곱 신경망과 매우 유사합니다. GAN에서 판별기의 핵심 계산은 기본 이미지 분류기와 유사한 반면, 생성기는 콘텐츠를 생성하는 합성곱 신경망과 유사합니다.

GAN은 생성 네트워크와 판별 네트워크라는 두 개의 딥 러닝 네트워크로 구성되어 있습니다. 이는 실제로 ML에 존재하는 개념이지만, 이 두 네트워크는 새로운 방식으로 함께 작동합니다. 이 또한 GAN의 독특함입니다.

그래픽 작업을 할 때 생성기는 데이터 세트를 가져와 이미지로 변환하려고 시도합니다. 예를 들어, 생성기는 데이터에서 이미지를 합성한 다음 판별기에 전달합니다. 판별기는 이미지가 "진짜"인지 "가짜"인지 구별하기로 결정합니다.

생성기는 피드백을 통해 판별기의 약점을 알아내고, 둘은 게임에서 더 나은 결과를 얻습니다. 그러나 이러한 접근 방식은 훈련에 필요한 계산을 더 복잡하게 만들고 몇 가지 새로운 어려움에 직면하게 됩니다.

GAN의 어려움

GAN은 인상적인 성능을 가지고 있지만, 이를 완벽하게 활용하는 것은 쉽지 않습니다. 예를 들어, 모드 붕괴가 발생할 수 있으며, 이는 훈련 및 피드백 프로세스의 불안정성으로 이어질 수 있습니다.

또 다른 흔한 문제는 대립 상황에서 한 네트워크가 다른 네트워크를 압도한다는 것입니다. 예를 들어, 생성자는 판별자가 구분할 수 없는 이미지를 생성합니다. 이런 경우, 생성자는 좋은 피드백을 받을 수 없고 효과적으로 학습할 수 없습니다.

다행히 불균형을 해소하는 문제는 시간이 지나면서 조정할 수 있지만, 하드웨어에 대한 높은 요구 사항은 처리하기 쉽지 않습니다.

간단한 신경망을 훈련하는 데는 일정 수준의 컴퓨팅 파워가 필요하므로 GAN은 시스템, 특히 메모리 요구 사항에 부담을 줍니다.

CPU만 있는 기계에서는 이런 종류의 작업을 완료하기 어렵고, GPU를 사용하려면 현실적으로 제한된 리소스라는 문제에 직면하게 됩니다.

엔비디아의 응용 ML 부문 부사장인 브라이언 카탄자로는 "GAN은 더 많은 컴퓨팅 성능을 필요로 하며, 인프라도 그에 맞춰 발전하고 있습니다."라고 말했습니다. "GAN을 사용할 때는 더 많은 데이터 처리량이 필요합니다. 이러한 모델은 매우 크고 매개변수도 많기 때문에 학습에 많은 컴퓨팅 성능과 메모리가 필요하기 때문입니다."

"우리가 훈련시키는 많은 GAN은 메모리 제약을 받으며, 심지어 배치 크기가 1이나 2인 모델을 훈련하더라도 모델이 일반적으로 너무 크기 때문에 전체 GPU 메모리를 채웁니다."

좋은 GAN에는 좋은 안장이 필요합니다.

카탄자로는 "더 큰 시스템을 구축하는 것은 학습에 도움이 될 수 있으며, 여러 GPU에 배치를 분할하는 것도 중요합니다. 하지만 이를 위해서는 DGX-1의 비디오 GAN에 사용되는 NVlink와 같은 강력한 GPU 중심 상호 연결이 필요합니다."라고 덧붙였습니다.

이런 측면에서, 게임을 위한 대화형 비디오 생성에 관한 그들의 연구는 거의 실시간으로 환경을 동적으로 생성할 수 있는 GAN의 뛰어난 성능을 보여줍니다.

그는 또한 DGX-2에 대해 언급하며, "준비가 되면 우리의 작업이 가속화될 것입니다."라고 말했습니다.

GAN을 활용한 엔비디아의 영상 합성 작업의 경우, GPU에서 대규모 모델을 실행하는 문제가 특히 두드러집니다.

"저희는 그래픽 문제에 관심이 있으며, 이를 활용해 비디오 게임을 제작하는 데 관심이 있습니다. 이는 콘텐츠를 만드는 더 나은 방법이며, 실제 세계의 비디오를 학습시켜 가상 세계를 쉽게 만들 수 있습니다."

"하지만 이 과정은 특히 비디오 GAN의 경우 복잡합니다. 현재 이미지뿐만 아니라 일련의 관련 이미지까지 생성해야 하기 때문입니다. 이를 위해서는 더 나은 메모리와 컴퓨팅 성능이 필요합니다."

예를 들어, 우리는 최근 약물 발견에 있어서 GAN의 잠재력에 대해 이야기했습니다. 적대적 네트워크 외에도 강화 학습 구성 요소와 판별기 피드백도 필요하다는 사실이 밝혀졌으며, 이로 인해 인프라에 대한 요구 사항이 증가했습니다.

신약 개발 스타트업 Insilico Medicine은 고성능 GPU 클러스터를 사용하여 시스템에 모델을 적용하는 데 어느 정도 성공을 거두었지만, 더 나아가려면 더 많은 컴퓨팅 성능, 메모리, 메모리 대역폭이 필요합니다.

GAN의 미래

카탄자로는 "GAN은 이미지와 비디오 생성을 넘어 학문적, 기술적, 기업적 맥락에서 어떤 규모로든 활용될 수 있지만, 광범위한 활용 사례가 가능해지려면 하드웨어와 소프트웨어의 한계를 모두 해결해야 하며, 이는 아직 초기 단계"라고 말했다.

"텍스트나 오디오 애플리케이션 등 다른 분야에서도 GAN을 활용하려는 시도가 있었지만, 이미지나 비디오에 비해 결과가 좋지 않았습니다."

이는 시도하기 전에 무엇이 효과적인지 증명하기 어렵다는 것을 보여줍니다.

카탄자로는 "GAN은 지금까지 시각 분야에서 큰 성공을 거두었고, 이것이 의료 영상 분야에서도 우위를 점하게 된 이유입니다."라고 덧붙였습니다.

게임이나 콘텐츠 생성 분야에서 이미지와 비디오를 넘어 더 광범위한 응용 분야를 탐색할 수 있는 기업이 늘어나기를 기대하지만, 이 플랫폼의 양쪽 모두 더 성숙한 조건이 필요합니다.

GAN 연구에서는 매일 새로운 아이디어와 발전이 나오는 듯하지만, 하드웨어에서 효율적으로 실행할 수 있는 애플리케이션이 부족해 보람 없는 상황이 벌어지고 있습니다.

하지만 AI의 발전에서 볼 수 있듯이 지속적인 최적화와 조정을 통해 단기적으로는 먼 미래의 기술도 우리의 시야에 들어올 수 있을 것입니다.

이제 GAN을 시작할 시간입니다

엔비디아는 GAN 분야에서 획기적인 작업을 선도하고 있습니다. GPU가 지배적인 학습 플랫폼이기 때문에 최고의 DGX 시스템을 사용하더라도 GAN 학습은 까다로운 작업입니다.

그래픽과 게임의 미래에는 강력한 역량을 갖춘 엔비디아가 게임의 규칙을 바꿀 것이라는 예측은 어렵지 않습니다.

하지만 GPU가 일반 소비자용 게임 기기에서 슈퍼컴퓨터용 가속기로 도약하는 것을 보면, 그저 좋은 게임 경험만을 제공한다는 이유만으로 연구 중인 기술을 과소평가해서는 안 된다는 것을 배울 수 있을 것입니다.

결론적으로, 새해에는 비디오와 이미지 제작 외에도 더 많은 분야에 GAN이 적용되기를 바랍니다.

하지만 GAN을 사용하려면 먼저 충분한 하드웨어 환경을 갖춰야 할 수도 있습니다. 그럼, 더 이상 미루지 말고 GAN으로 넘어가보죠! 행운을 빌어요!