HyperAI초신경
홈뉴스최신 연구 논문튜토리얼데이터셋컨퍼런스백과사전SOTALLM 모델
전체 검색
소개
HyperAI초신경

TVMC를 사용하여 모델을 컴파일하고 최적화합니다.

2년 전
정보
티비엠
TVMC
중국 TVM
Jiaxin Sun
特色图像

내용을 한눈에 보기:이 섹션에서는 TVMC를 사용하여 모델을 컴파일하고 최적화하는 방법을 설명합니다. TVMC는 TVM의 명령 드라이버로, 명령줄을 통해 TVM 기능을 실행합니다. 이 섹션은 TVM의 작동 방식을 이해하는 데 필요한 기초입니다.

키워드:TVMC TVM 머신 러닝   

이 섹션에서는 TVM의 명령줄 드라이버인 TVMC를 소개합니다. TVMC는 명령줄 인터페이스를 통해 TVM 기능을 실행합니다.(모델의 자동 튜닝, 편집, 분석 및 실행 포함).

이 섹션을 마친 후,TVMC를 사용하면 다음 작업을 수행할 수 있습니다.

  •   TVM 런타임을 위해 사전 학습된 ResNet-50 v2 모델을 컴파일합니다.
  •   편집된 모델을 사용하여 실제 이미지를 예측하고 출력과 모델 성능을 설명합니다.
  •   TVM을 사용하여 CPU에서 모델을 조정합니다.
  •   TVM에서 수집한 튜닝 데이터를 사용하여 최적화된 모델을 다시 컴파일합니다.
  •   최적화된 모델을 사용하여 이미지를 예측하고 출력과 모델 성능을 비교합니다.

이 섹션에서는 TVM과 TVMC의 기능에 대한 개요를 제공하고 TVM의 작동 방식을 이해하는 데 필요한 기초를 마련합니다.

TVMC 사용

TVMC는 Python 애플리케이션이며 TVM Python 패키지의 일부입니다.Python 패키지를 사용하여 TVM을 설치하면 다음을 얻게 됩니다. 티비엠씨  .에 대한 명령줄 응용 프로그램입니다. 이 명령의 위치는 플랫폼과 설치 방법에 따라 다릅니다.

또한, 만약 $PYTHONPATH  에 TVM이라는 Python 모듈이 있는 경우 실행 가능한 Python 모듈을 사용할 수 있습니다. 파이썬 -m tvm.driver.tvmc  명령줄 드라이버 기능에 액세스하려면 명령을 사용합니다.

이 튜토리얼에서는 다음을 사용합니다. 티비엠씨  또는 파이썬 -m tvm.driver.tvmc  TVMC 명령줄을 엽니다.

다음 명령을 사용하여 도움말 페이지를 보세요.

tvmc --help

티비엠씨  TVM의 주요 기능은 하위 명령에서 사용할 수 있습니다. 엮다 , 달리다  그리고 곡조 . 사용 tvmc –도움말  주어진 하위 명령에 대한 구체적인 옵션을 확인합니다.

이 튜토리얼에서는 이러한 명령을 소개합니다. 시작하기에 앞서 사전 훈련된 모델을 다운로드하세요.

모델을 얻으세요

이 튜토리얼에서는 ResNet-50 v2를 사용합니다. ResNet-50은 이미지 분류를 위한 50개 계층의 딥 합성곱 신경망입니다.우리가 다음에 사용할 모델은 1000개의 다양한 카테고리에 속하는 100만 개 이상의 이미지로 사전 학습되었습니다. 이 네트워크의 입력 이미지 크기는 224×224입니다.

ResNet-50 모델의 조직 구조를 더 자세히 알아보려면 Netron(무료 ML 모델 뷰어)을 다운로드하는 것이 좋습니다.

Netron 다운로드: https://netron.app/

이 튜토리얼에서는 ONNX 형식의 모델을 사용합니다.

wget https://github.com/onnx/models/raw/b9a54e89508f101a1611cd64f4ef56b9cb62c7cf/vision/classification/resnet/model/resnet50-v2-7.onnx

팁 1 지원되는 모델 형식: 

TVMC는 Keras, ONNX, TensorFlow, TFLite 및 Torch로 생성된 모델을 지원합니다. 사용 가능 --모델-형식  이 옵션은 사용되는 모델 형식을 나타냅니다. 구현하다 tvmc 컴파일 –help  자세한 내용은.

 팁 2 TVM에 ONNX 지원 추가: 

TVM은 사용자 시스템에서 ONNX Python 라이브러리를 사용할 수 있어야 합니다. pip3 install –user onnx onnxoptimizer 를 사용하여 ONNX를 설치합니다. 루트 액세스 권한이 있고 ONNX를 글로벌하게 설치하려면 –user 옵션을 제거할 수 있습니다. onnxoptimizer 종속성은 선택 사항이며 onnx>=1.9에만 필요합니다.

ONNX 모델을 TVM 런타임으로 컴파일

ResNet-50 모델을 다운로드한 후 사용하세요 tvmc 컴파일  그것을 컴파일하세요. 컴파일의 출력은 모델의 TAR 아카이브(대상 플랫폼에 대한 동적 라이브러리로 컴파일됨)입니다. TVM 런타임을 사용하여 대상 장치에서 모델을 실행합니다.

# 大概需要几分钟，取决于设备 
tvmc compile \
--target "llvm" \
--input-shapes "data:[1,3,224,224]" \
--output resnet50-v2-7-tvm.tar \
resnet50-v2-7.onnx

확인하다 tvmc 컴파일  모듈에서 생성된 파일:

mkdir model
tar -xvf resnet50-v2-7-tvm.tar -C model
ls model

압축 해제 후 3개의 파일이 있습니다.

* 모드.소  TVM 런타임에서 로드할 수 있는 모델이며, C++ 라이브러리로 표현됩니다.

* mod.json  이는 TVM 릴레이 계산 그래프의 텍스트 표현입니다.

* mod.params  사전 학습된 모델 매개변수를 담고 있는 파일입니다.

모듈은 애플리케이션에서 직접 로드할 수 있으며, 모델은 TVM 런타임 API를 통해 실행할 수 있습니다.

팁 3: 올바른 TARGET을 정의하세요:

올바른 대상을 지정하세요(옵션 --목표 )은 타겟에서 사용 가능한 하드웨어 기능을 활용할 수 있으므로 컴파일된 모듈의 성능을 크게 향상시킬 수 있습니다. 자세한 내용은 x86 CPU에 대한 합성 신경망 자동 조정을 참조하세요. 사용할 CPU 모델과 옵션 기능을 확인한 후, 그에 맞게 목표를 설정하는 것이 좋습니다.

TVMC를 사용하여 컴파일된 모듈에서 모델 실행

모델을 모듈로 컴파일한 후 TVM 런타임을 사용하여 해당 모델에 대한 예측을 수행할 수 있습니다. TVMC에는 TVM 런타임이 내장되어 있어 컴파일된 TVM 모델을 실행할 수 있습니다.

TVMC를 사용하여 모델을 실행하고 예측을 수행하려면 다음이 필요합니다.

  •   컴파일된 모듈이 방금 생성되었습니다.
  •   예측에 사용된 모델에 대한 유효한 입력입니다.

텐서의 모양, 형식, 데이터 유형은 모델마다 다릅니다.따라서 대부분의 모델은 입력이 유효하고 출력을 해석할 수 있는지 확인하기 위해 전처리와 후처리가 필요합니다. TVMC는 NumPy를 사용합니다 .npz  여러 배열을 단일 파일에 직렬화하는 것을 잘 지원하는 형식 입력 및 출력입니다.

이 튜토리얼에서 사용된 이미지 입력은 고양이 이미지이지만, 원하는 다른 이미지를 선택할 수 있습니다.

입력 전처리

ResNet-50 v2 모델의 입력은 ImageNet 형식이어야 합니다. 다음은 ResNet-50 v2를 사용하여 이미지를 전처리하는 예제 스크립트입니다.

첫 사용 pip3 설치 –user 베개  스크립트의 이미징 라이브러리 종속성을 충족하려면 Python 이미징 라이브러리를 다운로드하세요.

#!python ./preprocess.py
from tvm.contrib.download import download_testdata
from PIL import Image
import numpy as np

img_url = "https://s3.amazonaws.com/model-server/inputs/kitten.jpg"
img_path = download_testdata(img_url, "imagenet_cat.png", module="data")

# 重设大小为 224x224
resized_image = Image.open(img_path).resize((224, 224))
img_data = np.asarray(resized_image).astype("float32")

# ONNX 需要 NCHW 输入, 因此对数组进行转换 
img_data = np.transpose(img_data, (2, 0, 1))

# 根据 ImageNet 进行标准化 
imagenet_mean = np.array([0.485, 0.456, 0.406])
imagenet_stddev = np.array([0.229, 0.224, 0.225])
norm_img_data = np.zeros(img_data.shape).astype("float32")
for i in range(img_data.shape[0]):
      norm_img_data[i, :, :] = (img_data[i, :, :] / 255 - imagenet_mean[i]) / imagenet_stddev[i]

# 添加 batch 维度 
img_data = np.expand_dims(norm_img_data, axis=0)

# 保存为 .npz（输出 imagenet_cat.npz）
np.savez("imagenet_cat", data=img_data)

컴파일된 모듈을 실행합니다

모델과 입력 데이터를 사용하여 TVMC를 실행하여 예측을 해 보겠습니다.

tvmc run \
--inputs imagenet_cat.npz \
--output predictions.npz \
resnet50-v2-7-tvm.tar

.타르  모델 파일에는 C++ 라이브러리, Relay 모델의 설명 파일, 모델의 매개변수 파일이 포함되어 있습니다. TVMC에는 TVM 런타임(모델을 로드하고 입력에 대한 예측을 수행할 수 있음)이 포함되어 있습니다. 위 명령을 실행하면 TVMC가 새 파일을 출력합니다. 예측.npz여기에는 NumPy 형식의 모델 출력 텐서가 포함되어 있습니다.

이 예에서 모델은 이를 실행하는 머신과 동일한 머신에서 컴파일됩니다. 어떤 경우에는 RPC Tracker를 사용하여 원격으로 실행할 수 있습니다. 확인하다 tvmc 실행 –help  이러한 옵션에 대해 자세히 알아보세요.

출력 후처리

앞서 언급했듯이 각 모델은 출력 텐서를 다르게 제공합니다.

이 예에서 우리는 이 모델에 제공된 조회 테이블을 사용하여 ResNet-50 v2의 출력을 더 읽기 쉬운 형태로 만들기 위해 후처리를 실행해야 합니다.

다음 스크립트는 컴파일된 모듈의 출력에서 레이블을 추출하는 후처리 예제입니다.

#!python ./postprocess.py
import os.path
import numpy as np

from scipy.special import softmax

from tvm.contrib.download import download_testdata

# 下载标签列表 
labels_url = "https://s3.amazonaws.com/onnx-model-zoo/synset.txt"
labels_path = download_testdata(labels_url, "synset.txt", module="data")

with open(labels_path, "r") as f:
    labels = [l.rstrip() for l in f]

output_file = "predictions.npz"

# 打开并读入输出张量 
if os.path.exists(output_file):
    with np.load(output_file) as data:
        scores = softmax(data["output_0"])
        scores = np.squeeze(scores)
        ranks = np.argsort(scores)[::-1]

        for rank in ranks[0:5]:
            print("class='%s' with probability=%f" % (labels[rank], scores[rank]))

이 스크립트를 실행하면 다음과 같은 결과가 출력됩니다.

python postprocess.py
# class='n02123045 tabby, tabby cat' with probability=0.610553
# class='n02123159 tiger cat' with probability=0.367179
# class='n02124075 Egyptian cat' with probability=0.019365
# class='n02129604 tiger, Panthera tigris' with probability=0.001273
# class='n04040759 radiator' with probability=0.000261

위의 고양이 이미지를 다른 이미지로 바꾸고 ResNet 모델이 어떤 예측을 하는지 살펴보세요.

ResNet 모델을 자동으로 조정합니다

이전 모델은 TVM 런타임에서 실행되도록 컴파일되었으므로 플랫폼별 최적화가 포함되지 않았습니다.이 섹션에서는 TVMC를 사용하여 작업 플랫폼에 대한 최적화 모델을 구축하는 방법을 소개합니다.

컴파일된 모듈로 추론할 때 항상 예상한 성능을 얻지 못할 수도 있습니다.이 경우 자동 튜너를 사용하면 모델을 보다 효과적으로 구성하고 성능을 개선할 수 있습니다.. TVM을 조정한다는 것은 주어진 목표에 맞춰 모델을 최적화하여 더 빠르게 실행한다는 것을 의미합니다. 학습이나 미세 조정과 달리 모델의 정확도에는 영향을 미치지 않고 런타임 성능에만 영향을 미칩니다.

튜닝 프로세스의 일부로,TVM은 어떤 운영자가 가장 좋은 성과를 내는지 알아보기 위해 다양한 운영자의 여러 변형을 구현하고 실행합니다.이러한 실행의 결과는 튜닝 로그 파일(튜닝 명령의 최종 출력)에 저장됩니다.

튜닝에는 최소한 다음이 포함되어야 합니다.

  •   이 모델을 실행하는 대상 장치에 대한 플랫폼 요구 사항
  •   튜닝 레코드가 저장된 출력 파일의 경로
  •   튜닝할 모델로 가는 경로입니다.

다음 예제는 워크플로를 보여줍니다.

# 默认搜索算法需要 xgboost，有关调优搜索算法的详细信息，参见下文 
pip install xgboost

tvmc tune \
--target "llvm" \
--output resnet50-v2-7-autotuner_records.json \
resnet50-v2-7.onnx

이 경우에는, --목표  플래그를 사용하여 더 구체적인 대상을 지정하면 더 나은 결과를 얻을 수 있습니다. 예를 들어 Intel i7 프로세서에서는 다음을 사용할 수 있습니다. –대상 llvm -mcpu=스카이레이크 . 이 튜닝 예제에서는 특정 아키텍처에 대한 컴파일러로 LLVM을 사용하고 CPU에서 기본 튜닝을 수행합니다.

TVMC는 모델의 매개변수 공간을 검색하고, 연산자에 대한 다양한 구성을 시도한 다음 플랫폼에서 가장 빠르게 실행되는 구성을 선택합니다. 이 검색은 CPU와 모델 작업을 기반으로 하는 가이드 검색이지만 검색을 완료하는 데 여전히 몇 시간이 걸립니다. 검색 결과는 다음에 저장됩니다. resnet50-v2-7-오토튜너_레코드.json  이 파일은 최적화된 모델을 컴파일하는 데 사용됩니다.

팁 4 검색 알고리즘을 정의하고 조정하세요.

이 검색 알고리즘은 기본값을 사용합니다. XGBoost 그리드  알고리즘 가이드. 모델의 복잡성과 사용 가능한 시간에 따라 다양한 알고리즘을 선택할 수 있습니다. 전체 목록을 볼 수 있습니다 tvmc 튜닝 – 도움말 .

소비자용 Skylake CPU의 경우 출력은 다음과 같습니다.

튜닝 데이터를 사용하여 모델을 컴파일하고 최적화합니다.

위의 튜닝 프로세스의 출력 파일에서 `resnet50-v2-7-오토튜너_레코드.json  튜닝 기록을 얻을 수 있습니다.

이 파일은 다음 용도로 사용할 수 있습니다.

  •   추가 조정을 위한 입력으로( tvmc 튠 – 튜닝 레코드 ）
  •   컴파일러에 대한 입력으로

구현하다 tvmc 컴파일 –tuning-records  이 명령은 컴파일러에게 이 결과를 사용하여 지정된 대상의 모델에 대한 고성능 코드를 생성하라고 지시합니다. 확인하다 tvmc 컴파일 –help  자세한 내용은.

모델 튜닝 데이터가 수집된 후, 최적화된 연산자를 사용하여 모델을 다시 컴파일하여 계산 속도를 높일 수 있습니다.

tvmc compile \
--target "llvm" \
--tuning-records resnet50-v2-7-autotuner_records.json  \
--output resnet50-v2-7-tvm_autotuned.tar \
resnet50-v2-7.onnx

최적화 모델이 실행되어 동일한 결과를 생성하는지 확인합니다.

tvmc run \
--inputs imagenet_cat.npz \
--output predictions.npz \
resnet50-v2-7-tvm_autotuned.tar

python postprocess.py

예측된 값이 동일한지 확인하세요.

# class='n02123045 tabby, tabby cat' with probability=0.610550
# class='n02123159 tiger cat' with probability=0.367181
# class='n02124075 Egyptian cat' with probability=0.019365
# class='n02129604 tiger, Panthera tigris' with probability=0.001273
# class='n04040759 radiator' with probability=0.000261

튜닝된 모델과 튜닝되지 않은 모델 비교

TVMC는 모델 간의 기본적인 성능 평가 도구를 제공합니다.TVMC 보고서 모델을 실행할 반복 횟수와 시간(런타임 시작과 무관)을 지정할 수 있습니다. 튜닝을 통해 모델의 성능이 얼마나 향상되었는지 대략적으로 알 수 있습니다.

예를 들어, Intel i7 시스템에서 테스트한 결과, 튜닝된 모델은 튜닝되지 않은 모델보다 47% 더 빠르게 실행되었습니다.

tvmc run \
--inputs imagenet_cat.npz \
--output predictions.npz  \
--print-time \
--repeat 100 \
resnet50-v2-7-tvm_autotuned.tar

# Execution time summary:
# mean (ms)   max (ms)    min (ms)    std (ms)
#     92.19     115.73       89.85        3.15

tvmc run \
--inputs imagenet_cat.npz \
--output predictions.npz  \
--print-time \
--repeat 100 \
resnet50-v2-7-tvm.tar

# Execution time summary:
# mean (ms)   max (ms)    min (ms)    std (ms)
#    193.32     219.97      185.04        7.11

마지막 말

이 튜토리얼에서는 TVM용 명령줄 드라이버인 TVMC를 소개합니다.모델을 컴파일하고 실행하고 조정하는 방법을 보여주고 입력과 출력의 사전 및 사후 처리가 필요한 이유를 설명합니다.튜닝 후 최적화되지 않은 모델과 최적화된 모델의 성능을 비교하는 방법을 보여주세요.

이 문서에서는 ResNet-50 v2를 로컬로 사용하는 간단한 예를 보여줍니다. 하지만 TVMC는 크로스 컴파일, 원격 실행, 프로파일링/벤치마킹을 포함한 더 많은 기능을 지원합니다.

사용 tvmc –도움말  다른 사용 가능한 옵션을 보려면 명령을 입력하세요.

다음 튜토리얼인 Python 인터페이스를 사용한 모델 컴파일 및 최적화에서는 Python 인터페이스를 사용하여 동일한 컴파일 및 최적화 단계를 소개합니다.

계속 팔로우하세요, 놓치지 마세요~