使用 TVMC 编译和优化模型

内容一览:本节讲解使用 TVMC 编译和优化模型。TVMC 是 TVM 的命令驱动程序,通过命令行执行 TVM 功能。本节是了解 TVM  工作原理的基础。

关键词:TVMC   TVM    机器学习   

本节将介绍 TVMC(TVM 的命令行驱动程序)。TVMC 通过命令行界面执行 TVM 功能(包括对模型的自动调优、编译、分析和执行)。

学完本节后,可用 TVMC 实现下面的任务:

  •   为 TVM runtime 编译预训练的 ResNet-50 v2 模型。
  •   用编译好的模型预测真实图像,并解释输出和模型性能。
  •   使用 TVM 在 CPU 上调优模型。
  •   用 TVM 收集的调优数据,重新编译优化过的模型。
  •   通过优化的模型预测图像,并比较输出和模型性能。

本节对 TVM 及 TVMC 的功能进行了概述,并为了解 TVM 的工作原理奠定基础。

使用 TVMC

TVMC 是 Python 应用程序,也是 TVM Python 软件包的一部分。用 Python 包安装 TVM 时,会得到一个叫 tvmc  的命令行应用程序。平台和安装方法不同,此命令的位置也会发生变化。

另外,如果 $PYTHONPATH  上有 TVM 这个 Python 模块,则可通过可执行 Python 模块(用 python -m tvm.driver.tvmc  命令)来访问命令行驱动功能。

本教程用 tvmc  或 python -m tvm.driver.tvmc  来打开 TVMC 命令行。

使用如下命令查看帮助页:

tvmc --help

tvmc  可用的 TVM 的主要功能来自子命令 compilerun  和 tune。使用 tvmc–help  查看给定子命令的特定选项。

本教程将介绍这些命令,开始前请先下载一个预训练的模型。

获取模型

在本教程中,我们将使用 ResNet-50 v2。ResNet-50 是一个用来对图像进行分类的 50 层深的卷积神经网络。接下来要用的模型,已经在超过 100 万张具有 1000 种不同分类的图像上,进行了预训练。该网络的输入图像的大小为 224×224。

推荐下载 Netron(免费的 ML 模型查看器)来更深入地探索 ResNet-50 模型的组织结构。

下载 Netron:https://netron.app/

本教程使用 ONNX 格式的模型:

wget https://github.com/onnx/models/raw/b9a54e89508f101a1611cd64f4ef56b9cb62c7cf/vision/classification/resnet/model/resnet50-v2-7.onnx

Tips 1  支持的模型格式: 

TVMC 支持用 Keras、ONNX、TensorFlow、TFLite 和 Torch 创建的模型。可用 –model-format  选项指明正在使用的模型格式。执行 tvmc compile –help  来获取更多信息。

 Tips 2  向 TVM  添加对 ONNX 的支持: 

TVM 依赖系统中可用的 ONNX Python 库。用命令 pip3 install –user onnx onnxoptimizer  来安装 ONNX。如果具有 root 访问权限并且希望全局安装 ONNX,则可以删除 –user  选项。onnxoptimizer  依赖是可选的,仅用于 onnx>=1.9 。

将 ONNX 模型编译到 TVM Runtime

下载 ResNet-50 模型后,用 tvmc compile  对其进行编译。编译的输出结果是模型(被编译为目标平台的动态库)的 TAR 包。用 TVM runtime 可在目标设备上运行该模型:

# 大概需要几分钟,取决于设备<br>tvmc compile \<br>--target "llvm" \<br>--input-shapes "data:[1,3,224,224]" \<br>--output resnet50-v2-7-tvm.tar \<br>resnet50-v2-7.onnx

查看 tvmc compile  在模块中创建的文件:

mkdir model<br>tar -xvf resnet50-v2-7-tvm.tar -C model<br>ls model

解压后有三个文件:

mod.so  是可被 TVM runtime 加载的模型,表示为 C++ 库。

mod.json  是 TVM Relay 计算图的文本表示。

mod.params  是包含预训练模型参数的文件。

模块可由应用程序直接加载,而模型可通过 TVM runtime API 运行。

Tips 3  定义正确的 TARGET:

指定正确的 target(选项 –target )可大大提升编译模块的性能,因为可利用 target 上可用的硬件功能。参阅 针对 x86 CPU 自动调优卷积网络 获取更多信息。建议确定好使用的 CPU 型号以及可选功能,然后适当地设置 target。

使用 TVMC 运行来自编译模块的模型

将模型编译到模块后,可用 TVM runtime 对其进行预测。 TVMC 具有内置的 TVM runtime,允许运行已编译的 TVM 模型。

要用 TVMC 运行模型并预测,需要:

  •   刚生成的编译模块。
  •   用来预测的模型的有效输入。

模型的张量 shape、格式和数据类型各不相同。因此,大多数模型都需要预处理和后处理,确保输入有效,并能够解释输出。TVMC 采用了 NumPy 的 .npz  格式的输入和输出,可很好地支持将多个数组序列化到一个文件中。

本教程中的图像输入使用的是一张猫的图像,你也可以根据喜好选择其他图像。

输入预处理

ResNet-50 v2 模型的输入应该是 ImageNet 格式。下面是 ResNet-50 v2 预处理图像的脚本示例。

首先用 pip3 install –user pillow  下载 Python 图像库,以满足脚本运行对图像库的依赖。

#!python ./preprocess.py<br>from tvm.contrib.download import download_testdata<br>from PIL import Image<br>import numpy as np<br><br>img_url = "https://s3.amazonaws.com/model-server/inputs/kitten.jpg"<br>img_path = download_testdata(img_url, "imagenet_cat.png", module="data")<br><br># 重设大小为 224x224<br>resized_image = Image.open(img_path).resize((224, 224))<br>img_data = np.asarray(resized_image).astype("float32")<br><br># ONNX 需要 NCHW 输入, 因此对数组进行转换<br>img_data = np.transpose(img_data, (2, 0, 1))<br><br># 根据 ImageNet 进行标准化<br>imagenet_mean = np.array([0.485, 0.456, 0.406])<br>imagenet_stddev = np.array([0.229, 0.224, 0.225])<br>norm_img_data = np.zeros(img_data.shape).astype("float32")<br>for i in range(img_data.shape[0]):<br>      norm_img_data[i, :, :] = (img_data[i, :, :] / 255 - imagenet_mean[i]) / imagenet_stddev[i]<br><br># 添加 batch 维度<br>img_data = np.expand_dims(norm_img_data, axis=0)<br><br># 保存为 .npz(输出 imagenet_cat.npz)<br>np.savez("imagenet_cat", data=img_data)

运行编译模块

有了模型和输入数据,接下来运行 TVMC 进行预测:

tvmc run \<br>--inputs imagenet_cat.npz \<br>--output predictions.npz \<br>resnet50-v2-7-tvm.tar

.tar  模型文件中包括一个 C++ 库、对 Relay 模型的描述文件,以及模型的参数文件。TVMC 包括 TVM runtime(可加载模型,并对输入进行预测)。运行以上命令,TVMC 会输出一个新文件 predictions.npz,其中包含 NumPy 格式的模型输出张量。

在此示例中,用于编译模型的和运行模型的是同一台机器。某些情况下,可能会用 RPC Tracker 来远程运行它。查看 tvmc run –help  来了解有关这些选项的更多信息。

输出后处理

如前所述,每个模型提供输出张量的方式都不一样。

本示例中,我们需要用专为该模型提供的查找表,运行一些后处理(post-processing),从而使得 ResNet-50 v2 的输出形式更具有可读性。

下面的脚本是一个后处理示例,它从编译模块的输出中提取标签:

#!python ./postprocess.py<br>import os.path<br>import numpy as np<br><br>from scipy.special import softmax<br><br>from tvm.contrib.download import download_testdata<br><br># 下载标签列表<br>labels_url = "https://s3.amazonaws.com/onnx-model-zoo/synset.txt"<br>labels_path = download_testdata(labels_url, "synset.txt", module="data")<br><br>with open(labels_path, "r") as f:<br>    labels = [l.rstrip() for l in f]<br><br>output_file = "predictions.npz"<br><br># 打开并读入输出张量<br>if os.path.exists(output_file):<br>    with np.load(output_file) as data:<br>        scores = softmax(data["output_0"])<br>        scores = np.squeeze(scores)<br>        ranks = np.argsort(scores)[::-1]<br><br>        for rank in ranks[0:5]:<br>            print("class='%s' with probability=%f" % (labels[rank], scores[rank]))

这个脚本的运行输出如下:

python postprocess.py<br># class='n02123045 tabby, tabby cat' with probability=0.610553<br># class='n02123159 tiger cat' with probability=0.367179<br># class='n02124075 Egyptian cat' with probability=0.019365<br># class='n02129604 tiger, Panthera tigris' with probability=0.001273<br># class='n04040759 radiator' with probability=0.000261

用其他图像替换上述猫的图像,看看 ResNet 模型做了什么样的预测。

自动调优 ResNet 模型

以前的模型被编译到 TVM runtime 上运行,因此不包含特定于平台的优化。本节将介绍如何用 TVMC,针对工作平台构建优化模型。

用编译的模块推理,有时可能无法获得预期的性能。在这种情况下,可用自动调优器更好地配置模型,从而提高性能。TVM 中的调优是指,在给定 target 上优化模型,使其运行得更快。与训练或微调不同,它不会影响模型的准确性,而只会影响 runtime 性能。

作为调优过程的一部分,TVM 实现并运行许多不同算子的变体,以查看哪个性能最佳。这些运行的结果存储在调优记录文件(tune 命令的最终输出)中。

调优最少要包含:

  •   运行此模型的目标设备的平台要求
  •   存储调优记录的输出文件的路径
  •   要调优的模型的路径。

下面的示例演示了其工作流程:

# 默认搜索算法需要 xgboost,有关调优搜索算法的详细信息,参见下文<br>pip install xgboost<br><br>tvmc tune \<br>--target "llvm" \<br>--output resnet50-v2-7-autotuner_records.json \<br>resnet50-v2-7.onnx

此例中,为 –target  标志指定更具体的 target 时,会得到更好的结果。例如,在 Intel i7 处理器上,可用 –target llvm -mcpu=skylake。这个调优示例把 LLVM 作为指定架构的编译器,在 CPU 上进行本地调优。

TVMC 针对模型的参数空间进行搜索,为算子尝试不同的配置,然后选择平台上运行最快的配置。虽然这是基于 CPU 和模型操作的引导式搜索,但仍需要几个小时才能完成搜索。搜索的输出将保存到 resnet50-v2-7-autotuner_records.json  文件中,该文件之后会用于编译优化模型。

Tips 4  定义调优搜索算法:

这个搜索算法默认用 XGBoost Grid  算法进行引导。根据模型复杂度和可用时间,可选择不同的算法。完整列表可查看 tvmc tune –help

对于消费级的 Skylake CPU,输出如下:

使用调优数据编译优化模型

从上述调优过程的输出文件 `resnet50-v2-7-autotuner_records.json  可获取调优记录。

该文件可用来:

  •   作为进一步调优的输入(通过 tvmc tune –tuning-records )
  •   作为编译器的输入

执行 tvmc compile –tuning-records  命令让编译器利用这个结果为指定 target 上的模型生成高性能代码。查看 tvmc compile –help  来获取更多信息。

模型的调优数据收集到后,可用优化的算子重新编译模型来加快计算速度。

tvmc compile \<br>--target "llvm" \<br>--tuning-records resnet50-v2-7-autotuner_records.json  \<br>--output resnet50-v2-7-tvm_autotuned.tar \<br>resnet50-v2-7.onnx

验证优化模型是否运行并产生相同结果:

tvmc run \<br>--inputs imagenet_cat.npz \<br>--output predictions.npz \<br>resnet50-v2-7-tvm_autotuned.tar<br><br>python postprocess.py

验证预测值是否相同:

# class='n02123045 tabby, tabby cat' with probability=0.610550<br># class='n02123159 tiger cat' with probability=0.367181<br># class='n02124075 Egyptian cat' with probability=0.019365<br># class='n02129604 tiger, Panthera tigris' with probability=0.001273<br># class='n04040759 radiator' with probability=0.000261

比较调优和未调优的模型

TVMC 提供了模型之间的基本性能评估工具。可指定重复次数,也可指定 TVMC 报告模型的运行时间(独立于 runtime 启动)。可大致了解调优对模型性能的提升程度。

例如,对 Intel i7 系统进行测试时,调优后的模型比未调优的模型运行速度快 47%:

tvmc run \<br>--inputs imagenet_cat.npz \<br>--output predictions.npz  \<br>--print-time \<br>--repeat 100 \<br>resnet50-v2-7-tvm_autotuned.tar<br><br># Execution time summary:<br># mean (ms)   max (ms)    min (ms)    std (ms)<br>#     92.19     115.73       89.85        3.15<br><br>tvmc run \<br>--inputs imagenet_cat.npz \<br>--output predictions.npz  \<br>--print-time \<br>--repeat 100 \<br>resnet50-v2-7-tvm.tar<br><br># Execution time summary:<br># mean (ms)   max (ms)    min (ms)    std (ms)<br>#    193.32     219.97      185.04        7.11

写在最后

本教程介绍了 TVMC(TVM 的命令行驱动程序),演示了如何编译、运行和调优模型,还讨论了对输入和输出进行预处理和后处理的必要性。调优后,演示如何比较未优化和优化模型的性能。

本文档展示了一个在本地使用 ResNet-50 v2 的简单示例。然而,TVMC 支持更多功能,包括交叉编译、远程执行和分析/基准测试。

用 tvmc –help  命令查看其他可用选项。

下个教程 Compiling and Optimizing a Model with the Python Interface 将介绍用 Python 接口的相同编译和优化步骤。

持续关注,不要错过~