TVM 从入门到精通 | 安装 TVM (Part 2)

内容一览:TVM 共有三种安装方法:从源码安装、使用 Docker 镜像安装和 NNPACK Contrib 安装。本文讲解如何通过 Docker 镜像 和 NNPACK Contrib 安装。

关键词:TVM   Docker    基础教程   

本文首发于微信公众号:HyperAI 超神经

欢迎回到 TVM 文档讲解 101,这个系列将继续 TVM 的日常教学。

上期 Part 1  我们已经介绍了如何通过源码安装 TVM,本期将继续进行学习 TVM 前的准备工作。讲解通过 Docker 镜像和 NNPACK Contrib 安装 TVM。

 TVM 安装之 Docker 镜像安装

开发者可以利用 Docker 工具脚本,建立开发环境。这也有助于运行 TVM Demo 和教程。

需要用到 Docker

https://docs.docker.com/engine/installation/

如果使用 CUDA 则需要 nvidia-docker。

https://github.com/NVIDIA/nvidia-docker/

获取 TVM 源码发行版或克隆 GitHub 仓库,以获取辅助脚本:

git clone --recursive https://github.com/apache/tvm tvm

使用以下命令来启动 Docker 镜像:

/path/to/tvm/docker/bash.sh <image-name>

完成本地构建后,这里的 image-name 可以是一个本地的 Docker 镜像名称,例如:tvm.ci_cpu 。

该辅助脚本可实现:

  •   挂载当前目录到 /workspace
  •   将用户切换为调用 bash.sh 的用户(这样您就可以读/写主机系统)
  •   在 Linux 上使用宿主机的网络。由于无法支持主机网络驱动器,请在 macOS 上使用桥接网络并暴露 8888 端口,以使用 Jupyter Notebook。

输入以下内容启动 Jupyter Notebook:

jupyter notebook

如果你在 macOS 上启动 Jupyter Notebook 时看到报错 OSError: [Errno 99] Cannot assign requested address,可通过以下方式改变绑定的 IP 地址:

jupyter notebook --ip=0.0.0.0

注意,在 macOS 上,由于我们使用桥接网络,Jupyter Notebook 将被报告在一个类似于 http://{container_hostname}:8888/?token=…  的 URL 上运行。在浏览器中粘贴时,需把 container_hostname  替换为 localhost

Docker 源代码 

查看 Docker 源代码: 构建自己的 Docker 镜像。

https://github.com/apache/tvm/tree/main/docker

运行以下命令来构建 Docker 镜像:

/path/to/tvm/docker/build.sh <image-name>

你也可以利用非官方的第三方预建镜像,注意:这些镜像是用来测试的,并不是 ASF 的版本。

https://hub.docker.com/r/tlcpack/

TVM 安装之 NNPACK Contrib 安装 

NNPACK 是用于神经网络计算的加速包,可以在 x86-64、ARMv7 或 ARM64 架构的 CPU 上运行。使用 NNPACK,像 MXNet 这样的高级库可以加快多核 CPU 计算机(包括笔记本电脑和移动设备)上的执行速度。

由于 TVM 已经有原生调整的调度,这里的 NNPACK 主要是为了参考和比较。对于常规使用,原生调整的 TVM 实现更佳。

TVM 支持 NNPACK 在卷积、最大池和全连接层中进行前向传播(仅限推理)。在本文档中,我们对如何将 NNPACK 与 TVM 一起使用进行了高级概述。

条件 

NNPACK 的底层实现使用了多种加速方法,包括 fft 和 winograd。这些算法在某些特殊的批处理大小、内核大小和步幅设置上比其他算法效果更好,因此根据上下文,并非所有卷积、最大池或全连接层都可以由 NNPACK 提供支持。

NNPACK 仅支持 Linux 和 OS X 系统,目前不支持 Windows。

构建/安装 NNPACK 

如果训练后的模型满足使用 NNPACK 的一些条件,则可以构建支持 NNPACK 的 TVM。

请按照以下简单步骤操作:使用以下命令构建 NNPACK 共享库。TVM 会动态链接 NNPACK。

注意:以下 NNPACK 安装指导已经在 Ubuntu 16.04 上进行了测试。

构建 Ninja 

NNPACK 需要最新版本的 Ninja。所以我们需要从源代码安装 ninja。

git clone git://github.com/ninja-build/ninja.git<br>cd ninja<br>./configure.py --bootstrap

设置环境变量 PATH 以告诉 bash 在哪里可以找到 ninja 可执行文件。例如,假设我们在主目录 ~  上克隆了 ninja。然后我们可以在 ~/.bashrc 中添加以下行。

export PATH="${PATH}:~/ninja"

构建 NNPACK 

CMAKE 新版 NNPACK 单独下载 Peach  等依赖

https://github.com/Maratyszcza/PeachPy

注意:至少在 OS X 上,运行下面的 ninja install  会覆盖安装在 /usr/local/lib  中的 googletest  库。如果您再次构建 googletest 以替换 nnpack 副本,请务必将 -DBUILD_SHARED_LIBS=ON  传给 cmake。

git clone --recursive https://github.com/Maratyszcza/NNPACK.git<br>cd NNPACK<br><br># 在 CFLAG 和 CXXFLAG 中添加 PIC 选项以构建 NNPACK 共享库<br>sed -i "s|gnu99|gnu99 -fPIC|g" CMakeLists.txt<br>sed -i "s|gnu++11|gnu++11 -fPIC|g" CMakeLists.txt<br>mkdir build<br>cd build<br><br># 生成 ninja 构建规则并在配置中添加共享库<br>cmake -G Ninja -D BUILD_SHARED_LIBS=ON ..<br>ninja<br>sudo ninja install<br><br># 在你的 ldconfig 中添加 NNPACK 的 lib 文件夹<br>echo "/usr/local/lib" > /etc/ld.so.conf.d/nnpack.conf<br>sudo ldconfig

构建支持 NNPACK 的 TVM

git clone --recursive https://github.com/apache/tvm tvm

* 在 config.cmake  中设置 set(USE_NNPACK ON) 。

* 将 NNPACK_PATH  设置为 $(YOUR_NNPACK_INSTALL_PATH)  配置后使用 make 构建 TVM

make

登录 tvm.hyper.ai 可查看原始文档,后续超神经将继续更新中文 TVM 教程,请持续关注~

—— 完 ——