首次线上直播,TF Dev Summit 都讲了啥?

一年一度的 TensorFlow Dev Summit 近日举行,受到新冠肺炎疫情的影响,该峰会首次完全以线上直播的方式举行。

直播在北京时间 3 月 12 日 0:30-8:00 am 进行,这个属于机器学习开发者的年度盛会,让无数中国观众熬夜观看直播,那么 TensorFlow(简写 TF)究竟放出了哪些大招呢?

我们将挑出其中的几个方面,做一个简单的亮点回顾。

TensorFlow :最受欢迎的 ML 框架

大会随着 Megan Kacholia 的 Keynote 演讲开启。

Megan Kacholia 是 TensorFlow 以及 Google Brain 的工程总监,重点负责 TensorFlow 方面的工作,她在谷歌工作多年,其工作方向是:研究大型分布式系统,并寻找其中改善和提高性能的方法。

Keynote 环节,照例是对 TF 去年的成果做了一些展示,包括重大的活动,人群使用情况等。

TrnsorFlow 去年的一些大的事件

TF 目前的使用情况,共计达到了 7600 万次下载,8 万多条提交, 超 1.3 万条 pull requests,并有 2400 多位贡献者,充分说明 TF 是最受欢迎的机器学习框架。

Keynote 部分的重点,是由三位大佬分别介绍了 TensorFlow Ecosystem 的情况。

伴随着 TF 这些年的发展,其相关的使用工具,已经逐渐形成了一个强大的生态系统,包含了许多可使用的库以及扩展组件,以及针对多种任务的不同应用。

TF 生态详情列表

先是由 Megan Kacholia 重点介绍了 TF 的使用情况,分别从 TF 涉及的研究,在现实中的实际案例,以及针对每一个使用者的开发部署,这三个方面进行了详细的介绍。

然后由 Manasi Joshi 介绍了 TF 对于 AI 道德的规范,陈述在使用时,如何避免性别歧视、保证公正性、可解释性、隐私性、安全性等问题,并细数了 TF 解决这些问题的一系列工具。

最后由 Kemal El Moujahid 介绍了 TF 社区的情况,介绍了全球的社区人员分布,展示了社区进行的一系列活动,并更新机器学习速成课程等资源内容。

TF 社区的全球分布地图

新版本来了 !TF 2.2 低调发布

相比于在 Keynote 上大谈特谈的 TF Ecosystem ,本次推出的最新版本 TF 2.2,显得低调了许多。

但作为新版本的,也带来了一些较大的更新,TF 2.2 主要针对三个方面做了调整:更加注重性能,与 TF 生态系统融合,让核心库稳定性。

目前该版本已可以在 Github 上获取:
https://github.com/tensorflow/tensorflow/releases

其中的主要特点和改进体现有:

1)将字符串张量的标量类型从 std :: string 替换为 tensorflow :: tstring,现在 ABI 更加稳定。

2)新的 Profiler,用于 CPU / GPU / TPU。它提供设备和主机性能分析,包括输入管道和 TF Ops。尽可能提供优化建议。

3)弃用 Swig, 使用 pybind11 将 C ++ 函数导出到 Python,而不再选择使用 SWIG。

TensorFlow 2.2.0 界面

其他的更新可见于 tf.keras、tf.lite 以及 XLA,详情可通过 GitHub 查看。

NLP 的变革?加入图像处理

紧随 Keynote 环节之后,进行了 TensorFlow 在 NLP 上的进展分享,分享者展开了《使用 TensorFlow 和 Keras 学习阅读》主题演讲。

报告中表示自然语言处理(NLP)达到了一个拐点,所以当前的研究聚焦于,如何使用 TF 和 Keras 如何使预处理,让训练和超调文本模型变得更容易。

展示不同模型的性能

其中强调了一个观点:NLP 是新的图像处理方式(image processing)。

演讲者举例孩子看事物学写字过程的启发,表示 TF 已经开始尝试从图像处理的角度,去改进自己的 NLP 性能。

其实从 2.X 版本开始,TF 就引入了 Proprocessing Layers,这样的改进具备了以下特点:

更容易进行数据转化,替代了 tf.keras 的程序,扮演处理层,作为模型的一个序列。

为了证明 NLP 是新的 image processing, 讲解人还比较在图像领域和 NLP 领域的 Proprocessing Layers,指出了它们的一些共性。

TF Lite 升级:更注重手机体验

随着手机在日常生活中越来越重要,TF 更加注重其在边缘设备中的使用体验,这一次也用一场主题报告,分享了关于 TensorFlow Lite 的一些更新。

其内容包括如何通过 TF 的新技术,更快更安全地将 ML 部署到手机,嵌入式设备或者其他终端 。

使用 TF Lite 的手机应用超过 1000

目前 TF 已部署在数十亿个边缘设备中,超过 1000 多款使用的手机 App,俨然是移动设备和微控制器领域,最受欢迎的跨平台 ML 框架。

本次被着重强调的内容,包括适配于各种设备上,开发了一系列的工具包,进行最优性能的处理,继续增加对边缘性能的支持,可以在离线情况下使用,更注重隐私安全等特性。

在新增的 TF lite 扩展库方面,则是新增更多图像和语言 API,加入了 Android Studio 集成,并完善代码生成等功能。

报告里还发布了 Core ML Delegation ,可通过苹果神经芯片的核心 ML 代理,在苹果的终端设备上,加速其浮点运算速度。

最后还预告了后续的动态,将有其他的 CPU 优化方式会出现,如在 TensorFlow Lite 2.3 中,将会带来更大的性能提升,并且在 TF 2.2 上会默认带有新的模型转换器。

核武器:TF Quantum 发布

临近峰会尾端,由 Masoud Mohseni 出场,再次隆重介绍了近期宣布开源的 TensorFlow Quantum,这是一款用于训练量子模型的机器学习库。

TF Quantum 的目标

这场主题演讲耗时很长,用了近半个小时的时间,去阐释量子计算的原理,以及 TF Quantum 准备解决的问题。

TFQ 提供了必要的工具,可以将量子计算和机器学习的研究聚集在一起,以控制和建模自然或人工量子系统。

谷歌为量子计算布局很大包括使用超导量子位

具体而言,TFQ 专注于量子数据处理,并建立了混合量子经典模型,它集成了 Cirq 中设计的量子计算算法和逻辑,并提供与现有 TensorFlow API 兼容的量子计算单元,以及高性能的量子电路模拟器。

演讲中指出,谷歌已经将 TFQ 应用到了混合量子经典卷积神经网络、量子控制的机器学习、量子神经网络的分层学习、量子动态学习、混合量子态的生成建模以及通过经典递归神经网络来学习量子神经网络等方面。

还将利用这个工具,通过经典循环神经网络,来学习量子神经网络等用途。这将为量子计算领域带来不可忽视的推动作用。

TF Quantum 的设计原理

虽然演讲中原理解释涉及了很多,但具体使用上并不困难:

可通过引入相关库以及定义,对模型进行定义,然后训练模型,最后用模型进行预测等步骤即可进行使用。

这是一场值得肝的直播

除了上面这些提到的内容,TensorFlow dev Summit 还进行了多场其他的分享。

包括用 TF 来进行科学研究,对 TF Hub 的介绍,在协作式 ML 上的研究,在谷歌云上使用 TF,对 AI 使用中公平隐私的探讨等等。

通过近 8 个小时的直播,将 TensorFlow 的方方面面进行了展示,虽然是首次采用全面线上直播的形式,但其干货内容却一点也不少,不枉大家熬夜一场。

如果你还想了解更多的信息,可通过录播去回顾这场盛事:

https://space.bilibili.com/64169458

—— 完 ——