TensorFlow2.1 正式版上线:最后一次支持 Python2,进一步支持 TPU

前沿资讯 小白学CV ⋅ 于 1个月前 ⋅ 232 阅读

TensorFlow2.1的更新,能够让弃坑的用户回心转意吗?

file

去年 10 月,谷歌才发布了 TensorFlow 2.0 正式版。时隔三个月后,昨日官方发布了 TensorFlow 2.1,本次版本更新带了了多项新特性、功能改进和 bug 修复。

从本次更新的日志来看,TensorFlow 2.1 将成为最后一个支持 Python2 的版本了。同时,本次更新的重点是增加了对 TPU 的多项支持,而 tf.keras 和 tf.data 这两个常用的 API 也得到了很多新的更新。据悉,TensorFlow 2.1 的 CUDA 版本为 10.1,cuDNN 版本为 7.6。

在对操作系统的支持上,Windows 和 Linux 系统的 TensorFlow pip 版本默认支持 GPU。也就是说,如果使用 pip install tensorflow,则版本默认为是 gpu 版本(原始的 tensorflow-gpu 版本依然存在)。当然,不管有没有英伟达版本的 GPU,tensorflow 依然能够运行。

如果需要使用 CPU 版本,用户的安装命令应该为:pip install tensorflow-cpu。

项目地址:https://github.com/tensorflow/tensorflow/releases

对于本次更新的内容,机器之心整理如下:

进一步支持 TPU

TensorFlow 2.1 最大的亮点在于进一步增加对 TPU 的支持。从 tf.keras、tf.data 等 API 的功能调整和更新来看,现在使用 TPU 加载数据集、训练和模型推理会更方便一些。

tf.keras 对 TPU 的支持

  • 增加了在 GPU 和 Cloud TPUs 上对混合精度(mix precision)的支持;

  • tf.Keras 中的 compile、fit、evaluate、predict 等 API 都支持 Cloud TPUs 了,而且支持所有的 Keras 模型(即以 sequential、functional 和子类方式构建的模型都支持);

  • 现在可以使用 Cloud TPU 进行自动外部编译(automatic outside compilation)了,这使得 tf.summary 和 Cloud TPUs 能够更好地一起使用;

  • 分布式策略和 Keras 中的动态批大小控制已支持 Cloud TPUs;

  • 支持在 TPU 上使用 numpy 格式的数据进行 fit、evaluate 和 predict。

tf.data 对 TPU 的支持

tf.data.Dataset 现在支持自动数据分发(automatic data distribution)和分布式环境下的分片操作,包括在 TPU pods 上都可以。

tf.distribute 对 TPU 的支持

支持在 TPU 和 TPU pods 上定制训练循环,通过以下 API 即可:

strategy.experimental_distribute_dataset、 

strategy.experimental_distribute_datasets_from_function、strategy.experimental_run_v2 和 strategy.reduce。

重要 API 更新

TensorFlow 2.1 进行了以下一些重要的 API 更新:

tf.keras

  • 推出了 TextVectorization 层,该层将原始字符串作为输入,并兼顾到了文本规范化、标记化、N 元语法生成和词汇检索;

  • 允许 Keras .compile、.fit、.evaluate 和.predict 在 DistributionStrategy 范围之外,前提是模型在该范围内构建;

  • 诸多流行模型的 Keras 参考实现都可以在 TensorFlow Model Garden(https://github.com/tensorflow/models/tree/master/official)中获得

tf.data

tf.data datasets 和分布式策略都进行了改进,以获得更好的性能。需要注意的是 dataset 会变得有些不同,重新进行了分批的数据集会有多个副本;

而分布式策略也会进行调整,如下所示:

tf.data.experimental.AutoShardPolicy(OFF, AUTO, FILE, DATA) tf.data.experimental.ExternalStatePolicy(WARN, IGNORE, FAIL)

TensorRT

现在 TensorRT 6.0 是默认的版本,这一版本增加了对更多 TensorFlow 算子的支持,包括 Conv3D、Conv3DBackpropInputV2、AvgPool3D、MaxPool3D、ResizeBilinear 和 ResizeNearestNeighbor。

此外,TensorFlow 和 TensorRT 的 Python 交互 API 被命名为 tf.experimental.tensorrt.Converter。

Bug 修复

TensorFlow 2.1.0 还修复了以前版本中出现的一些 Bug,整理如下:

tf.data

  • 修复当 sloppy=True 时 tf.data.experimental.parallel_interleave 出现的并发问题;

  • 增加 tf.data.experimental.dense_to_ragged_batch();

  • 扩展 tf.data 语法解析选项,从而支持 RaggedTensors。

tf.distribute

修复使用 tf.distribute.Strategy 时 GRU 崩溃或输出错误结果的问题。

tf.keras

  • 导出 tf.keras.backend 中的 depthwise_conv2d;

  • 在 Keras Layers 和 Models 中,删除 trainable_weights、non_trainable_weights 和 weights 中变量的重复数据;

  • Kerasmodel.load_weights 现将 skip_mismatch 接受为一种自变量;

  • 修复 Keras 卷积层的输入形状缓存的行为;

  • Model.fit_generator、Model.evaluate_generator、Model.train_on_batch, Model.test_on_batch 和 Model.predict_on_batch 方法现遵循 run_eagerly 属性,并且在默认情况下,使用 tf.function 能够正确地运行。请注意,Model.fit_generator、Model.evaluate_generator 和 Model.predict_generator 是不宜用的端点。这些端点现已被归入支持生成器和序列的 Model.fit、Model.evaluate 和 Model.predict 中。


-End-

来源:机器之心@微信公众号
参与:杜伟、一鸣


*延伸阅读

file
△ 关注极市平台
获得最新CV干货

file
△ 关注极市平台
获得最新CV干货

大白

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!