在之前，老黄在GTC2018上讲述了会议的几大部分，而现在到了AI推理。NVIDIA新发布的TensorRT推理软件对Kaldi的语音加速以及扩展对ONNX的支持；GPU推理速度现在比CPU快可高达190倍。

用了这款软件 AI推理性能将大大提升

除了推出新版的TensorRT推理软件，更是将TensorRT集成至谷歌的TensorFlow框架。NVIDIA还宣布，最受欢迎的语音识别框架Kaldi现已针对GPU进行了优化。NVIDIA与亚马逊、Facebook及微软等合作伙伴的紧密协作，让开发者更易于使用ONNX与WinML充分发挥GPU加速的优势。

用了这款软件 AI推理性能将大大提升

NVIDIA加速计算副总裁表示：即便是最大规模的神经网络，面向量产型深度学习推理的GPU加速也能够让其以最低成本实时运行。随着对更多智能应用及框架支持的快速扩展，我们现在能够提高深度学习的质量，并帮助降低3000万台超大规模服务器的成本。

用了这款软件 AI推理性能将大大提升

TensorRT4软件针对广泛的应用加速深度学习推理。TensorRT提供高度精确的INT8与FP16网络执行，最高可减少70%的数据中心成本。可用于快速优化、验证及部署在超大规模数据中心、嵌入式与汽车GPU平台中经过训练的神经网络。相比CPU，针对计算机视觉、神经网络机器翻译、自动语音识别、语音合成与推荐系统等常见应用，该软件最高可将深度学习推理的速度加快190倍。

用了这款软件 AI推理性能将大大提升

为了进一步精简开发，NVIDIA与谷歌的工程师已将TensorRT集成至TensorFlow1.7，使得在GPU上运行深度学习推理应用更加容易。NVIDIA优化了全球领先的语音框架Kaldi，以实现运行于GPU的更快性能。GPU语音加速意味着消费者将获得更加准确与实用的虚拟助手，并降低数据中心运营商的部署成本。