您的当前位置:主页 > 热点发现 >NVIDIA 破纪录在53分钟内完成 BERT语音辨识模型训练

NVIDIA 破纪录在53分钟内完成 BERT语音辨识模型训练

分类:热点发现  / 时间:2020-06-08 / 作者:
NVIDIA (辉达) 今日宣布在语言理解领域获得多项突破,让企业透过即时对话式 AI 能更自然地与顾客互动。NVIDIA 的 AI 平台率先训练当今最先进的 AI 语言模型之一 BERT (Bidirectional Encoder Representations from Transformers),用不到一小时就完成训练,并在 2 毫秒内完成 AI 推论。突破性的效能协助开发者将顶尖语言理解技术导入在各种提供给全球数百万消费者的超大规模应用。
NVIDIA 破纪录在53分钟内完成 BERT语音辨识模型训练

率先採纳 NVIDIA 先进效能成果的业者包括 Microsoft 与许多全球最具创新力的新创公司,透过 NVIDIA 平台着手为其客户开发能即时反应的高度直觉化语言服务。

虽然有限度的对话式 AI 服务已存在多年,然而发展至今,包括聊天机器人、智慧个人助理与搜寻引擎等服务想要以人类理解力的水準运作仍极为困难,主要原因是无法即时部署超大规模的 AI 模型。NVIDIA 透过在其 AI 平台导入多项关键的优化技术藉以解决这项问题,不仅在 AI 训练与推论方面刷新速度纪录,同时也建构出至今最大的语言模型。
NVIDIA 破纪录在53分钟内完成 BERT语音辨识模型训练


NVIDIA 深度学习应用研究部门副总裁 Bryan Catanzaro 表示:「超大语言模型彻底颠覆自然语言 AI。因为它解决许多极为困难的语意问题,往真正的对话式 AI 迈进一步。NVIDIA 的突破性成果除了加快这些模型,还让组织建构新型顶尖服务,以未曾想像的方式协助与满足客户。」

最快训练、最快推论与最大模型

以自然语言理解技术运行的AI服务预计在未来几年呈现指数成长。根据 Juniper Research 的报告,光是数位语音助理市场规模预计在未来 5 年内将从 25 亿美元成长到 80 亿美元。此外, Gartner 也预测 2021 年,15% 的客服互动将完全由 AI 执行,与 2017年相比增加400%。1

NVIDIA 力助迈入新时代,藉由多项关键优化微调其 AI 平台,创下三项新的自然语言理解效能纪录:

最快训练:採用内建由 1,472 个 NVIDIA V100 GPU 组成 92 个 NVIDIA DGX-2HTM系统的 NVIDIA DGX SuperPODTM,执行全球最先进的 AI 语言模型之一 BERT 的大型版本,成功把 BERT-Large 的训练时间从先前的数日大幅缩短至仅 53 分钟。此外,NVIDIA 也能透过仅一台 NVIDIA DGX-2 系统在 2.8 天内就完成 BERT-Large 的训练,展现 NVIDIA GPU 在对话式 AI 领域的扩充性。

最快推论:NVIDIA 以 NVIDIA T4 GPU 运行 NVIDIA TensorRT,在 BERT-Base SQuAD 资料集上仅用 2.2 毫秒就完成推论,不仅远低于许多即时应用要求的 10 毫秒的处理门槛,也大幅领先以高度优化 CPU 程式码执行的 40 毫秒。

最大模型:针对开发者对于更大模型永无止境的需求,NVIDIA Research 在 Transformers 的基础上着手建构与训练全球最大的语言模型,并导入 BERT 採用的技术元件,以及许多其他自然语言的 AI 模型。NVIDIA的客製化模型拥有 83 亿个参数,数量足足比 BERT-Large 多出 24 倍。

产业生态系的广泛支持

全球数百名开发者正运用 NVIDIA AI 平台推动语言理解的研究并开发新服务。

Microsoft Bing 正运用其 Azure AI 平台与 NVIDIA 技术执行 BERT,藉以获得更精準的研究成果。

Microsoft Bing 小组计画经理 Rangan Majumder 表示:「Microsoft Bing 仰赖最先进的 AI 模型与运算平台,为顾客提供最好的全球搜寻体验。我们与 NVIDIA 紧密合作,透过 Azure AI 内建的 NVIDIA GPU,针对热门的自然语言模型 BERT 进一步优化推论作业,在排名搜寻品质方面,获得从去年部署以来最大幅度的改善。在 Azure 环境中执行推论,NVIDIA GPU 相比 CPU平台在延迟缩短幅度超过 2 倍,吞吐量更提高 5 倍,让 Bing 为全球顾客提供更具相关性、低成本与即时的搜寻体验。」

多家参与 NVIDIA Inception 计画的新创公司包括 Clinc、Passage AI 与 Recordsure,也正运用 NVIDIA AI 平台为包括银行、汽车製造商、零售商、医疗机构、旅游住宿等业者提供顶尖对话式 AI 服务。

Clinc 透过 NVIDIA GPU 建构多款对话式 AI 解决方案,提供给全球超过 3,000 万名客户,其中包括顶尖车厂、医疗机构与全球领导金融机构包括 Barclays、USAA、以及土耳其最大银行 Isbank。

Clinc 执行长 Jason Mars 表示:「Clinc 顶尖 AI 平台能了解複杂的问题并将其转化为有利的情资,提供给全球顶尖品牌进行行销。NVIDIA AI 平台的突破性效能让我们突破对话式 AI 的疆界,提供各种革命性服务,协助顾客运用科技,以更有意义的有效方式和顾客进行互动。」

优化方案即日释出

NVIDIA即日起将用来达成对话式 AI 突破成就的软体优化方案全面释出给开发者:

NVIDIA GitHub BERT 模型的训练程式码与 PyTorch 学习框架*
NGC 模型 Scripts与 TensorFlow 的 check-points
GitHub 上针对 TensorRT 优化的BERT 範例
Faster Transformer: C++ 语言 API、TensorRT 外挂与 TensorFlow OP
MXNet Gluon-NLP 包含 AMP 对 BERT 的支援方案(训练与推论)
AI Hub 上针对 TensorRT 优化的BERT Jupyter 软体说明注记
Megatron-LM:用来训练超大型 Transformer 模型的 PyTorch 程式码。

*NVIDIA BERT建置方案是热门 Hugging Face repo程式库的优化版本

sunbet(官网)管理|设计期刊|问题手机|网站地图 申博官网备用网址_澳门永利app下载地址 申博官网备用网址_澳门乐八线上