TensorRT 是 AI 推理优化工具,通过对 AI 模型细致的性能优化,它能以高吞吐和低延迟在 GPU 上运行 AI 推理运算,获得广泛应用。为了在业界进一步推广 TensorRT,培养开发人员,丰富生态,NVIDIA 与阿里云天池联合举办了第二届 TensorRT Hackathon,以时下流行的 Transformer 模型优化作为主题。本届比赛于2022年4月启动,经过初赛与复赛,历时3个月在近日圆满结束。
  ?初赛题目

初赛是优化给定模型 WeNet,让选手了解 TensorRT 常用优化流程并学会使用配套工具。初赛的评估机器采用 NVIDIA A30 GPU。

?复赛题目

复赛是自选模型,选手在 NVIDIA 导师的辅导下进行开发,并通过开源代码、发布技术文档启发后人。复赛的机器由阿里云提供,采用 NVIDIA A10 GPU。NVIDIA 为了把比赛变成 TensorRT 实地教学,专门为本次比赛筹备了教学视频与示例程序库,希望参赛选手和其他学习者从中收获经验。另外还建立了选手交流群,方便大家讨论。

?初赛实录

初赛共有 600 余支队伍报名。选手们通过教学视频和示例代码学习,积累一定的 TensorRT 开发经验之后,逐步改善模型的优化效果。选手的成绩实时反映在天池的在线榜单上,选手因而了解彼此的差距,为创造新的纪录展开了激烈角逐。在 NVIDIA 导师的提示和引导下,选手们从入门级的 800 分不断进步,最后所有进入复赛的选手都达到了 1400 分,并产生了技惊四座、超越 10000 分的第一名。

?复赛实录

复赛共有 40 支队伍晋级,NVIDIA 抽调了 28 名工程师组成导师团队,为各支队伍提供一对一辅导。比赛迎来众多开发高手的精彩表现,是 TensorRT 开发者力量的一次爆发展示。选手们按实用性、影响力挑选模型,克服各种不能被 TensorRT 直接解析运行的困难,精心查找性能瓶颈,施展全面手段进行优化,并把自己的成果通过详细的报告分享给他人。选手们倾心投入,为比赛贡献了巨量的时间和努力。大赛借助众人的力量,把市面上更多的流行模型跑在 TensorRT 上,产生的成果价值极高,远远超过了比赛本身的经费投入。

面对如此优秀的成果,赛末评奖对 NVIDIA 是极大的考验。值得注意的是,评分的数值是由赛制决定的,再叠加评委个人的欣赏,存在一定的主观性。为了追求结果尽量客观,NVIDIA 对评分原则进行了细化,邀请 7 名评委独立评分后取平均,最终决出一等奖1名,二等奖2名,三等奖2名,优胜奖20名。

其中,前三名的队伍如下:

本届比赛是 NVIDIA 与阿里云开发者社区的第一场活动合作,也是与阿里云天池团队的第一次联合办赛。天池为本次比赛提供了自动化的竞赛平台、通过持续优化的赛事运营模式与经验,专业、严谨地保障了比赛的顺利进行。双方将在未来继续保持合作,为开发者们提供更多切磋技术的高质量技术活动