欢迎访问ic37.com |
会员登录 免费注册
发布采购

旷视宣布开源深度学习框架“天元”,开源成为AI发展新趋势

日期:2020-3-28 (来源:互联网)

一、旷视宣布开源深度学习框架“天元”

3月25日下午,旷视科技举办线上发布会,宣布开源新一代AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine)。

据了解,天元的前身是旷视内部自用的算法训练推理引擎MegEngine,由旷视3名实习生在2013年启动研发,并与2014年正式完成上线。这款自研的深度学习BUL44框架支撑了旷视6年以来在国际AI竞赛的表现,以及公司产品和业务的落地,

二、天元框架采用推理一体化的机制

据介绍,在传统深度学习研发中,产品从原型到生产部署往往需要分开设计和调用训练框架和推理框架两种框架,这就导致模型在训练和推理的转换的过程中出现不明原因的性能或精度损失,需要开发者手工进行优化,而算法在计算平台部署的时候出现各种问题也无法追溯。

天元框架避免了这样的问题,通过训练、推理一体化的机制省去模型转换的过程,可直接将训练后的模型进行推理,并保证跨设备的模型精度对齐,同时天元内置自动模型优化、简化流程,减少因手工操作的机会,降低出错概率。

除此之外,天元配置了 Python 和 C++++ 接口,支持动态图、静态图一键转换和混合编程,可使用高级编程语言进行图优化和图编译。在运行时管理环节,天元具备执行流与调度器,采用动态、静态内存分配并存的方式,并通过自动的亚线性内存管理优化器可以得到更好的内存优化效果;在底层设计上,天元的计算内核兼容主流计算设备,且支持多机多卡和分布式训练。而为了解决模型复现困难的问题,天元则支持 PyTorch Module 导入,可针对计算机视觉任务进行优化。

目前,旷视已在中国新一代人工智能开源开放平台OpenI启智社区和开源社区 GitHub 上同步发布了天元 Alpha 版源代码,开发者也可以通过天元官方网站的在线深度学习工具免费调用算力、获取最新数据集和训练脚本,进行简单训练和试用。

三、开源MegEngine,逐步释放Brain++生产力

在MegEngine框架基础之上,旷视研究院还提出了“三位一体”概念,将数据和算力平台融合,构建了集“算法、数据和算力”于一体的AI生产力套件Brain++。

旷视Brain++本质上是一个超级工具套件,初衷是降低人工智能的使用成本。唐文斌曾提到,希望Brain++能够为研发人员提供端到端的解决方案,提升大家的工作效率,不用再重复“造轮子”。

旷视做了这一一个类比:一个餐馆的核心价值是为客人提供美味的菜品(就像AI产业的核心价值是提供专业可靠的AI解决方案),那么实现这个价值最重要的人则是大厨(开发者)。小作坊里的厨师需要自己洗菜(数据清洗)、配菜(搭模型)、炒菜(训模型)、调火候和口味(调参数),一个中午也许只能为三桌客人提供菜品。而在现代化、自动化中央厨房里工作的大厨,他将拥有标准化、流水线管理的配菜间和智能化的炉灶等套件工具,那么或许他一个人就可以搞定一栋楼菜品供应。旷视Brain++就是希望为开发者提供这样一套“中央厨房”式的解决方案。

Brain++这个生产力套件最为核心的部分就是能够批量生产算法的深度学习框架,旷视希望通过MegEngine的开源,逐步将Brain++的生产力赋能给学术界和产业界的广大开发者。

三、开源成为人工智能下一阶段发展新趋势

2012 年后,深度学习的发展带动人工智能进入拐点,前者拥有高于传统机器学习十倍、百倍的神经网络参数,在人工智能最先落地的语音识别、图像识别领域,深度学习都是不可或缺的重要工具。商业落地中的数据反哺,也带动了算力、框架上的不断升级。开发者口中通用的深度学习开源框架基本不出这几种:TensorFlow、 PyTorch、Caffe、CNTK、ONNX 等,这背后又分别站着谷歌、Facebook、微软等巨头。

唐文斌在发布会上提到,技术信仰是旷视人的基因,相信技术的变革能够改变世界。对于旷视来说,自研的AI生产力套件已经能够满足企业发展需要,但一个人的力量始终是有限的,一群人在一起才能创造奇迹。只有开源才能让更多优秀的开发者凝聚起来共享、共建、共赢,打破坚硬的技术壁垒,碰撞激发出更多优秀的代码。

更重要的是,开源是推进技术实现产业发展的催化剂。AI要真正实现产业化、通用化,需要大规模部署AI能力,在数据、计算、部署场景、硬件解决方案上具备一系列“工业级”的基础,但眼前本质的问题在于AI技术的基础条件尚未成熟,旷视希望能够通过开源为AI产业基础设施添砖加瓦。

人工智能算法从研发到部署是一套庞大的系统工程,深度学习框架作为通用性的底层支持平台,可实现算法训练和模型部署的高效流程化和深度神经网络模型设计自动化。在减少人员参与而不牺牲训练质量的条件下,能够大幅提高算法生产效率,对于人工智能技术及应用研发人员的重要性不言而喻。