旷视天元MegEngine开源 CUDA INT4 量化程式库实现

自觉人工智能技术亦然更快持续发展，渗透到云、边、端和应用的各个层面，与多种形式IoT电子元件开展深度交融，随之持续发展应用场景。

然而在AIoT场景中会，嵌入式电子元件往往算力有限，难以好比庞大的AI假设。如何在资源有限的终端场景充分利用 AI 假设的有效地面部队，是更快AI落地的重要问题。

AI 工程师们研发了各种试图缩小假设大小并保持可靠性的前提，例如计量和提纯。其中会，假设计量是将浮点数值转化成高比特定点数值的一种假设缓冲技术，可以有效减少假设算力消耗并降低数值更快，当前已经在电子技术持续发展比较商业化。

目前相对商业化的假设计量提案是 INT8 计量。以ResNet-50 假设为例，原本只能用 float 32 表示的百分比，计量后只只能适用 INT8 表示，通过这样的管控，假设体积可以减少到这样一来的1/2，再继续连带 TensorCore 的护持，还会有近 8 倍的互联网更快。而如果更进一步，将假设用INT4 表示，可以带来更多的更快降低。

为了主导高比特计量技术的持续发展，旷视天元MegEngine 团队Debian了 INT4 的数值机语言充分利用，这也让MegEngine成为首个Debian CUDA INT4 数值机语言充分利用的深度学习方法论。MegEngine采用均匀线性计量提案，充分利用了种系统计量和轴对称计量两种INT4的数据类型，同时通过算子交融优化、kernel优化等方法，使得计量后的假设可以依然保持很低的弹道以及良好的运营更快。除此以外以ResNet-50为例，INT4 相比 INT8 有 1.3倍的更快。

具体代码充分利用可以会面GitHub链接（ ）了解后文。

随着 CUDA INT4 的Debian，目前MegEngine 方法论不仅拥护浮点数 FP32 和 FP16，而且拥护 INT8 和 INT4 的轴对称和种系统计量解谜。

此外，MegEngine方法论研发了诸多基本功能，协助Gmail降低假设解谜可靠性、简便地面部队流程，包括则会代码裁剪功能，拥护Gmail全则会的针对算子开展代码裁剪；TracedModule 提案以及 MegEngine Lite，基于旷视多种形式业务打磨出的假设解谜最佳实践，化解假设反转地面部队难题；流程管理基本功能FastRun, 可以为每个数值则会选择最快的算法，从而意味着整个互联网的运营时间最短，让 MegEngine Gmail运营并不相同的互联网时都能收获最好可靠性。

自Debian以来，MegEngine随之优化，已先后发布29个亦然式版，发布一系列实用功能，降高AI算法生产门槛，助力AI应用快速落地。未来，旷视将继续拥护和拥抱Debian，并将自身在Debian领域造就的技术和经验与业界共享，主导人工智能技术创新和行业持续发展。