NetSpeed：利用人工智能加速人工智能SoC的开发

       这大夏天的，人工智能（AI）有多火就不消多说了。

　　可人工智能不是闹着玩的。例如，人工智能驱动的自动驾驶汽车干系到我们的身家性命。如何设计、建造稳定、可靠的人工智能系统，兹事体大马虎不得。

　　和大多数设备一样，人工智能系统的核心是半导体芯片。AI芯片十分庞大复杂，通常是以片上系统（SoC）的形式呈现。

　　目前，已经着手或打算从事AI芯片设计的公司数不胜数。然而，AI芯片设计绝非易事。今天这个情形有点类似于当年美国加州的淘金热。每个人都想找到金矿，也都需要一把顺手的淘金铲。

　　卖“铲子”的又来了。从所谓“正能量”的角度说，工欲善其事，必先利其器。如果你使用了正确的开发工具，那么你的SoC开发进程将变得顺利而高效。

　　今天我们就介绍一家“卖铲子”的公司，名叫NetSpeed。它成立于2011年，历史不算长，但它已经赢得了诸多AI行业重量级客户，仅中国的就包括百度、寒武纪和地平线。更重要的是，自动驾驶技术先行者特斯拉公司正在采用NetSpeed的软件来设计4级完全自动驾驶芯片，该芯片将于2020年面世。NetSpeed声称，全球最成功的SoC设计者在使用NetSpeed技术。

　　NetSpeed是一家什么样的公司呢？近日，NetSpeed Systems公司大中华区销售总监黄启弘先生向我们介绍了NetSpeed公司及其刚刚发布的Orion AI系统级IP。

　　黄先生介绍说，NetSpeed总部位于美国硅谷的圣何塞市，创始人曾就职于华为、Cisco这样的通信系统公司。创始人之一、现任CTO Sailesh Kumar先生曾是华为100G服务网络处理器芯片组的智能存储子系统主席架构师，精于IP转发、深度包监测、存储系统和高速系统的算法。

　　正是由于创始人在通信公司的经历，NetSpeed把互联网思维应用到了芯片设计上。他们的目标是，让数据在SoC内部畅通无阻。

　　黄先生介绍说，AI芯片的设计难点之一在于芯片内部各个单元之间的互联。人工智能的训练和推理都需要做大型矩阵乘法运算，其产生的数据量极大。芯片内部的处理内核数量多，存在大量并行结构和点对点运算。在这种情况下，芯片内部互联要求 带宽。将来，这种情形会愈演愈烈。

　　NetSpeed的Orion AI系统级IP就是针对SoC内部的非一致性互联而开发。其特点是采用解耦架构、可编程多播和非凡的QoS，达到 性能和 效率。Orion AI据称可以达到TB/s的吞吐量，实现数据带宽高达1024位的总线，支持1000个内核。

　　如下图所示，Orion AI的独有技术包括：可编程多播（multi-cast），动态控制下一点到多点的传播以提高效率；无需回应发送信息模式，让数据传输更加顺畅；先进的QoS规划，确保数据包传输到位，而且准确无误。

　　为达到这样的高性能，Orion AI内置工智能，利用人工智能算法搜寻 的解决方案。黄先生说，NetSpeed为中国客户提供不加密的Orion AI版本，用户在自己的服务器上即可运行。Orion AI生成的文件可以进行手工修改以完成进一步优化。他说，采用Orion AI，用户可以节省数月的开发时间，大大加速SoC的开发进程。