半导体展NEPCON|TPU v4与人工智能芯片的未来

谷歌在论文预印本平台arxiv上发表了其关于TPU v4的深入解读论文《TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings》（TPU v4：通过光互联可重配置的机器学习超级计算机，搭载硬件嵌入层加速）。今天就由半导体展NEPCON小编为你解读更多行业新趋势。

从论文的标题可以看到，谷歌TPU v4的一个主要亮点是通过光互连实现可重配置和高可扩展性（也即标题中的“optically reconfigurable”）。而在论文的一开始，谷歌开门见山先介绍的也并非传统的MAC设计、片上内存、HBM通道等AI芯片常见的参数，而是可配置的光学互联开关（reconfigurable optical switch）。作为论文的重中之重，这里我们也详细分析一下为什么光学互联在TPU v4设计中占了这么重要的位置，以至于谷歌甚至为了它自研了一款光学芯片。

从TPU v4的设计中，我们可以看到人工智能芯片未来的一些方向，而这些方向是我们在Nvidia的GPU等其他主流人工智能芯片的设计中也看到的：

先就是对于高效互联和规模化的支持。随着人工智能模型越来越大，对于这类模型的支持主要依赖人工智能芯片的可扩展性（即如何让多芯片可以高效并可靠地一起分工合作来加速这样的大模型），而不是一味提高单芯片的能力来支持大模型，因为模型的演进总是要比芯片的设计迭代更快。在这个领域，不同的芯片公司会有不同的侧重，例如AMD侧重较为微观层面的使用chiplet来实现封装级别的可扩展性，Nvidia有NvLink等芯片技术来实现单机多卡之间的可扩展性和性能提升，谷歌则直接为了海量TPU互联设计了一款光路开关芯片；但是这些公司之间的共性，即对于人工智能芯片可扩展性的支持以满足大模型的需求，却是相当一致的。从这个角度来看，未来可扩展性（例如数据互联带宽）有可能会成为与峰值算力一样的人工智能芯片主要指标，而这也让人工智能芯片设计更加跨界：即不仅仅是需要对于数字逻辑和计算机架构方面的资源，同时也需要在封装、数据互联等领域都有积累。

此外，人工智能芯片与算法之间的结合继续保持紧密关系，算法-芯片协同设计仍然将是未来人工智能芯片继续提升性能的主要手段之一。我们目前已经看到了谷歌、Nvidia等在算法-芯片协同设计中的大量成果：包括对于新的数制（Nvidia的FP16、FP8，谷歌的BF16等）的支持，对于计算特性的支持（Nvidia对于稀疏计算的支持），以及对于模型关键算法的直接专用加速器的部署（Nvidia的transformer acclerator，谷歌的SC等）。随着摩尔定律未来越来越接近物理限，预计未来人工智能芯片性能进一步提升会越来越倚赖算法-芯片协同设计，而另一方面，由于有算法-芯片协同设计，我们预计未来人工智能芯片的性能仍然将保持类似摩尔定律的接近指数级提升，因此人工智能芯片仍然将会是半导体行业未来几年为热门的方向之一，也将会成为半导体行业未来继续发展的重要引擎。

以上便是半导体展NEPCON小编为大家整理的相关内容，如果大家对这方面比较感兴趣，可以到半导体展NEPCON参观交流。2023年10月11日-13日，半导体展NEPCON将于深圳国际会展中心（宝安新馆）隆重开幕，将以“跨界+芯+智造”为创新理念，展会将汇聚1,200个企业及品牌参展，展示电子元器件、PCBA制程、智能制造、 EMS服务、半导体封测等相关的国内外设备新品及先进技术解决方案。与同期多展联动，带来消费电子、家电、工控、通信通讯、汽车、触控显示、新能源、医疗器械、光电等领域跨界商机，绽放亚洲电子工业新活力。此外，同期将举办超30场跨国、跨界活动，覆盖PCBA制程、半导体封装、工业机器人、智能仓储与物流、机器视觉、智慧工厂、工业互联网、激光、3C、家用电器、通信、汽车、5G、物联网、人工智能、AR/VR、新能源、医疗器械、照明等热门话题，创新打造多元化国内、外商务配对社交机会，一站式捕捉亚洲跨界商贸网络，诚邀您莅临参观，为您解读更多行业发展新趋势。

文章来源：半导体行业观察