谷歌推出Trillium AI芯片，性能提高近5倍

谷歌推出了其最新的人工智能数据中心芯片——Trillium。这款芯片是谷歌的第六代产品，与上一代TPU v5e相比，Trillium在每个芯片上的峰值计算性能提高了4.7倍，节能67%以上。

此外，谷歌还通过增加高带宽存储（HBM）容量和整体带宽，以及引入新的技术特性，如扩大了矩阵乘单元（MXU）的大小并提高了时钟速度，以及配备了第三代SparseCore等，进一步提升了Trillium的性能。

SparseCore是Trillium的一个关键特性，它是一种专门用于处理高级排名和推荐工作负载中常见的超大型嵌入的专用加速器。通过战略性地从张量核心中卸载随机和细粒度访问，SparseCore能够加速嵌入繁重的工作负载。此外，HBM容量和带宽翻倍后，Trillium可以使用具有更多权重和更大键值缓存的更大模型。

Alphabet首席执行官桑达尔·皮查伊（Sundar Pichai）表示，过去六年，行业对机器学习计算机的需求增长了100万台，每年大约增长10倍。谷歌推出Trillium AI芯片正是为了应对这一日益增长的需求。谷歌本身并不销售芯片，而是通过其云计算平台出租访问权限。谷歌表示，新芯片Trillium旨在为从大模型生成文本和其他媒体的技术提供支持，并计划于2024年末向云客户提供。

在架构设计上，Trillium可以在单个高带宽、低延迟的Pod中扩展到多达256个TPU，并且可以扩展到数百个Pod。这使得Trillium能够处理更大规模、更复杂的人工智能任务，进一步推动人工智能技术的发展和应用。

谷歌推出的Trillium AI芯片在性能上实现了近5倍的提升，并在多个方面进行了创新和改进。这款芯片有望在未来的人工智能领域中发挥重要作用。