chanong
01
AI离不开HBM
02
无需HBM的AI芯片？"硅仙人"传奇芯片设计师Jim Keller，对当前AI芯片市场格局提出了独到见解。他直言不讳地指出：“英伟达在多个细分领域尚未提供足够的服务”，并预言，AI芯片设计的下一次革命将摒弃传统的HBM技术。Jim Keller：芯片设计界的传奇人物Jim Keller，一个在芯片设计领域享有盛誉的名字。他的职业生涯跨越了苹果、特斯拉、AMD等顶尖科技公司，每一次跳槽都伴随着行业的重大变革。从苹果的A4、A5芯片，到AMD的K8、Zen架构，再到Telsa的FSD芯片，Keller的足迹遍布了芯片行业的每一个重要领域。Tenstorrent：AI芯片的新势力2020年，Keller离开英特尔，加入Tenstorrent担任首席执行官，专注于AI处理器的开发。今年2月，Tenstorrent向市场推出了搭载自研AI芯片的加速卡Grayskull，标志着公司在AI领域的雄心。舍弃HBM：AI芯片设计的新方向Tenstorrent计划于年底推出第二代多用途AI芯片，虽然具体名称尚未公布，但该公司已明确表示，新款AI芯片将不再使用HBM技术。根据Tenstorrent去年秋季发布的路线图，公司正致力于开发Black Hole独立AI处理器和Quasar多芯片AI解决方案。量化数据：HBM的成本与替代方案HBM作为AI GPU的关键组件，其高昂的成本一直是行业关注的焦点。以英伟达H100加速卡为例，其物料成本高达3000美元，其中HBM芯片的成本就占据了2000美元。Keller透露，Tenstorrent已经找到了新的替代方案，能够在AI芯片领域取代GPU和HBM。Taylor Talk：新公司与市场机遇随着全球数字化和智能化的浪潮不断推进，AI芯片作为推动这一变革的关键力量，正迎来前所未有的发展机遇。据IMARC的研究预测，到2029年，全球人工智能芯片市场规模有望达到8960亿美元1。这一增长不仅得益于人工智能技术的持续进步，也源于消费电子产品对AI芯片需求的不断增长，以及行业内创新活动的日益活跃。在这一背景下，未来AI芯片市场的竞争格局将更加多元化。目前，虽然国外芯片巨头如NVIDIA等占据了大部分市场份额，但国内企业如华为海思、寒武纪等正在通过不断的技术创新和产品迭代，努力实现国产替代，并逐渐在AI训练和推理芯片领域获得更多市场份额7。此外，随着政策的加持和市场需求的扩大，中国AI芯片市场规模预计将持续增长，预计到2024年市场规模将突破1000亿元。更重要的是，随着技术的进步，AI芯片的成本正在逐步降低。这一点在云端训练芯片和边缘AI芯片的发展中尤为明显。例如，Tenstorrent公司计划推出的第二代多用途AI芯片，就放弃了传统的HBM技术，转而使用成本更低的GDDR6显存，这不仅有助于降低芯片的生产成本，也有望推动AI芯片的进一步普及。云端训练芯片：2024 年将达到 88 亿美元市场规模， CAGR~26%可以预见，随着更多新兴公司的加入和技术创新的不断涌现，AI芯片将在未来变得更加智能、高效和经济，从而为各行各业带来深远的影响。从智能安防到自动驾驶，从工业自动化到医疗健康，AI芯片的应用场景将不断拓展，推动社会进入一个更加智能和高效的新时代。总之，AI芯片市场的未来发展充满了无限可能。随着技术的不断进步、成本的降低以及新兴企业的崛起，我们有理由相信，一个更加多元、开放和创新的AI芯片市场正在向我们走来。03
HBM在AI中依然占据重要地位
HBM(High Bandwidth Memory)是一种高性能内存技术，专门设计用于满足高性能计算和AI应用对高带宽和大容量的需求。HBM通过3D堆叠的方式，显著提高了内存带宽和容量，从而加速了AI模型的训练和推理过程。多家行业巨头，如英伟达和AMD，在其高端GPU产品中采用了HBM技术，以提升AI计算的性能和效率。例如，英伟达的H200 GPU就采用了HBM3e技术，以加速生成式AI和大型语言模型的训练12。尽管有报道称三星计划推出采用LPDDR(Low Power Double Data Rate)内存的AI芯片，而不是HBM，但这主要是基于成本和市场的考虑，旨在提供一种轻量级的AI芯片解决方案3。这并不意味着完全不使用HBM，而是说在某些特定的应用场景下，可能会选择其他类型的内存技术。此外，随着AI技术的不断发展，对高性能内存的需求也在不断增加。HBM的需求预计在2023-2024年间会有显著增长，驱动先进封装产能的增长。这表明，在高端AI芯片领域，HBM仍然是一个重要的技术趋势4。综上所述，虽然存在一些特定的AI芯片可能不使用HBM，但这些情况相对较少，且主要集中在特定的应用场景下。在高端AI计算领域，HBM因其高性能和高带宽的特性，仍然是首选的内存技术。
