
一 | 芯东西(公众号:aichip001) 作者 | 云鹏 编辑 | 漠影 大模型狂飙至今,比拼绝对参数规模早已成为过去时,如何让AI高效落地成为关键。 명지대 건축학전공 학생팀이 최근 광화문 광장에서 열린 ‘제15회 UAUS 파빌리온 기획전시’에 참여한 뒤 기념사진을 찍고 있다. 명지대 제공명지대(총장 임연수) 건축학전공 학생팀이 대학생건축과연합회(UAUS)가 주관한 ‘제15회 UAUS 파빌리온 기획전시’에 출품했다.26일 명지대에 따르면 학생 13명으로 구성된 건축학전공 팀은 오는 28일까지 광화문 광장에서 열리는 ‘제15회 UAUS 파빌리온 기획전시’에 ‘딴짓’을 주제로 한 작품을 전시하고 있다.이 기획 전시는 서울시와 UAUS가 공동주관하고 있으며, 전국 25개 대학 건축학과 학생들이 ‘U&US : Re-membering in School’을 주제로 ‘학교’라는 공간에 대한 해석과 시선을 풀어낸 건축 작품을 출품했다.명지대 팀은 규격화된 학교 공간 속에서 정해진 질서를 벗어나는 순간에 주목, ‘딴짓’을 독창적인 시선으로 재해석했다. 특히 잠망경과 소리관을 활용해 파빌리온을 구성했는데, 잠망경은 거울을 통해 빛의 경로를 바꿔 직접적인 시선이 닿지 않는 곳의 풍경을 바라보게 한다는 의미를 담고 있다. 소리관은 예상하지 못한 방향에서 소리를 전달해 관람객이 익숙한 공간에서 벗어나 새로운 감각을 경험하도록 했다.출품작 중 주요 수상작은 오는 9월 15일부터 10월 11일까지 서울도시건축전시관에서 열리는 ‘제18회 서울건축문화제’에도 전시될 예정이다.。 在AI落地浪潮中,Agent爆发成为关键节点,进一步让AI推理需求呈指数级暴涨。

二 | 各类Agent开始高效处理复杂任务、编程Agent把过去整个团队一两年才能完成的复杂项目缩短至“天级”。 当AI终于可以转化为直接生产力,真正开始“帮你赚钱”,厂商关注的焦点也从“谁囤的卡多算力多”转变为“谁能做得多快好省”,算力行业焦点战场从训练加速转向推理。 面对复杂多元的AI推理场景,传统“大芯片”算力方案瓶颈凸显,行业迫切需要更加高效、灵活、低成本的算力解决方案,这成为整个国内算力产业面对的新机遇。 在技术摸索过程中,行业逐渐发现,在AI推理落地的诸多场景中,“小芯片”往往能比“大芯片”更能在实际应用中实现优秀表现。 在这样的行业“拐点时刻”,国产AI算力黑马企业芯动力科技在上海WAIC期间首次亮出其基于自研RPP(可重构并行处理器)架构芯片打造的全栈AI加速产品矩阵,横跨云边端场景,其突出特点是能把每10亿Token的推理成本压缩到行业最优水平,直指大模型落地核心痛点。 ▲芯动力科技WAIC展台 我们看到,一颗“指甲盖大小”的AE7100E芯片,可以12片集成到一块加速卡中,这些加速卡还可以无缝集成至企业级服务器中,基于8卡高密度服务器能支持400B到1.6TB参数的LLM部署,其单卡超大显存成为突出优势之一。 ▲基于RPP架构的AE7100E芯片 WAIC期间,芯动力科技接受芯东西独家专访,CEO李原首次对外详解了其自研单芯片覆盖云边端全场景技术路径和背后深入思考。 其自研芯片AE7100E正式扩展至云端,是芯动力的关键战略升级,也是AI推理浪潮中国产算力在云端的一次重要突破。 一、AI编程爆发+开源生态带来巨大机遇,分布式计算成为大模型推理时代必然方向 基于其自研的RPP架构,芯动力科技很早就在国内算力圈崭露头角;虽然RPP架构本身就有着原生灵活、兼顾通用与专用性的特点,但在当下这一行业节点入局云端市场,实则是基于其对AI推理市场发展的关键判断。 李原提到,从去年底开始,大模型在AI编程上取得了重大突破,其团队自身也在深度使用相关模型和工具。在他亲身尝试过程中,发现AI甚至可以在一天内搞定CPU编译器这样的“硬骨头”,以往需要专业团队几年时间完成的工作,被AI在数小时内攻克,这是极具颠覆性的。 并且这样的能力是可“技能化”的,同样的模式可以快速复制到不同具体工作中,相比于大模型问答或其他非必要场景,AI编程有极为明确的商业化目的,跟企业“钱袋子”紧密相关。 在芯动力看来,AI编程是大模型推理落地绝佳场景,这是一个明确的未来方向,行业都意识到了它的价值,这一定会成为一个所有人都要使用的刚需场景。 AI编程直接转化为生产力,以非常标准化的产品形式出现,变成每一家公司的核心生产力工具。 与此同时,芯动力深入调研发现:全球数据中心大模型调用中,有55%发生在开源模型市场,这无疑会带来巨大市场机会,因为这意味着:AI编程不再是少数巨头独占的游戏,而是人人都能参与的生态。

三 | AI编程作为AI推理落地的核心场景,其需求的爆发无疑会带来巨大的云端算力新市场,这是算力产业所面对的新机遇,也成为芯动力在当下将其RPP芯片及解决方案扩展到云端的关键判断依据。 当然,看到趋势还不够,技术层面到底能不能做、能不能实现,还要有更准确的研判。入局一个新市场的成败,往往关乎一个企业的生死。 芯动力通过深度技术调研发现,目前超大模型(400B以上)占据了70%的市场份额,而没有任何单一芯片可以把这些超大语言模型“独自吃下”,行业利用分布式计算去解决问题已成必然。 团队研究时发现,在大模型推理的PD分离(Prefill-Decoding)阶段过程中,高算力芯片存在巨大资源浪费:在解码阶段,所需算力数据比为1:1,但英伟达计算卡提供的算力数据比约为1000:1。

四 | 这就好比“需要1个人就能完成的工作指派了1000个人来做”,在整个算力“流水线”上会形成大量算力闲置与浪费,这也客观推高了相关方案的最终实现成本。 在Token经济时代,面对激烈竞争,相比盲目追求昂贵的高容量HBM(高带宽内存),性价比才是最关键的决定性因素。

五 | 经过芯动力团队大量计算和研究,他们发现大模型推理真正需要的是三个核心要素:容量大、带宽足、成本低,相比HBM,成熟LPDDR技术实则表现不错,未来甚至会更好。

六 | 在这样的前提下,分布式思路可能是更加正确的方向,可以大幅降低成本,数据中心领域的发展已经证明了这一点,英伟达收购Groq,其底层技术原理就是用上百颗、上千颗芯片分布式地去跑一个大模型。 分布式计算之所以高效,是它把每一个硬件节点都变成了更专业化的应用,进行专业化分区,硬件效率就会大幅提升 值得一提的是,相比云巨头动用几百台服务器构建庞大集群,才在宏观上完成这种专用化分区,芯动力芯片体积小,在单个板卡可集成十多颗芯片,在单台服务器内就能实现极度精细的专用化分区,更灵活,这也是芯动力做分布式计算的差异化优势所在。 ▲基于芯动力RPP架构芯片智能加速卡打造的机架服务器 在逐渐摸清底层技术逻辑后,分布式计算自然就成为芯动力全力攻克的方向,并且团队发现既有问题都可以被克服,他们可以基于RPP架构做出真正契合市场需求的产品。 从对市场趋势和需求变化的深度观察,到技术层面找到可行路径,AI推理时代,芯动力无疑找到了属于自己的关键机会所在,并探索出一条切实可行且潜力巨大的新路径。 二、多芯片协同SRAM优势凸显,RPP架构让芯片兼顾“通用”与“专用”,成熟工艺实现先进性能 明确路径可行且极有潜力和价值,那么接下来要做的就是解决技术层面的问题,实现方案的落地,并真正带来差异化优势,让“小芯片”展现出“大能力”。

七 | 全球芯片领域传奇架构师“硅仙人”、现任AI芯片公司Tenstorrent CEO吉姆·凯勒(Jim Keller)曾在近期接受采访时提到,AI推理中,不论芯片计算能力多强,对SRAM(片上缓存) 的需求都是极强的。 实际上,SRAM总量低是导致很多“大芯片”实际场景表现差的关键因素之一,而芯动力在设计之初,就为芯片规划了比较大的SRAM容量。 其单颗芯片的SRAM规模与英伟达H200相差并不多,但大量芯片组合、堆叠后系统SRAM总量大小,据称可达到H200的10 倍以上,这是极为可观的。 当大量芯片协同跑起来时,系统整体带宽、通讯带宽等都会呈现线性增长,这也证明,追求用最大、最顶级的单体芯片去实现大模型推理落地并不见得是唯一的最佳方案。

八 | 中型、小型芯片分布式协同并行解决问题时,对单颗芯片的带宽要求、通讯要求、制程要求以及容量要求都会随之降低。 当然,多芯片如何高效协同并非易事,但用李原的话来说,系统协同与通讯恰恰是芯动力老本行,他们是做通讯出身,因此目标也十分明确:“多芯片间的协同和通讯,芯动力一定要做到极致”。 在实际研究过程中芯动力发现,优秀的通讯并不意味着带宽越高越好,而是通讯的拓扑结构必须契合算法的网络架构,这是核心关键。 大模型网络架构是有序的,研发人员可以在网络拓扑上找到特定路径,让硬件网络结构完美地适配算法的数据通讯,这也是像Groq这类公司可以做好的底层技术原理,其分散的上千颗芯片适应了Transformer的网络流向。

九 | 在实现多芯片分布式协同计算的过程中,芯动力自研的RPP架构发挥了至关重要的作用,很好地解决了专用与通用特性的兼顾。 具体来看,RPP芯片在系统不同的位置、不同节点,起到的作用不一样,有一定的“专用化”特征,但要让一颗芯片在物理上做到如此专用实际上是很困难的。 芯动力采取的方法是利用RPP的可重构特性,在软件层面进行动态调整,使得硬件在处理每一件具体任务时,都能激发出不亚于专用芯片的性能——无论在什么时间、什么位置,都能把芯片性能发挥到最大,这就是可重构架构在性能上的最优解。 要知道,当前AI模型变化很快,如果能在相对通用的计算能力基础上,通过调整软件来适应可变化、可重构的计算本身,是非常关键且极具价值的。 生态兼容性方面RPP架构也能帮客户省去后顾之忧,其独特之处在于直接构建在CUDA语言生态系统之上,能直接用CUDA编译运行程序,使其既有专用芯片(TPU)的高能效、低功耗,又避开了专用芯片缺乏生态的短板。 芯动力认为,如果想让一颗芯片同时具备极强的兼容性、极高的灵活性,并且拥有降维打击般的性价比,统一算力架构就是实现这一目标的必由之路。而RPP架构正完美兼顾了这些特点。芯动力会坚持做“可编程、可重构”芯片,AI推理市场技术迭代迅速,通用和可编程的并行计算能力依然占据绝对重要地位。 值得一提的是,如此“多面手”、表现胜过一些顶级“大芯片”的全能GPU芯片,其可以直接基于成熟的14nm工艺实现,这极大提升了其供应的稳定性和产能上限,并进一步扩大了其性价比优势。 在芯动力看来,从纯粹的商业成本和晶体管性价比来评估,最高的工艺制程往往并不是成本最优、成效最好的。

十 | 作为一家芯片设计公司(Fabless),正确的路径是选择最适合当前商业闭环和应用场景的成熟工艺。 关于下一代芯片,芯动力透露,已充分验证分布式计算巨大优势,会沿着这条路线继续深化,“会把之前受限、没能完全做透的地方彻底推过去”,下一代产品预计在性价比和核心性能上实现4倍左右的巨大提升。 三、从医疗到消费电子,商业化落地提速,死磕并行计算把细节做到极致 一系列技术细节的攻克和优化,最终让芯动力自研芯有了拓展至云端并实现差异化优势的底气。在商业化落地层面,芯动力也透露了不少新进展,基于AE7100E的边、云解决方案,其在全场景落地的价值和潜力进一步凸显。 在WAIC展会现场,我们看到基于RPP R8 GPU的解决方案已经覆盖了智慧城市、机器视觉、AI PC/NAS以及生命科学等前沿领域。

十一 | 其中极具代表性的就是芯动力通过一块集成了12颗AE7100E芯片的板卡,与一家美国客户深度合作,实现了医疗基因测序的方案落地,最终方案的实际表现已经超过了使用英伟达5nm芯片的同类产品,这一方案中的芯片使用的正是成熟的14nm工艺。 ▲在医疗基因测序领域完成落地的AzureBlade MC2A智能加速卡 在交流中我们了解到,在这一医疗基因测序方案的落地过程中他们发现,这一领域实则数据流非常明确,不需要复杂全局网络交换,在这样高度并行的结构下,“小芯片”分布式架构是最优的。 而如果面对更复杂的结构——比如大模型这种芯片之间不能简单分开、存在大量数据交换和强烈数据依赖性的场景,是否也能做到?调研和实践证明,答案依然是肯定的。 团队研究发现,只要仔细研究并抓住其有序、有规律的数据流向,分布式架构同样能够完美胜任。

十二 | 只要能把数据的并行切分好,让它在每一颗芯片上高效完成,分布式就是最优解。 在挑战更高的AI PC/NAS应用场景中,芯动力已经与全球PC领域头部厂商联想实现了深度合作,基于芯动力AE7100E打造的M.2形态产品成功应用于其AI PC产品,这背后的故事令人印象深刻。 ▲应用于AI PC/NAS领域基于AE7100E芯片的M.2规格智能加速卡 芯动力提到,像联想这样的国际化大厂是非常严谨的,其在全世界范围内密集筛选,测试所有能够找到的芯片公司方案,前后一共测试了80家左右的芯片厂商,在经历极其严苛的筛选后,芯动力成为了最终唯一的芯片量产供应商。 很多人都喜欢问一个问题,就是一家公司的核心“技术壁垒”是什么,而在李原看来,尤其在芯片设计这一领域,建立技术壁垒绝非易事,它或许并不是某一个单点的突破,而是体现在每一个近乎苛刻的细节里。 就以这次通过测试为例,有些竞品可能在某些方面也能达到标准,但无法在每个环节中都达到最好。用李原的话来说,“前期没有长期的技术预备和积累,当世界级大厂的战略机会来临时,你是根本接不住的。” 李原特别提到了苹果公司,在他看来,在芯片设计领域,可能有些人也能做到单点,但苹果每一个微小的细节都做到了极致,这是最终其芯片能够每年在数亿设备中落地并稳定运行、带来独特优势体验的关键。 而芯动力的特点,正是同样的死磕极高工程细致度。 面对未来,李原给公司的核心定位,就是在并行计算领域做到最好,团队坚信这是继CPU之后,人类整个信息产业演进中面临的最大、最核心的市场。 如今AI正在进一步分化出千姿百态的细分推理场景,很多公司都在努力通过小芯片的思路来应对各种大模型推理需求,这是一个极具想象力的时代趋势,蕴含着无数的机会。 “其决胜关键在于谁能抓得住,能把每一个细节都做到位,在真实的商业场景中脱颖而出。符合浪潮,顺应趋势,才能真正做大。

十三 | ”李原说道。 结语:AI推理落地浪潮澎湃,深耕并行计算给行业提供新解 从在全球80家芯片厂商中脱颖而出跻身联想AI PC唯一AI芯片供应商,到基因测序领域用成熟工艺自研芯片板卡打赢巨头高算力方案,芯动力用一系列扎实商业成果落地,验证了其RPP架构的独特优势和突出商业价值。

十四 | 放眼AI算力产业,开源生态加速生长,以AI编程为代表的大模型推理应用加速成熟,效率、成本成为业内更为关注的焦点,谁能够在竞争中提供更具性价比的方案,成为胜出关键。 在并行计算这一潜力巨大的方向之上,以珠海芯动力RPP为代表的分布式算力技术路线,正展现出旺盛生命力,此次向云端的扩展,不仅是其自身战略版图的进一步完善,也给国产算力芯片在AI推理市场中突围提供了新的方向和思考角度。
Current article:http://www.senchuoshaozaodidia.shop/list_k4v5a/1cjb8.pptx
Published on:09:39:17
相关阅读 武汉现在共用更衣室:最贵的费用是45分钟58元,都是名牌。台风“沙德尔”今日进入福建省热带气旋警戒区不止于“能干活”:智能体如何跨越数据、可靠性与回报的鸿沟?|2026WAIC财经下午茶2 individuals sentenced in China for illegal sale of controlled stimulants following US intelligence tip-off疑似瑞虎7L?奇瑞全新紧凑型SUV T1G谍照曝光!临床出题、产业破题 广州医博会搭医产协同创新平台,临床出题、产业破题 广州医博会搭医产协同创新平台검찰, ‘수면제 비대면 처방·대리 수령’ 싸이 약식기소工信部:我国已经有近 200 项 AI 关键标准成功研制,加快新一代通信网、算力网规划建设,加强 6G 技术研发
热门文章
售33.98万起 腾势D9第25万台量产车正式下线
【品种策略】淀粉:08月26日多家期货公司晨报观点汇总
朱立伦爱将:卓荣泰“电话救灾”是压倒赖瑞隆选情最后一根稻草
武汉市气象台发布强对流黄色预警:预计未来6小时,中心城区、东西湖部分街道将出现分散性短时强降水、雷暴大风等强对流天气
最新文章
同框亮相!神十八航天员简历公布
小米YU7/尊界S800/奥迪Q6L e-tron等 粤港澳大湾区车展新车汇总
APEC host city Shenzhen offers glimpse of China's future industries“中国北方日用瓷都”谋“智变”:向高端化、智能化、绿色化升级,“中国北方日用瓷都”谋“智变”:向高端化、智能化、绿色化升级一根碳纤维,拉起中国超级大桥|活力中国调研行河北日报报业集团2个案例入选中国报业创新发展案例
人气排行 中国氢弹之父余敏,享年93岁。Woman returns from vacation, finds Atlanta home demolishedThe US government sanctions two shipping companies for violating the Russian oil price cap迅速响应 爱心满满 团属基金会冲在抗震救灾一线_中国青基会_灾区安布:建议米兰签德泽尔比,唯一要考虑的是他能否管理更衣室1人核酸复核阳性,这一市凌晨通告:全域静默管理4天,4轮全员核酸_1人核检复核阳性 三河全域静默管理_全市“钰”见雄安Vlog | 送雄安一号上太空奋进强国路 阔步新征程 | 做好乡村民生“水文章”
查看所有0条评论>>