主页 > 国内 >

happy together

谷歌被曝要把Gemini“写进”芯片?推理能效最高提升10倍_我的网站

痞子英雄

A |     智东西(公众号:zhidxcom)     编译 | 茄子     编辑 | 程茜          智东西7月21日消息,昨日,The Information援引知情人士消息报道,谷歌正在研发一款面向Gemini模型的新型AI服务器芯片Frozen v2。    

【环球网综合报道 记者赵友平】台湾联合新闻网、中时新闻网等台媒14日消息称,民进党台北市长候选人陈时中话题不断。日前因 “公厕广设免治马桶政策”宣传片出现偷窥片段被外界抨击后,台湾政大又有学生14日在网上发文,称有人在学校图书馆男厕隔板贴上陈时中的头像。国民党台北市议员候选人柳采葳对此称,陈时中“芭比Q了(完蛋了)”,被民进党最引以为豪的年轻人当笑话看。据联合新闻网报道,陈时中近日公布“台北市公厕免治马桶”政见,宣传片却出现类似韩国电影《熔炉》的厕所偷窥桥段,引发外界抨击,后团队删除。该芯片计划将Gemini模型部分架构直接集成到芯片中,通过减少运行过程中的计算决策和数据搬运,提升AI推理效率。         知情人士透露,谷歌工程师预估,按照单位功耗能够输出的Token数量计算,Frozen v2的效率可能达到谷歌最新自研AI芯片的6至10倍。         这款芯片在谷歌内部被非正式地称为“Frozen v2”。没想到又有网友把陈时中的宣传片与反映校园性侵案的韩国电影《熔炉》片段进行改造并发在网上。陈时中的团队称已向台“刑事警察局”报案,但事后又在脸书称,欢迎大家二次创造他的照片和视频云云。知情人士称,谷歌希望借此缓解严重的AI算力短缺问题。算力紧张已经在谷歌内部引发矛盾,还迫使谷歌云拒绝部分外部客户的订单。报道称,台湾政大有学生14日在脸书台湾政大学生交流版发文,称有人在图书馆4楼男厕所隔板贴上陈时中的头像,只见截图中惊现陈时中头像出现在男厕隔板上方。

B | 这位学生称,撇除选举、性骚扰等问题不谈,这个“装置艺术”从在线到线下,从虚拟到实体的新高度,堪称恶搞界的“表率”。

C |          知情人士还透露,谷歌最快可能于2028年部署这款芯片,但该公司目前仍在确定Frozen v2的主要功能、各部分的协同方式,以及究竟要将多少模型信息固化在芯片中。         The Information还提到,Frozen v2并非谷歌首次探索模型专用芯片。不过这名学生随后也更新帖文,称“它已经被我撕掉了”。此前,谷歌DeepMind首席科学家杰夫·迪恩(Jeff Dean)曾计划将模型权重直接固化到芯片中,但由于该方案的芯片只能适配特定版本模型、生命周期过短,最终被搁置。另据中时新闻网报道,国民党台北市议员候选人柳采葳对此则称,陈时中“芭比Q了(完蛋了)”,被民进党最引以为豪的年轻人当笑话看待。         一、把Gemini部分逻辑写入芯片,减少芯片数据搬运          当前主流AI芯片大多强调通用性和可编程能力,如英伟达GPU能够支持多种AI模型和计算任务。

D | 这类芯片需要支持多种不同AI模型,因此在运行过程中需要根据模型需求完成大量计算调度和决策。柳采葳14日晚在脸书发文转贴她最新看到的陈时中被恶搞的图,她写道:“什么时候知道一个候选人‘芭比Q了’呢?那就是被人当笑话看的时候哦!看来原本民进党最自豪的年轻人支持度惨了。谷歌TPU也类似,虽然它针对AI进行了优化,但也需要兼顾不同模型运行需求。         而Frozen v2采用了不同思路。据爆料,谷歌计划将Gemini模型部分信息直接“固化”到芯片中,让硬件提前了解模型运行方式,从而减少执行过程中的决策步骤,以及芯片内部的数据移动。         简单来说,传统GPU更像一台能够运行各种软件的通用计算设备,而Frozen v2则更接近针对Gemini优化的专用硬件。这种设计可能带来更快的响应速度,并帮助谷歌降低Gemini模型运行成本。         不过,模型专用化也意味着更强绑定。如果未来Gemini模型采用新的底层架构,那么Frozen v2可能无法直接适配。谷歌因此仍需要在芯片效率和模型灵活性之间寻找平衡。

E |          据知情人士透露,谷歌目前仍在决定Frozen v2中应该固定多少模型信息,以平衡性能提升和未来兼容能力。谷歌发言人在一份声明中称,研究团队一直在研究和试验新的技术,以提高面向用户和客户的系统性能与效率,并非所有研究项目都会投入生产,但这些探索是谷歌全栈技术路线的重要组成部分。         二、推理芯片竞赛升温,初代Frozen方案曾被搁置          过去几年,AI基础设施竞争围绕训练展开。

F | 大规模模型训练需要大量GPU集群,英伟达凭借GPU生态占据主导地位。The Information去年12月报道,英伟达去年12月通过一笔价值200亿美元(约合人民币1353亿元)的交易,获得了AI推理芯片创企Groq的相关技术授权。         包括SambaNova、d-Matrix、OpenAI和微软在内,多家公司都在开发AI推理芯片。这些公司的共同目标,是以比英伟达GPU更高的效率运行AI模型,缓解算力短缺并降低成本。

G |          与此同时,加拿大芯片创企Taalas也采取了谷歌类似思路,将特定AI模型直接硬编码进芯片。Taalas目前已经获得超过2亿美元(约合人民币13.5亿元)融资,投资方包括Quiet Capital和富达投资。         据The Information透露,Frozen v2此前还有一个更激进的版本。

H | 由谷歌DeepMind首席科学家杰夫·迪恩主导的初代Frozen方案,曾计划直接将模型权重固化到芯片中。         但这种设计会让芯片只能运行某个特定版本的Gemini。一旦模型更新,芯片便可能迅速失去使用价值。

I | 由于预期生命周期过短,谷歌最终搁置了初代方案。         据知情人士透露,Frozen v2不再固化完整模型权重。但谷歌目前仍在评估应该锁定多少模型信息,以平衡灵活性与运行效率。         三、Frozen v2并非取代TPU,谷歌先将其作为技术试验          虽然Frozen v2受到关注,但知情人士透露,谷歌并没有计划用它替代TPU。据报道,Frozen项目旨在建立一条区别于TPU的新型自研芯片路线。

J |          今年,谷歌发布了第八代TPU,并开始直接向谷歌云客户推销这款芯片,挑战英伟达在AI芯片市场的主导地位。此外,谷歌还与Meta签署了价值数十亿美元的TPU租赁协议,并在尝试向其他云服务商销售TPU。         ▲第八代TPU实物,左手为推理芯片TPU 8i、右手为训练芯片TPU 8t(图源:谷歌)          The Information称,相比单纯依赖英伟达GPU,谷歌自研TPU已经帮助其降低Gemini模型运行成本。因为,谷歌在开发TPU时也考虑了Gemini的需求,只是TPU集成的模型信息远少于Frozen v2。

K | Frozen v2面向Gemini进行更深度的定制,但适用范围也比TPU更窄。         据知情人士透露,谷歌目前没有计划让Frozen v2的产量达到TPU的规模。因为,较小的生产规模可以使谷歌在推出大型产品之前,更晚地引入外部芯片设计和制造合作伙伴。该知情人士还称,谷歌将这一代产品部分视为技术试验,并希望从中积累开发专用AI芯片的经验。         结语:用部分通用性换取更高推理效率          Frozen v2并不是TPU的替代品,而是谷歌针对Gemini开辟的一条专用芯片路线。谷歌希望通过将部分模型架构和计算决策固化到硬件中,以减少推理过程中的计算步骤和数据搬运,从而以更低功耗处理更多用户请求。         不过,更高的专用化程度也意味着芯片与模型架构绑定得更紧。Frozen v2最快要到2028年才能部署,届时Gemini底层架构能否保持稳定,以及6至10倍的预期能效提升能否在实际应用中实现,将成为决定这一项目价值的关键。         来源:The Information。

Current article:http://www.tibiantasangnenti.buzz/list_8boo4i6/p8f.html

Published on:01:44:10


相关文章
推荐图文
最热文章