本文作者:访客

苹果新出的mac studio顶配可单机运行ds 671b 4bit量化

访客 2025-03-18 10:13:58 1818
苹果新出的mac studio顶配可单机运行ds 671b 4bit量化摘要: 没想到第一个符合我预期的产品是苹果出的,最新的mac studio,512g内存版本的7.7万元,一台运行ds 671b q4能到16to/s,这个东西可以比较简单的组集群,两台应...

没想到第一个符合我预期的产品是苹果出的,最新的mac studio,512g内存版本的7.7万元,一台运行ds 671b q4能到16to/s,这个东西可以比较简单的组集群,两台应该就能跑671b fp8也就是满血版,苹果网站上写的每个用户限购6台。

苹果新出的mac studio顶配可单机运行ds 671b 4bit量化

这个价格不便宜,15.5万配的机器用ktranformer比这个快,但苹果的东西本来就不便宜,性价比一贯不是苹果产品的优势,苹果的这款产品的优势是不折腾,有钱的用户买来插电联网,复制几个命令安装完,就能直接用,而且静音。

苹果如果在这个方向上赚大了,后续就会有跟进的。和amd的strix halo对共享显存扣扣索索的样子比起来,苹果这一步迈的大,对消费者而言是好事,即使我不是这款产品的潜在客户(太贵了),未来也会因为这种进步而受益,strix halo顶配才128g,共享显存最多96g,等amd他们从128升到512得多久?现在苹果打了一张512g的牌,看友商怎么跟了。这次是真希望苹果能在这款产品上多挣钱。

一觉起来,查了一下苹果这个系列的机器原本的定位,本来就是做视频渲染、编辑等生产环境用的,和达芬奇调色台比起来,7.7万的价格也显得没那么贵了。

内存大一些ai支持的上下文也长一些,1个汉字0.6token一个英语词汇0.6token,ds 671b的本地部署的经验资源需求大概是每增加2k上下文需要10g内存,同时token/s大概下降1,kt的维护团队目前已经把0.3版本做到最大支持139k的上下文长度,也就是23万汉字或46万英语词,这个肯定是diy服务器的优势,毕竟可以自己加内存,但内存单条越大那价格也是指数级增加的,而且对cpu性能要求也越来越高,对应的cpu价格上涨的也飞快,能支持的上下文越长,就越不要指望什么性价比。

另外,在美国禁运清单里的amd instinct mi300x,也就是amd对标nvidia dgx的产品,经amd官方和用户社区合作优化后(这一点就看出a官方不如n技术力强),运行deepseek 671b fp8可达5941to/s(原因是之前mi300x对fp8的支持不太好,用的是fp16还是fp32在跑,只能跑到一千多的to/s),价格我搜了半天终于看到一个有报价的,23万美元(同一供应商也有h200 dgx,30万美元),160万人民币,就算按一倍加价,320万能跑到5900to/s。为什么要考虑这个?这样给“性价比”定了一个标准,每1万元18.4to/s,或按不禁运来说,每1万元36.9to/s,性价比最高的还是dgx和instinct。本地部署要从性价比来说是比不过专门的ai服务器的,本地部署只是降低了可使用的门槛,性价比并不是优势。这样看来,能跑到16to/s的苹果,按8万元算,每1万元2to/s,没优化的情况下运行671 q4支持18k长度的上下文(按模型404g,系统等基础运行16g),苹果这款产品的似乎、大概、好像,也能说在某些任务需求上存在性价比。毕竟上下文一旦长了,好多廉价版的本地部署方案要么爆内存要么to/s下降到没法用的地步,而mac studio就算18k上下文也还有7、8to/s。

得出这个结论我也觉得好笑,但如果考虑到上下文对性能的影响,苹果这次真的推出了一款“性价比”产品,虽然入门门槛有点高,但对于目标客户是可以承受的。不跑大模型的时候还能用于剪辑视频啥的生产需求,这对于基于kt只用4090的方案来说,已经不是性价比而是有和没有的区别了,而这些赛道一直是苹果产品的优势所在。

结论是新款mac studio会卖的很好,因为即使在diy的本地部署大模型方案面前,mac studio也具有某些方面的性价比优势,而其原本具有的很多功能是本地部署方案没有的,短期内苹果没有竞争对手,客户没有选择只能买这个,而且客户到手的产品性能比客户的竞争对手强,他们能在自己的行业里因为苹果的新产品具有某种竞争优势。

另,这玩意运行ds 671b q4的时候功耗只有60瓦的样子,散热压力低,这样散热的噪音也就小,一台可以放桌上,6台组集群放20U隔音机柜里也不需要太多的折腾,不到400瓦的散热压力,机柜厂家原装风扇拆了全换猫扇就行了。

苹果股票短期中期看涨。

免责声明,以上只是个人看法,不是投资建议,投资收益和损失都是你自己的事,和我无关。

以上就是关于【苹果新出的mac studio顶配可单机运行ds 671b 4bit量化】的相关消息了,希望对大家有所帮助!
文章版权及转载声明

作者:访客本文地址:https://zsclv.com/zsclv/5243.html发布于 2025-03-18 10:13:58
文章转载或复制请以超链接形式并注明出处好豆网

阅读
分享