乐竞体育为你整理相关体育消息:
一张当年为打游戏买的8GB显卡,现在跑着一个27B参数的模型。
更反常识的是,跑它的理由不是"折腾着玩",而是这位用户打算因此停掉每月20美元的ChatGPT订阅。
他的判断依据很具体:ChatGPT订阅里那些真正在干活的部分——保存好的固定任务配置、调节模型思考强度、丢文件进去做综合——本地这套方案都能对上。
而本地模型过去常被当成"只有聊天框的私密版",其余能力一概缺席。
27B模型怎么塞进8GB卡 关键在压缩方式。
加州理工研究人员创办的初创公司PrismML在7月发布了Bonsai 27B,它是阿里开源模型Qwen 3.
6 27B的压缩版本。
他使用的1-bit版本把每个权重存成约1.
125比特,而不是16比特,整体比完整模型小约14倍——这是它能跑在小卡上的几乎唯一原因。
PrismML的做法是把压缩放进训练过程,而不是等模型训练完再压。
他认为这正是它不像多数被重度压缩的模型那样"行为失常"的原因。
整个模型能完整装进显卡,还留有余量,上下文可以推到30-40k。
用预设替代自定义GPT ChatGPT的自定义GPT本质是保存好的配置,内含指令和参考文件,适合反复出现的固定任务。
OpenAI将于12月11日停用自定义GPT,Plus用户已经无法新建,目前该套餐上最接近的替代是Projects。
本地这边的对应物,更多取决于运行器而非模型本身。
LM Studio把它叫预设,每个预设保存一段系统提示词,以及采样设置。
这些恰恰是ChatGPT不让你碰的部分:温度决定用词多大程度冒险;
Min P会剔除比模型首选词概率低得多的候选,让偏"热"的预设保持连贯,而OpenAI即便对使用API的开发者也不提供这一项。
他的头脑风暴预设调得偏热,Min P开到0.
05;
围绕严格规则搭建的预设则用低得多的温度,Bonsai在这类设置下最贴合指令。
偏热且关掉Min P的预设,回复几轮之后规则就开始松动。
预设不像GPT那样能携带参考文件,文档仍需单独附到会话里,多一道手续——不过本地AI的每件事都多一道手续。
思考模式与强度滑块 ChatGPT Plus的聊天框里有Instant、Medium、High三档思考滑块,决定模型答题前思考多久。
Bonsai默认开启思考,但这不一定是好事:思考会吃掉他30K上下文的一部分,并拖慢每次回复。
而在ChatGPT那边,这些开销发生在OpenAI的服务器上,他此前从不需要考虑。
他通常在多步问题上才打开思考,比如比较两份手机合约在优惠价到期后24个月的总花费。
PrismML的所有基准测试都是在开启思考的情况下跑的,所以其宣传的质量以开启为前提;
关掉后损失多少他说不准,但数学能力似乎最先掉队。
开启思考时,Bonsai在有唯一正确答案、但需要几步推导的任务上表现最好,比如数学或成套规则。
遇到难题,ChatGPT的High档大概率仍会赢。
Bonsai的优势在于推理过程在运行器里全程可读;
而OpenAI并未公布Plus用户能发多少条Thinking消息才会被切到别的模型。
文件与截图 往ChatGPT里丢文件足够简单,Plus允许每三小时上传80次。
LM Studio支持把.
docx、.
pdf、.
txt直接拖进对话:能装进上下文的文件整份进入,更长的则走检索,只有看起来相关的片段送到模型面前——在30K上下文下,他的多数长文件都是这个待遇。
文档是Bonsai的强项。
它基于的Qwen3.
6本就为长文件设计,每四层使用一次常规注意力来抓取精确细节,埋在页面中段的日期和金额不容易丢。
租约里的某一条款、银行来信,都能被讲成大白话,而且它比他的9B模型更能记住哪句话出自哪一节。
图像稍弱。
视觉部分是单独一块4-bit组件,随模型一起加载,同样被压得很狠。
读截图里的文字没问题,不算糟糕,但细节小的地方会有些松。
自定义GPT还剩不到一个月寿命,他电脑上的预设会比它活得久——考虑到这一切跑在多年前为游戏买的显卡上,这件事本身有点奇怪。
他说自己并非要抛弃ChatGPT,只是当Bonsai能接下大部分核心功能,继续付费就没多大意义了。
特别
以上内容由乐竞体育整理发布。



