摘要
胡劲科律师记录自己把 Strata 推理框架的 Mac 引擎移植到千问3.6-35B（Q6_K_XL，32.6GB，原生支持识图），动机是64GB MacBook Pro 跑1250亿参数模型只能用2bit量化（Q2_0，37.6GB，约46GB内存）且不能看图，而律师日常要读卷宗照片、扫描件和微信聊天记录。由主模型出方案、拆任务、审改动、重跑验收，另一个模型写代码，共20个提交约1.45万行，从下载模型到完成约11小时；PC端代码一行未动，共享文件只改3处。验证方式：每个新计算核配双精度CPU对照测试，并与固定版本 llama.cpp 逐token比对——10条提示各128步，最可能token一致99.7%，KL均值3.7×10⁻⁴，temperature 0 下8条128 token完全一致。实测同一台 M5 Pro 64GB：不开MTP生成74.6 tok/s（llama.cpp 64.1、oMLX 71），开MTP 105–114 tok/s，4K提示读取1923 tok/s，32K提示1413 tok/s；针对中文的MTP候选裁剪使中文提示再快12%–18%；多轮对话3800字系统提示第二轮首字从2.8秒降至0.14秒；64K长文定位测试通过（62秒读完）；内存峰值约43–46GB，未用硬盘交换。接入律师工具链：OpenAI/Anthropic 双接口启动脚本接进 pi 调用元典法律MCP查法条，1.7万token提示11.7秒读完、生成97.8 tok/s，返回条文与施行日期与直接查元典一致；53页微信聊天记录PDF本机识图平均每页约6秒，333条消息约3100字，错字2处。另写菜单栏小程序切换35B/125B模型，提交前做隐私扫描；因代码未公开，按仓库CONTRIBUTING先开issue对齐范围，发稿时作者未回复。文末为账号介绍、作者资历与授课方向。
为什么值得看
律师作者基于真实法律工作需求（卷宗照片、扫描件、微信聊天记录识读、法条检索与文书）做出的本地部署迁移实录，给出了可复用的判断与做法：用「参数少但量化轻」替换「参数多但压到2bit」的选型思路、以 llama.cpp 逐token对照和分层闸门作为验收标准、以及把本地模型经双接口接进 pi+元典法律MCP并核验返回条文与施行日期。对律师的具体迁移意义：涉密卷宗与聊天记录可在本机完成识读而不出内网；本地模型选型可用逐token一致性、吞吐、长文定位、内存峰值等指标自测；AI写代码同样需要「能解释每一行、拿得出实测数据」的验收纪律，与律师交文书的责任逻辑相通。
摘要和推荐理由由 AI 生成，编辑抽查
完整内容请看原文原文版权归作者所有。
摘要和点评可能有遗漏或偏差，请以原文为准。不构成法律意见。