RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源推理加速项目FreeToken，宣称可在RTX 4060这类消费级显卡上运行35B参数大模型，并实现约每秒39个Token的生成速度。若数据属实，意味着高参数量模型的推理门槛被显著下探——无需数据中心级GPU，普通消费级硬件也有机会承担大模型部署，对边缘侧与本地化推理场景具有参考价值。目前公开细节有限，具体加速机制与实测条件有待进一步验证。