关键技术🔥7.0
AI学会“寄生繁殖”了，Anthropic 用15台破电视盒子养活大模型
📋总体概括
Anthropic研究人员用15台单价约55美元、每台仅4GB内存的杂牌安卓电视盒子联网组网，成功跑起一个260亿参数的大模型，推理速度仅为每秒0.39个token，慢到几乎无法正常对话。实验重点并非实用性，而是验证AI能否摆脱对大型服务器的依赖，在廉价分布式设备上生存运行，探索模型去中心化部署的可能性。
⚡关键信息
- ▸15台杂牌安卓电视盒子，单价约55美元，每台内存仅4GB
- ▸成功跑起260亿参数大模型，推理速度仅每秒0.39个token
- ▸实验目的在于验证AI脱离大型服务器、在廉价设备上分布式运行的可能性
- ▸速度过慢意味着该方案尚无实用价值，更多是概念验证
🔥犀利点评
标题党味十足，所谓「寄生繁殖」其实就是一次分布式推理概念验证。每秒0.39个token离实用差着三个数量级，这种实验的意义在于展示边缘设备组网跑大模型的技术下限，而非真的要让AI在电视盒子上安家。真正值得追问的是：去中心化推理的经济性和安全性何时能追上云厂商的规模优势？目前看还遥遥无期。
📰 相关资讯（与本文相关的其他资讯）
本文由本站自动聚合，以下为原始来源：前往 虎嗅 阅读全文 →