FEATUREDr/LocalLLaMA· rssEN15:09 · 05·15
用 Jetson Orin NX SUPER 16GB 做了个完全离线的行李箱机器人,跑 Gemma 4 E4B,没联网也能聊
一个叫 Sparky 的行李箱机器人,核心是一块 Jetson Orin NX SUPER 16GB 的板子,跑的是 Gemma 4 E4B 模型(Q4_K_M 量化版,用 q8_0 做 KV 缓存)。首次响应延迟大概 200 毫秒,生成速度每秒 14 到 15 个 token,上下文窗口 12K。身上挂了 30 多个传感器,但没装 WiFi、蓝牙和蜂...
#Robotics#Inference-opt#Vision#CreativelyBankrupt
精选理由
这是个 Reddit 上的个人项目帖,不是产品发布或论文,所以放在低 featured 档。我会先打个折:200ms 的缓存首 token 延迟和 14-15 tok/s 的生成速度,在 Jetson 上跑 4B 模型算是能用的水平,但别指望它反应飞快。30+ 传感器听起来唬人,正文没细说都是什么传感器、怎么融合的,这点先别太激动。真正有意思的是全离线跑 Gemma 4 E4B 还让机器人带“观点”,把本地推理做成了人格化交互,比单纯报参数好玩。
一句话点评
一个完全断网的行李箱机器人,用本地小模型跑出200毫秒响应,30多个传感器但没装任何无线模块,隐私和延迟都拉满了。
锐评
这个叫 Sparky 的行李箱机器人最狠的一点是彻底断网:没 WiFi、没蓝牙、没蜂窝网络,所有推理都在一块 Jetson Orin NX SUPER 16GB 板子上完成。跑的是 Gemma 4 E4B 模型,用 Q4_K_M 量化压缩,KV 缓存用 q8_0 精度,首次响应延迟压到了 200 毫秒左右,生成速度每秒 14 到 15 个 token,上下文窗口 12K。对一台能拖着走的机器人来说,这个延迟和速度已经够用了。
身上挂了 30 多个传感器,但正文没具体列出来都有什么,也没说这些传感器数据怎么喂给模型。从描述看,模型应该是在本地直接处理传感器输入并生成回复,不是那种把数据传云端再等结果的套路。这点对隐私敏感的场景确实有吸引力,比如带着它去医院、工厂或者任何不想联网的地方。
不过信息缺口也很明显:没提电池续航多久,没提整机重量和实际移动速度,也没说 30 多个传感器具体怎么协同工作。200 毫秒的延迟是在缓存命中的情况下测的,冷启动或者传感器数据突然变多的时候表现如何,正文没披露。另外 Gemma 4 E4B 本身是个小模型,复杂推理能力有限,别指望它能做太重的逻辑判断。整体看是个很扎实的工程 demo,但离实用还有距离,功耗、稳定性、传感器融合这些才是真正要啃的骨头。
HKR 分解
hook ✓knowledge ✓resonance ✓