
LeRobot是什么:Hugging Face的机器人学习框架
LeRobot是Hugging Face开源的机器人学习框架,目标是让"教机器人干活"变得像训练NLP模型一样简单。它的核心思路是模仿学习:人通过Leader臂演示一遍任务,机械臂采集数据,然后训练一个ACT模型,最后让Follower臂自主执行。
SO-ARM101是LeRobot生态里最主流的硬件平台。Seeed Studio出的官方课程现在已经有22章,从最基础的硬件认识到最高级的VLA模型微调,全流程覆盖。关键是全部免费,而且配套了完整的代码和数据集。
课程结构:四个阶段由浅入深
课程第一阶段是基础概念和硬件准备(3章),介绍机器人学和Physical AI的基本概念,认识SO-ARM的硬件组成,了解后续章节需要准备的工具和环境。第二阶段是组装和舵机控制(4章),手把手带你组装机械臂、设置舵机ID、做零位校准、用调试工具验证。
第三阶段是模仿学习和LeRobot核心流程(10章),这是整个课程的重点。从标定、遥操作、数据集采集,到ACT模型的原理、训练、推理,再到双臂协同训练。走完这个阶段,你的机械臂就能学会"抓起积木放到碗里"这类简单任务。第四阶段是VLA和高级应用(5章),用NVIDIA Isaac GR00T做模型微调,或者用SenseCraft Robotics走无代码路线。
ACT模型训练:从50条数据到自主执行
ACT(Action Chunking with Transformers)是LeRobot默认使用的模仿学习算法。它的思路是把人的操作演示切成一段段"动作块",用Transformer模型学习"看到什么画面 -> 执行什么动作"的映射关系。训练数据量不需要很多,一个简单的抓取任务大约50条演示就能训练出可用的策略。
数据采集时需要注意几个细节:每次演示从同一个起始位置开始;动作要平稳不要急停急转;只保留成功的演示;每批采集10-15条休息一下避免疲劳。整个采集过程大约20-30分钟。
硬件要求和部署建议
运行LeRobot需要Ubuntu 22.04或24.04系统,Python 3.10以上。训练ACT模型需要一张8GB以上显存的NVIDIA显卡。如果只是做数据采集和推理,普通笔记本就行,不需要GPU。
没有GPU的玩家可以用课程最后介绍的SenseCraft Robotics无代码VLA方案,在云端完成训练。也可以考虑用Google Colab的免费GPU来跑训练,不过传输数据集会比较慢。总体来说,SO-ARM101加LeRobot是目前入门机器人模仿学习门槛最低、资料最全的方案。


50条数据大约10-20MB,上传Colab不算慢。训练一个epoch大概1-2分钟,免费GPU够用了。
免费课程能做到这个深度,Hugging Face确实在推动开源机器人生态。
没有GPU的话用Colab可行吗?数据集上传会不会很慢?
LeRobot这套课程我走到第三阶段了,ACT训练那块确实需要一张好显卡。我用RTX 3060 12G训练50条数据的抓取任务,大概20分钟跑完100个epoch。推理的时候机械臂抓取成功率大概70%,对50条数据来说已经不错了。关键是采集数据的质量,动作要稳、起始位置要一致。