
去年这个时候,想让一台机械臂学会自己抓东西放到指定位置,你需要会写ROS、会调PID、会训练强化学习模型,整套流程走下来至少一两个月。现在有了HuggingFace的LeRobot,这个流程被压缩到了2小时:装好环境、连上机械臂、录50次演示、训练一个ACT模型,机械臂就能自己干活了。
环境准备

硬件方面,你需要一条SO-ARM100或SO-ARM101机械臂(leader加follower一对),一套Feetech STS3215舵机,一个带USB口的电脑(Ubuntu 22.04或24.04,有NVIDIA GPU更好但训练不是必须)。软件方面,Python 3.10加一个虚拟环境,pip install lerobot就行。
安装过程很顺滑:创建虚拟环境、pip install "lerobot[feetech]",然后连上机械臂的USB,运行lerobot calibrate校准。校准过程就是手动把机械臂掰到各个极限位置,让软件知道每个舵机的活动范围。整个过程大概5分钟。
录制演示数据

校准完成后,就可以开始录数据了。LeRobot的工作流是这样的:你用手操控leader臂,follower臂同步动作,同时记录每个关节的角度和摄像头画面。一个完整的「拿起方块放到碗里」动作算一个episode,录50个episode就能训练。
录数据的关键是动作要一致。每次拿方块的起始位置尽量相同,放到碗里的位置也尽量一致。如果动作差异太大,模型会学不好。50个episode大概需要30-40分钟就能录完。
训练ACT策略

数据录好后,一行命令启动训练:lerobot train --policy=act。ACT(Action Chunking with Transformers)是目前模仿学习领域效果最好的算法之一,它对操作任务特别擅长。训练50个epoch大概需要10-20分钟(有GPU的话几分钟)。
训练完成后,就可以让机械臂自主执行了。把摄像头对准工作区域,运行部署命令,机械臂会根据摄像头画面实时决策:方块在哪、碗在哪、该怎么抓、该怎么放。整个过程不需要你写一行控制代码。
实际效果

我第一次跑通的场景是把红色方块抓到黑色碗里。训练50个episode后,机械臂的成功率大概在70-80%。如果增加数据量到100个episode,成功率能到90%以上。换一种物体(比如抓积木或抓笔),需要重新录制数据和训练。
整个流程从安装到机械臂自主抓取,我用了不到2小时。成本方面:SO-ARM100双臂套件约130美元,加上你已经有的电脑,总投入不到1000元。这可能是2026年进入机器人AI领域最便宜的方式了。







pip install lerobot真的就能用吗?我上次装的时候踩了好多依赖的坑
成本不到1000元就能玩模仿学习,这个门槛也太低了
请问一下录制数据的时候摄像头放什么位置最好?正上方还是斜着?
50个episode就能训练出能用的策略太厉害了,之前用强化学习动不动就要几千次trial
ACT算法确实好用,我用SO-101训练了100个episode成功率到了95%以上