RobotFlow是什么?

RobotFlow项目将围绕动作学习/规划,知识引擎的构建和高精力觉控制三个方向,打造一套通用机械臂操作(Manipulation)平台

这个网站是什么?

本站用于记录和公示RobotFlow项目每周的开发进度,以及实践中发现的有用的trick。之前本来打算用相对专业的项目管理软件,但要很好的用上那些软件,需要大家花不少时间来应付任务分发,任务进度等,很多事情和微信也有重叠。因此,结合当前的实际情况,尽可能让大家都高效和舒服,我们直接采用微信点对点问询+网站公示的方式来跟踪项目进度。此外很多共性的文档,比如项目有关的规定(code style等),工程上的trick,某些配置的流程也可以在网站上分享。

因为这个网站是轻量化的设定,所以更多的资料,比如机器人方面的课程,论文集(已收录ICRA,IROS,CoRL,RSS历年全部文章,其他有关联的也会保持更新)将会放在百度网盘上。因为这是一个公开的网站,资料收集不易,请找文强微信要网盘链接,而且请勿把内容分享到项目组外面去。

RobotFlow的现状和未来

接下来我跟大家理一下RobotFlow的现状和未来打算。我们的终极目标是打造一个能自动化,智能化,完成给定任务的机器人。

我们考虑一个机器人自动化操作的基本流程,是给定task,然后感知环境,然后plan,然后执行。因此,我们把这样的流程拆成四个部分,即object/scene modeling(环境感知),skill learning,planning,和control。

Object/scene modeling小组:

  • 人员:刘浏(co-leader),詹欣宇,薛寒,吕峻,唐屠天,叶若琳,陈彦宁
  • 年度目标:在今年将完成从纯CV到interactive perception的转化,就是在纯视觉之余,我们也要开始研究如何在交互的情况下获得物体和场景的信息。
  • Milestone:在今年CVPR,我们把纯视觉的工作都投出去,之后就切换到没有interaction不做的模式。
  • 今年工作计划(7.2更新)
    • code:
      • YOLOv3和v4入库
      • 基于上面两者的USD-Seg入库
      • DenseFusion和Tracking入库
    • CVPR 2021:
      • 物体part级别的6D pose
      • USD-Seg with YOLOv4
      • Multiple Instance Reconstruction
      • Mesh2Vector2Mesh
      • Learning to segment 10000 objects
      • Real 3D object dataset with structural, mobility, semantic, affordance part annotation

Skill Learning小组:

  • 人员:杨理欣(co-leader),詹欣宇,付昊源,薛震东,张行,向谨溢
  • 年度目标:imitation learning的流程要完成。
  • Milestone:从image2hand的工作将向从直接record手和物体的交互动态->skill表示过渡
  • 今年工作计划(6.11更新)
    • code:
      • 手和物体交互记录系统入库
    • CVPR 2021:
      • RGB2Hand-Object
      • Dataset

Planning小组:

  • 人员:杜文昕,钱苏澄,付昊源,薛震东
  • 年度目标:把相关的内容了解,熟悉
  • Milestone:PDDLStream应用到多种task上去。
  • 今年工作计划(6.11更新)
    • code:
      • PDDLStream平台入库
    • CoRL 2021
      • PDDLStream with feedback

Control小组:

  • 人员:丁俊峰(leader)
  • 年度目标:把力控用上,熟悉
  • 今年工作计划(6.11更新)
    • code:
      • 落地插拔
      • learning to control