【Gazebo仿真·二】Gazebo + ur5e + RealSense + Aruco 二维码识别与跟随仿真

·另存为my_world.world文件，放在.../robot_description/world下

·修改gazebo.launch中world文件的地址

<!-- startup simulated world -->
<include file="$(find gazebo_ros)/launch/empty_world.launch">
    <!-- <arg name="world_name" default="worlds/empty.world"/> -->
    <arg name="world_name" value="$(find robot_description)/world/my_world.world"/>
    <arg name="paused" value="$(arg paused)"/>
    <arg name="gui" value="$(arg gazebo_gui)"/>
</include>

·运行launch文件，测试gazebo环境是否创建成功

roslaunch ur5e_moveit_config demo_gazebo.launch

3.2 创建二维码模型，墙体与二维码是两个模型（本人使用的这种）

gazebo添加二维码模型

1）添加二维码图片，创建二维码材料：同上

2）创建墙体模型：同上

3）在/home/z/.gazebo/models下创建marker文件夹，以及model.sdf, model.config

cd /home/z/.gazebo/models
mkdir -p marker

4）打开gazebo，Insert墙体和二维码

5）另存为world文件，修改my_world.world文件，调整墙体和二维码的位置

6）调用launch文件，测试效果：同上

3.3 创建一个模型，在模型上添加二维码

贴有图片或二维码的Gazebo模型创建

四、二维码识别，Aruco包

4.1 二维码识别 Aruco包

git地址：GitHub - pal-robotics/aruco_ros at melodic-devel

ARcode生成网址：Online ArUco markers generator

Aruco源码解析：OpenCV Aruco 参数源码完整解析理解！

 步骤：

使用Realsense测试aruco_ros包

1）安装aruco包

2）确保已经正确安装realsense SDK 和 realsense_ros

3）修改aruco包的single.launch文件，修改对应的topic和frame

·修改markerId和markerSize，修改为所使用的二维码的信息；

·修改/camera_info和/image话题，改为对应仿真环境下相机的话题；

·修改camera_frame，目前不知道使用d435_color_optical_frame和camera_link的区别？？？

·修改ref_frame，可以直接获得marker_frame到机械臂base_link的tf转换关系；

<launch>
    <!-- demo.launch, copy of single.launch -->
    <arg name="markerId"        default="36"/>
    <arg name="markerSize"      default="0.1"/>    <!-- in m -->
    <arg name="eye"             default="left"/>
    <arg name="marker_frame"    default="aruco_marker_frame"/>
    <arg name="ref_frame"       default="base_link"/>  <!-- leave empty and the pose will be published wrt param parent_name -->
    <arg name="corner_refinement" default="LINES" /> <!-- NONE, HARRIS, LINES, SUBPIX -->

    <node pkg="aruco_ros" type="single" name="aruco_single" output="screen">
        <remap from="/camera_info" to="/d435/color/camera_info" />
        <remap from="/image" to="/d435/color/image_raw" />
        <param name="image_is_rectified" value="True"/>
        <param name="marker_size"        value="$(arg markerSize)"/>
        <param name="marker_id"          value="$(arg markerId)"/>
        <param name="reference_frame"    value="$(arg ref_frame)"/>   <!-- frame in which the marker pose will be refered -->
        <param name="camera_frame"       value="d435_color_optical_frame"/>
        <param name="marker_frame"       value="$(arg marker_frame)" />
        <param name="corner_refinement"  value="$(arg corner_refinement)" />
    </node>

</launch>

tips : 发布的位姿是以"ref_frame"为基准，"ref_frame" -> "marker_frame"之间的tf关系。

4）运行realsense

·运行仿真环境下的相机（详见2.2）

roslaunch ur5e_moveit_config demo_gazebo.launch

·也可以运行真实的realsense相机进行测试

roslaunch realsense2_camera rs_camera.launch    //发布图片

5）运行aruco的launch文件

roslaunch aruco_ros demo.launch        //copy of single.launch

6）观察识别效果

 rosrun image_view image_view image:=/aruco_single/result

7）查看位姿

rostopic echo /aruco_single/pose

五、机械臂控制，二维码跟随

5.1 控制机械臂（点动）（C++）

ROS下C++控制UR机械臂 - 古月居

tips:

·给定目标位置，控制机械臂移动到目标位置

·代码见git，路径为 .../arm_control/src/arm_control.cpp

5.2 控制机械臂，实现二维码跟随（C++）

ROS中控制机械臂抓取目标例程

ROS 控制Innfos机械臂简单例子

tips:

·识别二维码，获取marker的pose之后，转换为机械臂末端位置，控制机械臂移动到marker上方，marker移动机械臂能够随之移动

·代码见git，路径为 .../arm_control/src/move_with_marker.cpp

Q：

·这里在仿真的时候，代码逻辑能够跑通，但是计算出机械臂位置后，使用moveit进行机械臂路径规划时，总是规划失败，这一点未解决，但不是本篇文章的重点，留到后面去处理。

git地址：GitHub - Aya-nuomi/marker_track

NEXT：视觉伺服（IBVS）+机械臂仿真