Posts

General posts

• Ardupilot 2: GUIDED mode, takeoff, land 2024-05-11

  서론: 드론 비행할때 항상 픽스호크를 사용하고 있고, PX4 펌웨어를 항상 사용해왔는데, 좀 무거운 감이 있고 항상 알수 없는 문제들이 발생할 때가 많아서 조금 더 역사가...

  서론: 드론 비행할때 항상 픽스호크를 사용하고 있고, PX4 펌웨어를 항상 사용해왔는데, 좀 무거운 감이 있고 항상 알수 없는 문제들이 발생할 때가 많아서 조금 더 역사가 오래된 Ardupilot 펌웨어로 갈아타기로 했다. Ardupilot에서도 드론 온보드 PC에서 바로 픽스호크로 명령을 줄 수 있고, MAVROS를 사용해서 GPS 없이 자율 비행 하도록 구현이 가능한데, 조금 헤맸어서 필요한 기초만 정리해두려고 한다. 이전 포스트에서는 쉬운 개발 환경을 위해 Ardupilot용 SITL과 Gazebo, ROS를 연동하는 법에 대해서 다뤘다. 그래서 해당 포스트에서는 GPS/GNSS 없이 SLAM 등의 외부 위치 추정값으로 드론을 비행하도록 파라미터 설정하는 방법과 Takeoff, land가 가능하도록 설정, 명령어를 알아보도록 한다. 1. Parameters 외부 위치 추정 값은 /mavros/vision_pose/pose topic에 geometry_msgs/PoseStamped 형태로 쏴주면 되고, GPS 없이 비행하기 위해서는 다음과 같이 파라미터를 설정하면 된다. 일단 전체 파라미터 목록 및 설명 - https://ardupilot.org/copter/docs/parameters.html AHRS_EKF_TYPE = 3 to use EKF3 EK2_ENABLE = 0 to disable EKF2 EK3_ENABLE = 1 to enable EKF3 EK3_SRC1_POSXY = 6 (ExternalNAV) EK3_SRC1_POSZ = 6 (ExternalNAV) EK3_SRC1_VELXY = 6 (ExternalNAV) EK3_SRC1_VELZ = 6 (ExternalNAV) EK3_SRC1_YAW = 6 (ExternalNAV) EK3_SRC_OPTIONS = 0 (다른 sensor의 속도 전부 섞이지 않도록) GPS1_TYPE, GPS2_TYPE = 0 to disable the GPS AHRS_GPS_USE=0 COMPASS_USE, COMPASS_USE2, COMPASS_USE3 = 0 VISO_TYPE = 1 to enable visual odometry visual odometry로 검색해서 전부 적절히 설정 (offset, variance, delay 등) SLAM의 발산 관련 관련 링크 - https://ardupilot.org/dev/docs/common-ek3-affinity-lane-switching.html 관련 링크 - https://ardupilot.org/copter/docs/ekf-inav-failsafe.html VISO_DELAY_MS, 조금 크게 해야 EKF가 발산 안함 (>100ms) EK3_SRC2, SRC3 => SLAM이 발산하는 등의 비상 상황에만 동작하므로 위해 PosZ는 Barometer, Yaw는 compass 등으로 적절히 설정하면 된다. 근데 저는 그냥 다 ExternalNav로 설정함 EK3_ERR_THRESH 값을 조금 크게 => EKF lane switching 방지 FS_EKF_THRESH = 0 => EKF fail safe 방지 2. Takeoff / Land PX4 펌웨어를 사용할때는 그냥 OFFBOARD 모드에서 /mavros/setpoint_position/local topic에 명령 값을 주면 이륙과 착륙이 가능했는데, Ardupilot에서는 그게 안된다. 그리고 필수로 EKF origin을 set 해주어야만 한다. 아무런 값이나 넣어줘도 되는데, 단위는 주위해야 한다. 방법1: Lua script 사용 - 위도와 경도는 10의 7제곱을 곱해주어야하고, 고도는 cm단위이므로 100을 곱해주면 된다. 파라미터에서 SCR_ENABLE = 1 로 설정 (enable) 실제 드론의 경우 픽스호크 SD카드의 APM/scripts 폴더에 파일을 넣으면 된다. 시뮬레이션의 경우 SITL을 실행하는 (sim_vehicle.py) 터미널 현재 경로에 scripts 폴더를 만들고 거기에 파일을 넣으면 된다. 픽스호크가 켜질때 자동으로 실행됨 파일 원본 - ahrs-set-origin.lua 혹시 짤릴까봐 코드 첨부 function update () if not ahrs:initialised() then return update, 5000 end origin = assert(not ahrs:get_origin(),"Refused to set EKF origin - already set") location = Location() location:lat(-353632640) location:lng(1491652352) location:alt(58409) if ahrs:set_origin(location) then gcs:send_text(6, string.format("Origin Set - Lat:%.7f Long:%.7f Alt:%.1f", location:lat()/10000000, location:lng()/10000000, location:alt()/100)) else gcs:send_text(0, "Refused to set EKF origin") end return end return update() 방법2: MAVROS 사용 - 위도와 경도 고도 모두 MAVROS내에서 알맞게 곱해주므로 그대로 넣어주면 된다. /mavros/global_position/set_gp_origin topic에 값을 쏘면 된다 예제 코드 #include <ros/ros.h> #include <geographic_msgs/GeoPointStamped.h> //ekf origin setter ros::Publisher m_ekf_ahrs_origin_setter_pub = m_nh.advertise<geographic_msgs::GeoPointStamped>("/mavros/global_position/set_gp_origin", 3); geographic_msgs::GeoPointStamped ekf_origin_; ekf_origin_.header.stamp = ros::Time::now(); ekf_origin_.position.latitude = -35.3632640; ekf_origin_.position.longitude = 149.1652352; ekf_origin_.position.altitude = 584.09; m_ekf_ahrs_origin_setter_pub.publish(ekf_origin_); Land: GUIDED 모드 명령 값이 아닌, land 명령을 줘야만 함 - MAV_CMD_NAV_LAND MAVROS 패키지를 사용하는 경우 /mavros/cmd/land service에 명령 값을 쏴주면 되고 위 링크처럼 아무 값도 안넣고 쏘면 된다. 위도와 경도를 명시해주면 해당 위도와 경도로 날아가서 착륙한다는데, GPS가 없을 때는 함부로 하지 말자. Takeoff: GUIDED 모드 명령 값이 아닌, takeoff 명령을 줘야만 함 - MAV_CMD_NAV_TAKEOFF MAVROS 패키지를 사용하는 경우 /mavros/cmd/takeoff service에 명령 값을 쏴주면 되고 위 링크처럼 원하는 이륙 고도 값을 넣고 쏘면 된다. 3. Takeoff / 비행 / Land 예제 코드 #include <ros/ros.h> #include <mavros_msgs/SetMode.h> //GUIDED mode #include <mavros_msgs/CommandTOL.h> //takeoff, land #include <geographic_msgs/GeoPointStamped.h> //ekf origin setter ros::Publisher m_position_controller_pub = m_nh.advertise<geometry_msgs::PoseStamped>("/mavros/setpoint_position/local", 3); ros::Publisher m_ekf_ahrs_origin_setter_pub = m_nh.advertise<geographic_msgs::GeoPointStamped>("/mavros/global_position/set_gp_origin", 3); ros::ServiceClient m_set_mode_client = m_nh.serviceClient<mavros_msgs::SetMode>("/mavros/set_mode"); ros::ServiceClient m_takeoff_client = m_nh.serviceClient<mavros_msgs::CommandTOL>("/mavros/cmd/takeoff"); ros::ServiceClient m_land_client = m_nh.serviceClient<mavros_msgs::CommandTOL>("/mavros/cmd/land"); // Skip ... ... ... geographic_msgs::GeoPointStamped ekf_origin_; ekf_origin_.header.stamp = ros::Time::now(); ekf_origin_.position.latitude = -35.3632640; ekf_origin_.position.longitude = 149.1652352; ekf_origin_.position.altitude = 584.09; m_ekf_ahrs_origin_setter_pub.publish(ekf_origin_); mavros_msgs::SetMode mode_switch_command_; mode_switch_command_.request.custom_mode = "GUIDED"; m_set_mode_client.call(mode_switch_command_); mavros_msgs::CommandTOL mav_cmd_; mav_cmd_.request.altitude = m_first_taking_off_altitude; m_takeoff_client.call(mav_cmd_); if (mav_cmd_.response.success) { ROS_WARN("Take off success!!"); } geometry_msgs::PoseStamped goal_pose_stamped; goal_pose_stamped.header.stamp = ros::Time::now(); //important goal_pose_stamped.pose.position.x = 5.0; goal_pose_stamped.pose.position.y = 0.0; goal_pose_stamped.pose.position.z = 5.0; goal_pose_stamped.pose.orientation.w = 1.0; m_position_controller_pub.publish(goal_pose_stamped); mavros_msgs::CommandTOL mav_cmd_; m_land_client.call(mav_cmd_); if (mav_cmd_.response.success) { ROS_WARN("Land success!!"); } 참고링크 https://github.com/ArduPilot/ardupilot/issues/26993 https://ardupilot.org/dev/docs/copter-commands-in-guided-mode.html https://ardupilot.org/copter/docs/common-non-gps-navigation-landing-page.html https://discuss.ardupilot.org/t/integration-of-ardupilot-and-vio-tracking-camera-part-2-complete-installation-and-indoor-non-gps-flights/43405 https://ardupilot.org/copter/docs/parameters.html https://mavlink.io/en/messages/common.html#messages
• Ardupilot 1: Ardupilot-SITL-Gazebo 2024-05-10

  서론: 드론 비행할때 항상 픽스호크를 사용하고 있고, PX4 펌웨어를 항상 사용해왔는데, 좀 무거운 감이 있고 항상 알수 없는 문제들이 발생할 때가 많아서 조금 더 역사가...

  서론: 드론 비행할때 항상 픽스호크를 사용하고 있고, PX4 펌웨어를 항상 사용해왔는데, 좀 무거운 감이 있고 항상 알수 없는 문제들이 발생할 때가 많아서 조금 더 역사가 오래된 Ardupilot 펌웨어로 갈아타기로 했다. PX4의 좋은 점은 PX4-SITL이 잘되어 있어서 현실과 거의 동일하게 시뮬레이션을 해볼 수 있다는 것인데, Ardupilot도 잘 알아보니 SITL이 있고, Gazebo에도 연동할 수 있다. 그래서 해당 포스트에서는 Ardupilot 및 Ardupilot-SITL을 설치하고, Gazebo에 연동하는 것까지 설명하고자 한다. 다음 포스트에서는 GPS/GNSS 없이 SLAM으로 비행하도록 파라미터 설정하는 것과 takeoff, land를 포함해서 아주 간단한 비행 예제 코드를 설명하고자 한다. 1. 준비물 ROS와 Gazebo는 설치되어 있다고 가정한다. (해당 포스트에서는 ROS1, Gazebo-classic임) MAVROS를 설치해야 한다. 드론에 명령을 내리는 mavlink 프로토콜을 ROS에서 사용하도록 해주는 패키지임. sudo apt-get install ros-noetic-mavros ros-noetic-mavros-extras -y wget -O - https://raw.githubusercontent.com/mavlink/mavros/master/mavros/scripts/install_geographiclib_datasets.sh chmod +x install_geographiclib_datasets.sh sudo ./install_geographiclib_datasets.sh 2. Ardupilot, Ardupilot-Gazebo plugin 설치 먼저 Ardupilot 소스 코드 다운 및 설치, simulation 실행에 필요한 mavproxy 설치 git clone https://github.com/ArduPilot/ardupilot cd ardupilot git submodule update --init --recursive bash Tools/environment_install/install-prereqs-ubuntu.sh -y || true . ~/.profile sudo usermod -a -G dialout $USER python3 -m pip install -U mavproxy Ardupilot-Gazebo plugin 설치 git clone https://github.com/khancyr/ardupilot_gazebo cd ardupilot_gazebo mkdir -p build cd build cmake .. make -j4 sudo make install 환경 변수 설정하기 (~/.bashrc 파일) GIT_CLONED_PATH 잘 확인하기 gedit .bashrc !! 입력하기 source /usr/share/gazebo/setup.sh export GAZEBO_MODEL_PATH=$GAZEBO_MODEL_PATH:<GIT_CLONED_PATH>/ardupilot_gazebo/models !! 내 경우 export GAZEBO_MODEL_PATH=$GAZEBO_MODEL_PATH:/home/mason/ws/ardupilot_gazebo/models !! 저장 후에 환경 변수 새로고침 . ~/.bashrc Ardupilot-SITL 빌드 및 실행해보기 cd ardupilot/ArduCopter ../Tools/autotest/sim_vehicle.py -w ../Tools/autotest/sim_vehicle.py --console --map 3. SITL + Gazebo 실행해보기 위에서 실행한 SITL 종료하고, 다시 SITL 실행 및 Gazebo와 연결되는지 확인해보기 cd ardupilot/ArduCopter ../Tools/autotest/sim_vehicle.py -f gazebo-iris --map --console cd ardupilot_gazebo gazebo --verbose worlds/iris_arducopter_runway.world SITL을 실행한 터미널에서 (sim_vehicle.py를 실행한 터미널) >> arm throttle >> takeoff 5 !! 시동 및 5m 높이로 이륙하는것 확인! 4. SITL + Gazebo-ROS, MAVROS 실행해보기 Gazebo-ROS용 launch 파일 만들기 (world file의 경로 잘 확인하기) <?xml version="1.0"?> <launch> <!-- launches PX4 SITL, Gazebo environment, and spawns vehicle --> <arg name="world" default="/home/mason/ws/ardupilot_gazebo/worlds/iris_arducopter_runway.world"/> <!-- gazebo configs --> <arg name="gui" default="true"/> <arg name="debug" default="false"/> <arg name="verbose" default="false"/> <arg name="paused" default="false"/> <arg name="respawn_gazebo" default="false"/> <!-- Gazebo sim --> <include file="$(find gazebo_ros)/launch/emspty_world.launch"> <arg name="gui" value="$(arg gui)"/> <arg name="world_name" value="$(arg world)"/> <arg name="debug" value="$(arg debug)"/> <arg name="verbose" value="$(arg verbose)"/> <arg name="paused" value="$(arg paused)"/> <arg name="respawn_gazebo" value="$(arg respawn_gazebo)"/> </include> </launch> MAVROS의 apm.launch 파일 수정하기 IP 주소와 port 번호는 SITL (sim_vehicle.py)을 실행했을때 출력된 (SIM_VEHICLE: “mavproxy.py” “–out” “127.0.0.1:14550” …) 에서 out 뒤에 오는 주소와 포트번호임 <launch> ... <arg name="fcu_url" default="udp://127.0.0.1:14550@"/> ... </launch> 이제 모두 실행하고 명령 줘보기 cd ardupilot/ArduCopter ../Tools/autotest/sim_vehicle.py -f gazebo-iris --map --console roslaunch gazebo_ardupilot_iris.launch (위에서 만든 launch 파일, Gazebo와 드론을 불러옴) roslaunch mavros apm.launch !! 이제 명령 줘보기 (5m 이륙 확인) rosservice call /mavros/cmd/arming "value: true" rosservice call /mavros/cmd/takeoff "{min_pitch: 0.0, yaw: 0.0, latitude: 0.0, longitude: 0.0, altitude: 5.0}" 참고 링크들 https://github.com/yanhwee/ardupilot-gazebo-ros-guide https://ardupilot.org/dev/docs/setting-up-sitl-on-linux.html https://ardupilot.org/dev/docs/ros-sitl.html
• (Jetson Orin NX) Jetpack 기본 OpenCV 죽이고 ROS, Ubuntu에서 사용하는 standard version OpenCV 설치 2024-03-05

  서론: 드론에 주로 Jetson Orin NX를 사용하는데, OpenCV를 사용할 일이 생겼다. Jetpack에서 기본으로 넣어주는 OpenCV 버전과 Ubuntu 20.04 (ROS noetic)의 표준 버전과 달라서 문제가 많다....

  서론: 드론에 주로 Jetson Orin NX를 사용하는데, OpenCV를 사용할 일이 생겼다. Jetpack에서 기본으로 넣어주는 OpenCV 버전과 Ubuntu 20.04 (ROS noetic)의 표준 버전과 달라서 문제가 많다. 기존에도 Jetpack과 Ubuntu 표준의 OpenCV 버전이 다른 경우가 있었던 것 같지만, 해당 조합에서는 OpenCV 4.5.4와 OpenCV 4.2.0의 문법 차이가 있어서 Segmentation fault가 발생한다… 그래서 해당 포스트에서는 Jetson Orin NX에 Jetpack으로 설치된 OpenCV 4.5.4를 지우고 + apt source list에서도 지워서 apt로 OpenCV를 설치할 때와 ROS noetic에서 사용하는 OpenCV 패키지들, cv_bridge 사용에 문제가 없도록 설정하는 법을 정리한다. 단순히 Jetpack의 OpenCV를 지우거나 source 빌드하는 것은, ROS noetic에서 사용하는 OpenCV 관련된 패키지들을 사용할 때 발생하는 모드의 근본적인 해결이 되지 못한다. 따라서, Jetpack의 OpenCV를 지우고 Jetpack에서 넣어둔 apt source list의 OpenCV 우선 순위를 낮추고 Ubuntu 20.04 (ROS noetic) standard version의 OpenCV를 apt source list에서 우선 순위를 높여서 문제를 해결한다. 1. Jetpack의 OpenCV 지우기 일단 OpenCV 관련된 거 다 지워야 한다. 보통 OpenCV 4.5.4와 ROS (Ubuntu)의 4.2.0이 섞여 있는 상태이고, 다시 4.2.0을 설치할 것이므로 굳이 여기서 sudo apt autoremove 까지 할필요 없다. 괜히 너무 많이 지우면 골치아파짐. sudo apt remove libopencv* sudo find /usr/ -name "*opencv*" -exec rm {} \; 2. apt source list와 preferences 확인 및 수정 Ubuntu 20.04의 경우 universe repository에 이미 OpenCV 4.2.0을 가지고 있다. 따라서 universe repository를 apt list에 추가 하면 된다. sudo add-apt-repository universe >> 이미 있는 경우, 'universe' distribution component is already enabled for all sources. 그리고 apt list를 확인해 보면 다음과 같이 universe가 있다. 그리고 열받는 repo.download.nvidia.com도 추가되어 있다. >> apt list 확인 apt policy ... 500 https://repo.download.nvidia.com/jetson/t234 r35.3/main arm64 Packages release o=Nvidia,a=stable,n=r35.3,l=L4T Jetson T234 r35.3,c=main,b=arm64 origin repo.download.nvidia.com 500 https://repo.download.nvidia.com/jetson/common r35.3/main arm64 Packages release o=Nvidia,a=stable,n=r35.3,l=L4T Jetson r35.3,c=main,b=arm64 origin repo.download.nvidia.com ... 500 http://kr.archive.ubuntu.com/ubuntu focal/universe amd64 Packages release v=20.04,o=Ubuntu,a=focal,n=focal,l=Ubuntu,c=universe,b=amd64 origin kr.archive.ubuntu.com ... 이제, universe repository의 우선 순위를 repo.download.nvidia.com보다 높게 설정한다. >> 파일 이름은 아무렇게나 해도 됨 sudo gedit /etc/apt/preferences.d/opencv-priority >> 입력 후 저장 Package: libopencv* opencv* Pin: release o=Ubuntu Pin-Priority: 1001 Package: * Pin: origin repo.download.nvidia.com Pin-Priority: 100 3. Standard version OpenCV 설치 마지막으로, apt list를 갱신하고 표준 버전의 OpenCV를 설치하면 된다. >> 4.5.4가 아니라 4.2.0이 설치됨 sudo apt update sudo apt install libopencv-dev >> ROS가 깔려 있었던 경우, opencv를 지우면서 많은 패키지가 지워지거나 파괴 되었으므로 sudo apt install ros-noetic-desktop-full
• Ubuntu 시작 프로그램2 - network 연결 후 프로그램 시작 (ROS로 로봇 자동 시작) 2024-01-06

  서론: 이전 포스팅에서 이미 rc.local 파일을 이용해서 rc-local 서비스, 즉 Ubuntu 부팅이 끝난 후 자동으로 root 권한으로 프로그램을 시작하는 서비스를 사용했었다. 해당 서비스를 사용하면 ROS...

  서론: 이전 포스팅에서 이미 rc.local 파일을 이용해서 rc-local 서비스, 즉 Ubuntu 부팅이 끝난 후 자동으로 root 권한으로 프로그램을 시작하는 서비스를 사용했었다. 해당 서비스를 사용하면 ROS 노드나 launch파일을 실행할 수 있는데, 문제는 ROS를 localhost에서 사용할 때만 잘 동작한다. 다른 remote PC에서 같은 ROS master에 접속 및 데이터를 확인하려고 ROS_MASTER_URI와 ROS_HOSTNAME을 이용해봤지만, 아예 launch파일이 실행 되지 않았다. Network연결이 안되니까 ROS master 실행을 포기해버린 것. 그래서 원하는 network 연결 후에 프로그램을 시작하도록 설정하고자 한다. 본론 Ubuntu에서 제공하는 systemd-networkd-wait-online 서비스를 활용한다. 먼저 상태를 확인해보면 다음과 같이 죽어있을 것이다. sudo systemctl status systemd-networkd-wait-online.service ● systemd-networkd-wait-online.service - Wait for Network to be Configured Loaded: loaded (/lib/systemd/system/systemd-networkd-wait-online.service; disabled; vendor pres> Active: inactive (dead) Docs: man:systemd-networkd-wait-online.service(8) 해당 서비스를 활성화 한다. 활성화 하고 어떤 네트워크에 연결되기를 기다릴지 override 파일을 만들어서 설정 해준다. sudo systemctl enable systemd-networkd-wait-online.service sudo gedit /etc/systemd/system/systemd-networkd-wait-online.service.d/override.conf 나는 WiFi 라우터에 고정 IP를 할당 해놓고, 해당 라우터 외에는 아무것도 연결 안되게 다 지워버렸다. 무선랜카드 네트워크가 연결되면 프로그램을 시작하게 할 건데, 그러면 다음과 같이 적고 저장하면 된다. 무선랜카드가 1개뿐이어서 wlan0에 네트워크가 연결 되면 항상 프로그램을 시작한다. 비슷하게 이더넷으로 연결되는 네트워크는 eno1 등이 있는데, 이는 ifconfig 명령어로 본인 컴퓨터에 어떤 네트워크가 연결되었는지 확인해보면 된다. [Service] ExecStart=/usr/lib/systemd/systemd-networkd-wait-online -i wlan0 이제 wlan0 네트워크가 연결될 때까지 기다리는 서비스는 생성이 되었다. 이 systemd-networkd-wait-online 서비스가 실행되고 나서 실제로 수행할 프로그램도 서비스로 만들어서 다음과 같이 등록해주었다. sudo gedit /etc/systemd/system/ros.service [Unit] Description=Drone Service Wants=network-online.target After=network-online.target [Service] Type=oneshot ExecStart=/home/mason/autostart.sh [Install] WantedBy=multi-user.target 서비스 enable sudo systemctl enable ros.service 설명하면, network-online이 될때까지 기다리고, 그 이후에 /home/mason/autostart.sh 프로그램을 1회 실행하는 서비스이다. 더 자세하게 service 작성에 대해 알고 싶으면 여기 참고 다음은 예시로 내가 사용하는 autostart.sh 프로그램의 내용이다. 물론 chmod +x autostart.sh 명령어로 실행 가능한 파일로 만들어두어야 한다. #!/bin/bash source /opt/ros/noetic/setup.bash source /home/mason/catkin_ws/devel.setup.bash export ROS_MASTER_URI="http://192.168.0.100:11311" export ROS_HOSTNAME="192.168.0.100" roscore & roslaunch --wait test_package test.launch exit 0 이제 재부팅 후 네트워크에 연결되면 자동으로 프로그램을 시작한다. 굳굳
• NVIDIA Jetson boards UART 시리얼 통신 권한 - ttyTHS (Pixhawk to ttyTHS) 2024-01-06

  서론: 드론 자율비행할 때 pixhawk를 컴퓨터와 연결해서 mavros로 이리저리 제어한다. USB로 꽂아쓰면 ttyACM으로 잡히는데, 이게 연결이 됐다 안됐다 하는 아주 개같은 놈이다. 어차피 러닝 기반...

  서론: 드론 자율비행할 때 pixhawk를 컴퓨터와 연결해서 mavros로 이리저리 제어한다. USB로 꽂아쓰면 ttyACM으로 잡히는데, 이게 연결이 됐다 안됐다 하는 아주 개같은 놈이다. 어차피 러닝 기반 알고리즘때문이나, 내구성, 전력 소모 등 전체적인 이유로 Jetson 보드를 쓰는데, GPIO 핀이 많이 있어서 아주 좋다. UART로 연결하면 굉장히 안정적인데, 항상 권한 문제때문에 껐다 킬때마다 chmod a+rw /dev/ttyTHS0를 입력해주어야 했다. 본론 매우 간단, rules 파일 하나 만들고, NVIDIA 서비스 하나 죽이면 된다. 일단 rules 파일 먼저 생성 및 아래 내용 입력 후 저장. sudo gedit /etc/udev/rules.d/99-ttyths.rules # 아래 내용 입력 후 저장 ACTION="add", KERNEL=="ttyTHS*", MODE="0666" 여기서 숫자 99는 priority이므로 맘에드는 대로 설정하면 된다. 굳이 낮게 만들필요 없다. 0666은 read write 권한이다. 그리고, ttyTHS가 NVIDIA의 Tegra에서 지원하는 High Speed 시리얼통신이어서, 자기네들이 만든 용도 모를 service가 선점하고 있다고 한다. 해당 service를 꺼버린다. sudo systemctl disable nvgetty.service 이후 재부팅하면 ttyTHS 포트는 권한 문제 없이 읽고 쓸 수 있다.
• Github io Blog를 Ubuntu local에서 빌드 및 확인 2024-01-06

  서론: 처음 Github io blog를 만들고 5년 정도 지난 것 같다. 중간에 한번 지워버려서 포스팅은 많이 날아갔지만,, 뭐 조금 바꿀때마다 commit하고 page deployment를 한참 기다리고,...

  서론: 처음 Github io blog를 만들고 5년 정도 지난 것 같다. 중간에 한번 지워버려서 포스팅은 많이 날아갔지만,, 뭐 조금 바꿀때마다 commit하고 page deployment를 한참 기다리고, 그리고 다시 commit하고… 너무 시간 소모가 많았다. 진작에 로컬 환경에서 ruby랑 gem을 이용해서 jekyll을 빌드해서 확인할 수 있다는 걸 알고 있긴 했는데,,, 언제 배워서 언제 또 하나 싶었다가.. 진짜 너무 시간 낭비인것 같아서 빠르게 배웠다. 다른 블로그들 보니 몇 시간씩 헤맸다던데 운 좋게 30분 만에 끝냈다. 본론 전 미리 스포 Ubuntu에 보통 ruby는 깔려있다. 근데 이게 gem이랑 jekyll을 쓰기 위한 버전이랑 잘 안맞다. 버전에 맞게 설치 + 권한만 해결 해주면 그냥 바로 된다. 혹여나 무지성 복붙 하지말고 본인 컴터에 맞게 에러나 버전을 잘 확인하면 좋겠습니당. 본론 1. ruby와 gem 설치 및 설정 ruby와 gem은 Ubuntu에 이미 깔려있다. 아래 명령어로 확인 ruby -v > ruby 2.7.0p0 (2019-12-25 revision 647ee6f091) [x86_64-linux-gnu] gem -v > 3.1.2 그래도 필요한 dependency들이 있으니 몇 개만 설치해준다. sudo apt-get install ruby-full build-essential zlib1g-dev 그리고 기본으로 gem이 깔린 폴더는 root 권한이 필요해서 이후에 이래저래 복잡하므로, 권한 문제가 없는 폴더를 사용하도록 환경 변수를 설정해준다. # 주의, 최초 1회만 실행하면 됨. 계속 하면 bashrc 더러워짐 echo "export GEM_HOME=$HOME/gems" >> ~/.bashrc echo "export PATH=$HOME/gems/bin:$PATH" >> ~/.bashrc source ~/.bashrc 2. bundler와 jekyll 설치 원래는 다음과 같이 설치한다고 하는데, 바로 에러가 뜰 것이다. gem install jekyll bundler # 설치 # 에러들 ERROR: Error installing jekyll: The last version of sass-embedded (~> 1.54) to support your Ruby & RubyGems was 1.63.6. Try installing it with `gem install sass-embedded -v 1.63.6` and then running the current command again sass-embedded requires Ruby version >= 3.1.3. The current ruby version is 2.7.0.0. Fetching bundler-2.5.4.gem ERROR: Error installing bundler: The last version of bundler (>= 0) to support your Ruby & RubyGems was 2.4.22. Try installing it with `gem install bundler -v 2.4.22` bundler requires Ruby version >= 3.0.0. The current ruby version is 2.7.0.0. “ERROR”라고 스펠링 대문자인게 진짜 열받지만 나름 친절하게 알려주고 있다. 버전 문제 이므로 시키는 대로 올바른 버전을 설치하면 된다. gem install sass-embedded -v 1.54 gem install bundler -v 2.4.22 이후에 자기 Github io 블로그를 clone 해오고, 그 폴더에 들어가서 gem 설정 및 설치하면 된다. # 주소 주의, 내 블로그에용 git clone git@github.com:engcang/engcang.github.io cd engcang.github.io 이 때, 자기가 사용하는 jekyll-theme에 따라 Gemfile이 있는 경우도 있고, 없는 경우도 있는데, 없어도 상관없다. 다음 명령어로 Gemfile을 생성한다. bundle init 그리고 Gemfile 맨 아래에 필요한 gem들을 적어주면 되는데, 나 같은 경우에는 블로그 내용물 중 _config.yml 파일에 다음과 같은 부분이 있다. plugins: - jekyll-sitemap - jekyll-seo-tag - jemoji - jekyll-remote-theme 해당 plugins이 필요한 gem이므로 Gemfile에 다음과 같이 적어준다. 아 참고로 위 plugins에는 없지만 kramdown-parser-gfm은 markdown 언어를 사용하기 위해 필요하다고 한다. # frozen_string_literal: true source "https://rubygems.org" # gem "rails" gem "jekyll-sitemap" gem "jekyll-seo-tag" gem "jemoji" gem "jekyll-remote-theme" gem "kramdown-parser-gfm" 이제 해당 gem들을 설치해준다. (현재 터미널 경로는 계속 내 Github 블로그 repository) bundle install 3. bundler로 jekyll 실행 및 내 블로그 빌드해서 로컬에서 보기 생각보다 빨리 끝났다. 터미널은 계속 내 블로그 repository에 위치하고 있는 상태에서, 빌드 및 실행! bundler exec jekyll serve > Server address: http://127.0.0.1:4000 > Server running... press ctrl-c to stop. 이제 저 주소로 접속하면 된다. 빌드 개빨라… Git에 push해서 docker image 빌드하고 deploy하는거 기다릴 필요가 없다. 이 때, 혹시 다음과 같은 에러가 발생한다면, ... Conversion error: Jekyll::Converters::Markdown encountered an error while converting '_posts/2023-02-27-docker.md': uninitialized constant Kramdown::Utils::OrderedHash ... 14: from /home/mason/gems/gems/jekyll-4.3.3/lib/jekyll/converters/markdown/kramdown_parser.rb:54:in `initialize' 13: from /usr/lib/ruby/vendor_ruby/kramdown/parser/base.rb:69:in `parse' ... 또 열받지만 에러에서 친절히 힌트를 주고 있는데, 분명히 설정한 환경변수대로 $HOME/gems 폴더만 사용해야하는데, /usr/lib 폴더를 동시에 사용해서 문제가 생긴 걸 눈치챌수 있다. 특히나 이 에러는 kramdown에서 발생했으므로 그냥 쿨하게 지워주면 된다. sudo apt remove ruby-kramdown 그리고 다시 빌드 하면 잘됨 bundler exec jekyll serve
• Ubuntu 시작 프로그램1 - Jetson Orin NX FAN max PWM 설정 with 부팅 2023-12-14

  서론: Jetson Orin NX를 쓰는데, 보통 드론에 달아서 쓰다보니 프로펠러가 식혀줘서 열이 문제가 되는지 몰랐다. 근데 Xavier NX랑은 다르게 FAN이 생각보다 엄청 천천히 돌아간다… 자동으로...

  서론: Jetson Orin NX를 쓰는데, 보통 드론에 달아서 쓰다보니 프로펠러가 식혀줘서 열이 문제가 되는지 몰랐다. 근데 Xavier NX랑은 다르게 FAN이 생각보다 엄청 천천히 돌아간다… 자동으로 킬때마다 항상 최대 PWM으로 FAN을 동작하고 싶었다. 꼭 이 용도가 아니더라도 다른 프로그램을 Ubuntu 시작 시에 자동으로 실행할 수 있다. 심지어 sudo 권한이다. 본론 1. 프로그램 등록 rc-local service는 부팅이 끝나고 나서 자동으로 root 권한으로 시작하는 프로그램들을 담고 있는데, Ubuntu 18.04부터 비활성화 되어있어서 활성화가 필요하다. 일단 rc.local 파일이 존재 하지도 않는 경우가 많으니 만들어야한다. gedit 등으로 /etc/rc.local 파일을 열어서 다음과 같이 입력하고 저장한다. #!/bin/bash # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enable or disable this script just change the execution # bits. # # By default this script does nothing. exit 0 이제 #!/bin/bash와 exit 0 사이에 원하는 명령어를 적으면 된다. 내 Jetson Orin NX의 /etc/rc.local 파일은 다음과 같이 생겼다. #!/bin/bash # ... /usr/bin/jetson_clocks --fan exit 0 sudo /usr/bin/jetson_clocks --fan 명령어는 FAN의 PWM을 최대로 설정하지만, 재부팅하면 날아간다. 부팅할 때마다 이제 자동으로 FAN이 최대 속도로 돌아갈 것이다. rc.local에 실행 권한을 부여한다. sudo chmod +x /etc/rc.local 2. 설정 및 활성화 먼저, 모든 user에 동일하게 프로그램들을 실행하기 위해 다음 Install 태그의 내용을 /lib/systemd/system/rc-local.service에 추가로 입력해준다. # SPDX-License-Identifier: LGPL-2.1+ # # This file is part of systemd. # # systemd is free software; you can redistribute it and/or modify it # under the terms of the GNU Lesser General Public License as published by # the Free Software Foundation; either version 2.1 of the License, or # (at your option) any later version. # This unit gets pulled automatically into multi-user.target by # systemd-rc-local-generator if /etc/rc.local is executable. [Unit] Description=/etc/rc.local Compatibility Documentation=man:systemd-rc-local-generator(8) ConditionFileIsExecutable=/etc/rc.local After=network.target [Service] Type=forking ExecStart=/etc/rc.local start TimeoutSec=0 RemainAfterExit=yes GuessMainPID=no [Install] WantedBy=multi-user.target 그리고 활성화 진행! sudo systemctl enable rc-local.service sudo systemctl start rc-local.service 이후, 제대로 rc-local이 켜져있는지 확인 sudo systemctl status rc-local.service 종료를 원하면 sudo systemctl stop rc-local.service sudo systemctl disable rc-local.service 이제, 재부팅하면 FAN이 자동으로 최대 속도로 돌아간다. 3. 응용 rc.local에 명령어를 저렇게 직접 적어주어도 되고, 또 다른 실행 프로그램들을 등록할수도 있다. 이를 테면 ROS node들이라든지… ROS 프로그램을 실행하는 script를 하나 만들고 실행가능 하도록 권한을 부여한다. #!/bin/bash source /opt/ros/noetic/setup.bash source /home/mason/catkin_ws/devel.setup.bash export ROS_MASTER_URI="http://localhost:11311" export ROS_HOSTNAME="localhost" roscore & roslaunch --wait test_package test.launch exit 0 sudo chmod +x /home/mason/test.sh 마찬가지로 /etc/rc.local에 추가해준다 #!/bin/bash # ... /usr/bin/jetson_clocks --fan /home/mason/test.sh # 혹은 sh /home/mason/test.sh exit 0 참고 및 출처 https://passwd.tistory.com/212
• GTSAM 튜토리얼 2023-07-15

  서론: SLAM을 항상 접할 수 밖에 없는 환경에 있다. 연구실이 워낙 SLAM을 잘하기도 하고, 내가 아무리 exploration이나 high level path planning 알고리즘을 작성해서 드론에 실험하려고...

  서론: SLAM을 항상 접할 수 밖에 없는 환경에 있다. 연구실이 워낙 SLAM을 잘하기도 하고, 내가 아무리 exploration이나 high level path planning 알고리즘을 작성해서 드론에 실험하려고 해도, 결국 드론은 SLAM이 없으면 비행이 불가능하기에… 드론은 무게가 중요하니까 처음엔 VO, VIO를 사용했었다. 너무 쉽게 발산해서… 대회때라든지 쓴맛을 많이 봐서 자연스럽게 LiDAR SLAM으로 넘어오게 되었다. 요새는 SLAM까지 안가더라도 LIO만 써도 너무 정확하게 pose가 추정이 된다. 그럼에도, loop-closing으로 정밀한 map을 만들어서 저장할 필요가 가끔 있다. Visualization 용도로 예쁜 3D map을 만들때나, 동일한 환경에서 로봇이 반복 작업을 수행할때는 SLAM을 반복해서 쓸 필요 없이 scan-to-map matching기반 localization만 사용해도 되기때문. 그래서 해당 포스트에서는 GTSAM을 사용해서 SLAM을 위한 PGO(pose graph optimization)를 구현하는 방법에 대해 설명하고자 한다. (다른 용도도 많지만 only PGO for SLAM) 더 다양한 튜토리얼은 공식 홈페이지 튜토리얼을 참고하면 된다. 자세히는 아래 내용을 차례대로 설명하고자 한다. 예제 코드 Factor vs Values in GTSAM gtsam::ISAM2.update vs gtsam::LevenbergMarquardtOptimizer gtsam::ISAM2.update(graph, initial_estimation) vs gtsam::ISAM2.update() (특히 multiple times of update) 1. 예제 코드 생각보다 쉬우니 바로 예제 코드 먼저 살펴보자. 해당 코드는 최근에 코딩 및 작업한 FAST-LIO-SAM 혹은 FAST-LIO-SAM-QN repository에 실제 사용된 코드 중 필요한 일부만 가져와서 정리한 코드이다. ////// GTSAM headers #include <gtsam/geometry/Rot3.h> #include <gtsam/geometry/Point3.h> #include <gtsam/geometry/Pose3.h> #include <gtsam/slam/PriorFactor.h> #include <gtsam/slam/BetweenFactor.h> #include <gtsam/nonlinear/NonlinearFactorGraph.h> #include <gtsam/nonlinear/LevenbergMarquardtOptimizer.h> #include <gtsam/nonlinear/Values.h> #include <gtsam/nonlinear/ISAM2.h> using namespace std; ////// GTSAM variables shared_ptr<gtsam::ISAM2> m_isam_handler = nullptr; gtsam::NonlinearFactorGraph m_gtsam_graph; gtsam::Values m_init_esti; // initial estimation (초기 위치 추정치) gtsam::Values m_corrected_esti; //Graph optimized된 보정된 위치 추정치 int m_keyframe_index = 0; ////// GTSAM init gtsam::ISAM2Params isam_params_; isam_params_.relinearizeThreshold = 0.01; isam_params_.relinearizeSkip = 1; m_isam_handler = std::make_shared<gtsam::ISAM2>(isam_params_); ////// Odometry callback function void odometry_callback_function(current_odometry) //실제 함수 아님, pseudo code { if (!initialized) // 최초 1회만 odometry를 Priorfactor로 추가 { gtsam::noiseModel::Diagonal::shared_ptr prior_noise = gtsam::noiseModel::Diagonal::Variances((gtsam::Vector(6) << 1e-4, 1e-4, 1e-4, 1e-4, 1e-4, 1e-4).finished()); // rad*rad for roll, pitch, yaw and meter*meter for x, y, z // for the first odometry, priorfactor m_gtsam_graph.add(gtsam::PriorFactor<gtsam::Pose3>(0, odometry_to_gtsam_pose(current_odometry), prior_noise)); m_init_esti.insert(m_current_keyframe_idx, odometry_to_gtsam_pose(current_odometry)); m_keyframe_index++; initialized = true; } else //그 이후 odometry callback 마다 { if (if_keyframe_or_not(current_odometry)) //keyframe인지 검사하고 keyframe이면 { ///// 1. keyframe사이의 pose 변화를 graph에 추가 gtsam::noiseModel::Diagonal::shared_ptr odom_noise = gtsam::noiseModel::Diagonal::Variances((gtsam::Vector(6) << 1e-4, 1e-4, 1e-4, 1e-2, 1e-2, 1e-2).finished()); gtsam::Pose3 pose_from = odometry_to_gtsam_pose(last_odometry); gtsam::Pose3 pose_to = odometry_to_gtsam_pose(current_odometry); // 직전, 현재 keyframe odometry 사이의 odometry 변화값을 BetweenFactor로 그래프에 추가 m_gtsam_graph.add(gtsam::BetweenFactor<gtsam::Pose3>(m_keyframe_index-1, m_keyframe_index, pose_from.between(pose_to), odom_noise)); m_init_esti.insert(m_keyframe_index, pose_to); m_keyframe_index++; last_odometry = current_odometry; //다음 iteration을 위해 직전 odometry 저장 ///// 2. loop closing factor bool if_loop_closed = false; // 과거의 keyframe들과 현재 keyframe을 비교해서, loop closing이 // 일어날 수 있을 가능성이 있는지 파악 (예: 일정 거리 이내에 있으나 시간이 일정 시간 이상 경과) if (if_loop_candidate_or_not(current_odometry)) { //가장 loop 가능성이 높은 keyframe 반환 the_most_loop_likely_keyframe = get_the_most_loop_likely_keyframe(current_odometry); //현재 keyframe, loop 가능성 높은 keyframe 사이를 매칭해서 pose 변환 반환 (e.g., ICP 등) loop_match_result = loop_matching(current_odometry, the_most_loop_likely_keyframe); // 실제로 loop-closed 되었으면 if (loop_match_result.loop_closed) { noise = loop_match_result.noise; loop_pose_tf = loop_match_result.pose_transformation; past_pose = the_most_loop_likely_keyframe.pose; past_pose_index = the_most_loop_likely_keyframe.pose.index; current_odometry_index = m_keyframe_index-1; // becaus of ++ from the above line // 현재 keyframe과 loop-closed 된 keyframe간의 // pose 변화만큼을 graph에 BetweenFactor로 추가 gtsam::noiseModel::Diagonal::shared_ptr loop_noise = gtsam::noiseModel::Diagonal::Variances((gtsam::Vector(6) << noise, noise, noise, noise, noise, noise).finished()); gtsam::Pose3 pose_from = odometry_to_gtsam_pose(loop_pose_tf * current_odometry); gtsam::Pose3 pose_to = odometry_to_gtsam_pose(past_pose); m_gtsam_graph.add(gtsam::BetweenFactor<gtsam::Pose3>(current_odometry_index, past_pose_index, pose_from.between(pose_to), loop_noise)); if_loop_closed = true; } } ///// 3. Optimize //m_corrected_esti = gtsam::LevenbergMarquardtOptimizer(m_gtsam_graph, m_init_esti).optimize(); m_isam_handler->update(m_gtsam_graph, m_init_esti); m_isam_handler->update(); if (if_loop_closed) { m_isam_handler->update(); m_isam_handler->update(); m_isam_handler->update(); } m_gtsam_graph.resize(0); m_init_esti.clear(); // 보정된 위치 추정치 m_corrected_esti = m_isam_handler->calculateEstimate(); } } } 조금 긴 것 같은데, 별거 없다. 그림과 함께 보자. 최초 odometry는 PriorFactor로 graph에 추가한다. Keyframe 사이의 pose변화를 BetweenFactor로 graph에 추가한다. (keyframe 계산 없이 모든 odometry를 graph에 추가하면… 연산량도 어마어마하고 오히려 redundancy가 accuracy를 해친다.) 현재 keyframe과 과거 keyframes 사이에 loop-closing을 검사 및 계산해서 BetweenFactor로 graph에 추가한다. Graph를 optimize 한다. GTSAM PGO 처음 보는 사람들은, 대충 알긴 알겠는데 몇 가지 “왜?” 하는 부분들이 생긴다 => 뒤에서 하나씩 설명한다. 2. Factor vs Values in GTSAM 코드에서 분명히 graph(m_gtsam_graph)에 PriorFactor, BetweenFactor로 odometry의 변화량, loop-closing의 값 등을 더 해줬는데 gtsam::Values(m_init_esti)에 한번 더 값을 insert해준다. 게다가 loop-closing 계산 뒤 BetweenFactor를 add해주는 곳에서는 Values에 아무런 값도 insert하지 않는다. 이 부분에 대해서 공식 홈페이지 튜토리얼의 2.3절에서는 다음과 같이 설명한다. The factor graph and its embodiment in code specify the joint probability distribution over the entire trajectory of the robot, rather than just the last pose. This smoothing view of the world gives GTSAM its name: “smoothing and mapping”. Later in this document we will talk about how we can also use GTSAM to do filtering (which you often do not want to do) or incremental inference (which we do all the time). A factor graph in GTSAM is just the specification of the probability density, and the corresponding FactorGraph class and its derived classes do not ever contain a “solution”. Rather, there is a separate type Values that is used to specify specific values, which can then be used to evaluate the probability (or, more commonly, the error) associated with particular values. The latter point is often a point of confusion with beginning users of GTSAM. It helps to remember that when designing GTSAM we took a functional approach of classes corresponding to mathematical objects, which are usually immutable. You should think of a factor graph as a function to be applied to values rather than as an object to be modified. 뭔 소리냐면, graph (Factor)는 연결만 나타내고 있다고 생각하면 편하고, Values는 변하는 값이라고 생각하면 편하다. (Factor는 node 사이의 joint probability, 즉, 확률 값을 나타내고 Values는 말 그대로 위치 추정치 값이다.) 아니 그니까 graph (Factor)만 가지고 있어도 연결도 나타내고 안에 값도 들어있으니 optimize할 때 마다 값도 알아서 변하고 우리는 변한 값만 출력해서 받아 쓰면 되지 않는가? (난 이게 제일 헷갈렸다.) 다음 그림을 보면, 조금 더 이해가 쉽다. (아니면 죄송 ㅠㅠ) 만약 내가 헷갈렸던 것처럼 Factor만 가지고 있다고 생각해보자. 원래 1절에서 등장한 그림만 봤을때는 아무런 문제가 없을 것이다. Odometry로만 graph가 구성되어있으니 loop closing이 일어나든 말든 node 자체의 값이 변해버리면 되지 않나? 생각했던 것인데, 아래 그림처럼 UnaryFactor가 추가되었다고 생각해보자 (예: GPS 센서 값 등). Loop closing이 일어나서 P5 노드의 값 자체가 바뀌어버리면 UnaryFactor가 의미하는 값이 뭔가 이상해진다. 분명 loop closing이 일어나기 전의 P5 노드의 값에 대한 관계를 그래프에 추가한 것인데, P5노드의 값이 바뀌었으니 UnaryFactor 값도 그에 맞게 바뀌어야 하는 건가? 근데 GPS 센서 측정 값인데 그게 바뀌어도 되나? 따라서 loop closing이 일어나든 말든, UnaryFactor가 추가되든 말든 graph는 graph대로 연결 관계에 대한 값을 고정되게 가지고 있고, 이와 별개로 위치 추정치는 따로 변수로 (Values) 가지고 있으면 이런 문제가 없다. GTSAM PGO 3. gtsam::ISAM2.update vs gtsam::LevenbergMarquardtOptimizer 코드에서 optimize하는 부분을 보면 주석된 부분이 있다. 다시 잘 살펴 보면, 한 줄로 해결할 수 있을 것 같은데 굳이 여러 줄로 나누어서 optimize하고 graph랑 Values 초기화하고, 보정된 값을 획득한다. 실제로 한 줄짜리 LM Optimizer로 optimize해도 동일한 결과를 획득한다. => 하지만 연산 시간이 엄청 길어진다. Graph가 점점 증가하면 할수록. GTSAM은 Georgia Tech SAM인데, 논문에서 정식 명칙은 Incremental SAM이다. - 논문 1, 논문 2 즉, 한 줄 짜리 LM Optimizer는 그래프 전체를 받아와서 전체에 대해서 nonlinear optimization을 수행한다. 연산량이 많고, 점점 많아질 수밖에 없다. ISAM update는 incremental하게 graph의 변화된 부분만 파악해서 update 및 optimization을 수행한다. 참고: update 부분 코드 변화된 부분을 파악하는 비용을 최소화 하기 위해서 graph.resize(0)과 Values.clear()를 수행한다. //// 이 한 줄이랑 { m_corrected_esti = gtsam::LevenbergMarquardtOptimizer(m_gtsam_graph, m_init_esti).optimize(); } //// 이 여러 줄이랑 같은 역할임 { m_isam_handler->update(m_gtsam_graph, m_init_esti); m_gtsam_graph.resize(0); m_init_esti.clear(); m_corrected_esti = m_isam_handler->calculateEstimate(); } 4. gtsam::ISAM2.update(graph, initial_estimation) vs gtsam::ISAM2.update() 위 3절과 마찬가지로 코드에 이상한 점이 있다. gtsam::ISAM2.update(graph, esti)로 한번 update 했는데 (update에서 optimize도 함께 이루어짐), 여러 번 반복해서, 심지어 함수 인자도 없이 update한다. m_isam_handler->update(m_gtsam_graph, m_init_esti); //한 번 했는데 m_isam_handler->update(); //여러 번 인자도 없이 반복한다. if (if_loop_closed) //심지어 loop-closing 되면 { m_isam_handler->update(); //인자도 없이 또 반복한다. m_isam_handler->update(); //인자도 없이 또또 반복한다. m_isam_handler->update(); //인자도 없이 또또또 반복한다. } GTSAM의 example code 중 여기를 보면 다음과 같이 주석에 적혀있다. Each call to iSAM2 update() performs one iteration of the iterative nonlinear solver. If accuracy is desired at the expense of time, update() can be called additional times to perform multiple optimizer iterations every step. 즉, 그냥 여러 번 호출하면 여러 번 iteration으로 optimize하는 것과 같으므로 원하는 만큼 해라! 이거임. 실제로 ISAM2 헤더파일의 update 부분을 보면, 아무 인자 없이 update 함수를 호출해도 다 default 인자로 넘겨주게 되어있고, ISAM2 소스파일의 update 부분을 보면, 인자로 전달 받은 graph의 변화된 부분만 추적해서 알아서 optimize한다. 그러면 굳이 코드에서 m_gtsam_graph.resize(0) 할 필요 없지 않나? => 없어도 되지만 update 함수 내에서 “graph의 변화된 부분을 추적”하는 연산을 최소화하기 위해 필요하다. 그러면 update를 한 127431829479번 정도 호출하면 완전 빨리 수렴하고 값도 정확해 지는거 아님? => 이것은 경험에 의한 것… 실제로 LIO-SAM 코드를 보면 5회만 실행하는데, 저자에 따르면 그게 가장 좋았다고 한다.. 여기 참고 우리 연구실 사람들도, 나도 update를 몇 번 해야 좋은지 많이 테스트 해봤고 LIO-SAM 저자도 많이 해봤겠지만… 5번이 가장 적당하더라는 결론… 너무 많이 호출하면 시간도 아깝고 뭔가 발산하는 양상을 띈다. 5. 참고 Factor를 추가할 때 noise를 설정하게 되어있다. 그리고 공식 홈페이지 tutorial을 보면 모든 것을 확률과 관련해서 설명한다. 왜 SLAM에서 Gaussian 분포를 사용하는가? 왜 모든 것이 확률로 표현되는가? Bayesian 추론, Maximum a posteriori, Maximum likelihood estimation 그리고 이 세가지와 SLAM의 관계에 대해서 참고해보면 좋다. 짧게 설명하면 어차피 noise를 수학적으로 정확하게 나타낼 수는 없으니 우리가 잘 아는 Gaussian 분포를 사용하고, Gaussian 분포를 사용하면 Gaussian 분포 값들의 곱은 Gaussian 분포를 따른다. 이를 이용해서 현재 odometry와 다른 센서의 측정값들로 로봇 pose와 landmark의 pose를 확률을 극대화 하는 방향으로 추론해내는게 SLAM이라고 할 수 있다(고 한다.) 김기섭님 블로그에 굉장히 잘 설명되어있으니 보면 너무너무 좋다 두번보고 세번보길 추천 - 링크, 링크2 결론 및 추가 정보 GTSAM은 사용이 쉽다. 대신 자유도가 낮다. Ceres 같은 nonlinear optimization solver는 사용이 어려운 대신 자유도가 높아서 별의 별 값들을 변수로 설정 가능하고, 무슨 옵션이 있고 뭐 등등… 난 모르겠고 걍 PGO만 해서 SLAM만 하면된다? GTSAM을 쓰자. 이 글을 볼 일도 없고 봤더라도 이런 수준 낮은 글이? 할 정도로 SLAM에 익숙한 분들은 필요에 맞게 Ceres를 잘 쓰고 계실 것으로 예상 합니다… 24년 5월 27일 추가 정보 - 최근에 우리 연구실 선배인 임형태 박사가 알려 준건데, GTSAM (iSAM2) 내부에서 Bayes tree를 기반으로 어느 부분만 update해야하는지 스스로 다루는데, 이 부분이 Ceres solver와 GTSAM의 큰 차이점 중 하나인 것 같다고 한다. 자세한 내용은 여기의 81~82 페이지 참고. 긁적긁적 SLAM 어렵당.
• C++ container 비교: array, vector, deque, unordered_map, unordered_set 2023-07-07

  서론: Python으로 코딩을 배우고 대학원 와서야 C++을 만지고 어찌저찌 알고리즘 짜오면서 잘 먹고 살아오고 있었다. 그 동안 항상 묻지도 따지지도 않고 container가 필요하면 std::vector를 사용했었다....

  서론: Python으로 코딩을 배우고 대학원 와서야 C++을 만지고 어찌저찌 알고리즘 짜오면서 잘 먹고 살아오고 있었다. 그 동안 항상 묻지도 따지지도 않고 container가 필요하면 std::vector를 사용했었다. 간간히 hash map같은거 구현한다고 unordered_map같은건 몇번 썼었는데… 다른 SOTA 코드를 살펴본다든지, mapping, planning, localization 관련해서 다양하게 코딩을 해본다든지 하면서 다른 container도 사용해야할 필요성을 많이 느끼게 되었다. 워낙 다른 블로그들에 설명이 너무 잘되어있어서 그냥 요약 + 그래서 언제 쓸지만 정리해두려고 한다. Size를 확실히 알아서 static한 size로 사용 하면 array 예 double xyz[3]; Eigen::Vector3f points[3]; // e.g., 3points of plane vector 뒷쪽에만 push 및 pop이 가능하고 중간에서 erase나 insert하면 비효율적 Size를 대충이라도 알면 reserve()해서 사용하는게 효율적이고 더 빠름 개별 원소 접근이 빠름, 뒷쪽 삽입/제거는 빠름 메모리에서 연속적으로 저장되므로 메모리 효율적으로 데이터 관리 가능 빈번한 삽입 삭제에 비효율적 삽입 시 메모리 할당량을 늘리는 연산 발생 중간에서 삽입, 삭제 시 연속된 메모리 블럭을 한칸씩 당기거나 밀어줘야하므로 비효율적임 예시1: size를 아는 경우 (PointVector가 std::vector로 구현되어있음) PointVector pcl_to_pointvector(const pcl::PointCloud<pcl::PointXYZ> &pcl_in) { PointVector pointvector_out_; if (pcl_in.size() > 0) pointvector_out_.reserve(pcl_in.size()); for (int i = 0; i < pcl_in.size(); ++i) { pointvector_out_.push_back(PointType(pcl_in.points[i].x, pcl_in.points[i].y, pcl_in.points[i].z)); } return pointvector_out_; } 예시2: size를 대충 아는 경우 (if 조건문에 의해 size가 조금 달라질 수 있음, pcl::PointCloud가 std::vector로 구현되어있음) pcl::PointCloud<pcl::PointXYZ> get_pts_within_fov(const pcl::PointCloud<pcl::PointXYZ> &pcl_in, const vector<float> &cam_fov, const float &curr_yaw, const float &curr_pitch) { pcl::PointCloud<pcl::PointXYZ> pcl_out_; if (pcl_in.size() > 0) pcl_out_.reserve(pcl_in.size()); for (int i = 0; i < pcl_in.size(); ++i) { pcl::PointXYZ pt_ = pcl_in.points[i]; if ( fabs(curr_yaw - pt_yaw(pt_)) < cam_fov[0] && fabs(curr_pitch - pt_pitch(pt_)) < cam_fov[1]) //angles diff { pcl_out_.push_back(pcl_in[i]); } } return pcl_out_; } deque (발음 디큐라고 안읽고 덱으로 읽음) front와 back에 모두 push 및 pop이 가능함 개별 원소 접근이 빠름 앞, 뒷쪽 삽입/제거 빠름 메모리에서 흩어져서 저장되므로 뒷쪽이 아닌 중간에서 삽입, 삭제할 때 vector에 비해서는 효율적 빈번한 삽입 삭제에 vector에 비해 효율적 unordered_map 삽입, 삭제 탐색이 O(1) 앞쪽, 뒷쪽, 중간 아무곳에서나 빈번하게 삽입, 삭제, 탐색을 많이 하는 경우 굉장히 효율적 전체 저장된 데이터에 대해 iteration이 map에 비해 느림 map에 비해 메모리를 많이 씀 예시 - 공간을 mapping하며 sphere형태의 safety flight corridor (SFC)를 생성할 때, obstacle에 의해서 굉장히 빈번하게 sphere를 삭제, 새로 생성해서 container에 삽입 및 관리해야함 unordered_map으로 관리하는 spheres map 삽입, 삭제 탐색이 O(logN), 대신 데이터가 key값에 따라 항상 sort 되어있으므로 따로 sort할 필요가 없음 전체 저장된 데이터에 대해 iteration이 빠름 unordered_map에 비해 메모리를 적게 씀 unordered_set (set과의 차이점은 map과 unordered_map과의 차이점과 동일) 중복을 허용하지 않는 container raycasting 등으로 데이터 처리할때 유용함. 여러개의 ray에 대해서 일일이 순차적으로 voxel에 대한 정보를 update하지 않고, 일단 처리해야할 voxel의 index만 unordered_set에 저장 후 한번에 처리하면 같은 index의 voxel에 대해 불필요하게 연산하는 것을 자연스럽게 막아줌 예시 void remove_points_raycast(const Vector3f &origin, const pcl::PointCloud<pcl::PointXYZ> &pts_in) { Vector3i origin_key_ = pt_to_key(origin); unordered_set<Vector3i, hash_func> key_set_to_be_del_; for (int i = 0; i < pts_in.size(); ++i) { Vector3i key_ = pt_to_key(pt_to_pt_type(pts_in.points[i])); Raycast(origin, pt_to_pt_type(pts_in.points[i]), key_set_to_be_del_); } for (const auto& key: key_set_to_be_del_) //delete keys on the rays { m_hash_vox_points.erase(key); } return; } 결론 array - size를 알고, 데이터가 적으면 자주 써야겠다. vector + reserve() - size를 대충이라도 알면 써야겠다. 그렇지 않으면 deque를 쓴다. 잘 정리한 링크 deque - 중간에서 삽입, 삭제할일이 있거나 덩어리가 큰 struct를 보관할때 써야겠다. 잘 정리한 링크 unordered_map - 삽입 삭제가 굉장히 빈번한 경우 hashmap으로 써야겠다. unordered_set - 중복되는 데이터 따로 신경쓰기 귀찮을때 vector나 deque 대신 유용하게 쓸 수 있다. 그 외: 아직 왜 써야하는지, 얻다 쓸지 찾지 못했다. 혹시 사용처가 생기게 되면 본 포스트에 지속적으로 예시와 함께 업데이트 할 예정 참고 vector vs list vs deque 속도 비교 - 링크 vector vs deque의 차이점 - 링크 stl의 queue와 stack은 deque을 사용해서 구현되어있다고 한다. queue 정의 발췌, 링크 template< class T, class Container = std::deque<T> > class queue; stack 정의 발췌, 링크 template< class T, class Container = std::deque<T> > class stack; unordered_map과 map의 차이 - 링크, 링크2
• Gazebo gpu_ray 플러그인 에러 해결 2023-03-01

  서론: LiDAR 센서를 Gazebo에서 plugin으로 구현해서 시뮬레이션 할때, ray 혹은 gpu_ray를 사용한다. 로컬 컴퓨터에는 모두 잘 세팅이 되어있었는데, docker에 환경을 꾸리려다보니 자꾸 gpu_ray만 사용하면 segmentation...

  서론: LiDAR 센서를 Gazebo에서 plugin으로 구현해서 시뮬레이션 할때, ray 혹은 gpu_ray를 사용한다. 로컬 컴퓨터에는 모두 잘 세팅이 되어있었는데, docker에 환경을 꾸리려다보니 자꾸 gpu_ray만 사용하면 segmentation fault가 발생하면서 시뮬레이션이 터졌다. gpu_ray는 renderer를 활용한다고 어디서 줏어 들어서 처음에는 NVIDIA 드라피버나 GPU 사용 설정, OpenGL 등이 문제라고 생각했는데… 결론은 Gazebo 버전이 너무 낮아서 안되었던 것 같다… 해당 포스팅에서는 다음에 대해 설명하고자 한다. 증상 (에러) Gazebo 버전 업그레이드… (ft. gpu_ray segmentation fault 해결) 증상 Gazebo에서 gpu_ray 플러그인 사용 시, segmenation fault 에러 발생 GDB로 backtrace 해보니 해당 부분에서 에러 발생 gazebo::sensors::GpuRaySensor::UpdateImpl(bool) () gpu_ray의 소스 코드를 직접 들여다 보았으나 그냥 CPU 버전의 ray와 큰 차이 못 느낌… 업그레이드/해결 방법 현재 Gazebo 버전 확인은 터미널에서 gzclient 혹은 gzserver 입력후 tab으로 자동 완성해보면 알수있다. 기본으로 ROS-melodic에 깔리는 버전은 9.0.0인데 9.19.0 이상이 되어야 gpu_ray사용 시에 문제가 없었다. 업그레이드는 다음과 같이 진행하면 된다. $ sudo sh -c 'echo "deb http://packages.osrfoundation.org/gazebo/ubuntu-stable `lsb_release -cs` main" > /etc/apt/sources.list.d/gazebo-stable.list' $ cat /etc/apt/sources.list.d/gazebo-stable.list $ wget https://packages.osrfoundation.org/gazebo.key -O - | sudo apt-key add - $ sudo apt-get update $ sudo apt-get upgrade
• Docker image를 Github Package로 관리하기 2023-02-28

  서론: 예쁘게 잘 만든 docker container를 이미지형태로 배포하고 싶어졌다. 홍익인간…! 참고: 이전, 지금 포스트를 통해 만든 Ubuntu18.04 + NVIDIA/CUDA_OpenGL (CUDA ver 11.4) + ROS1 -...

  서론: 예쁘게 잘 만든 docker container를 이미지형태로 배포하고 싶어졌다. 홍익인간…! 참고: 이전, 지금 포스트를 통해 만든 Ubuntu18.04 + NVIDIA/CUDA_OpenGL (CUDA ver 11.4) + ROS1 - Melodic 클린버전 이미지를 앞으로 쭈욱 보관 및 공개하면서 활용할 예정이다. 여기에서 확인 가능하고, 받아서 사용하면 된다. 해당 포스팅에서는 다음에 대해 설명하고자 한다. Docker image 배포 방법 배포한 image 사용 방법 배포 방법 방법 1: image 파일 자체로 배포 docker image save IMG_NAME:TAG -o FILE_NAME.tar로 파일 생성 후 파일 공유 방법 2: Docker Hub에 게시하여 배포 - 마음에 들지 않음. 내 Git에 올리는게 더 간지날거 같아서 방법 3: Github의 package에 docker 배포 - 여기에 너무 잘 설명 되어있다. 위 링크에서 처럼 github에서 token 생성하고, docker login 및 push까지 하면 된다. 1. image tag변경하기 $ docker tag IMG_NAME ghcr.io/GITHUB_USER_NAME/REPO_NAME:TAG_NAME # 예: docker tag ubuntu20 ghcr.io/engcang/ubuntu20:ros_clean 2. push하기 $ docker push ghcr.io/GITHUB_USER_NAME/REPO_NAME:TAG_NAME # 예: docker push ghcr.io/engcang/ubuntu20:ros_clean 아래 사진 처럼 Github package에 잘 저장되었다. Public으로 설정하면 용량이나 다운 횟수에 상관없이 무료로 사용할 수 있다고 한다. Github Package 목록 잘 저장된 docker image 사용 방법 명령어로 사용할 경우, docker pull ghcr.io/USER_NAME/REPO_NAME:TAG_NAME Dockerfile로 사용할 경우, 파일의 FROM 부분에 해당 이미지 이름을 그대로 적어주면 된다. FROM ghcr.io/USER_NAME/REPO_NAME:TAG_NAME ... RUN apt-get update && apt-get -y install sudo ...
• Docker 기본 사용법 with NVIDIA CUDA OpenGL 2023-02-27

  서론: 매번 local 컴퓨터에서만 환경 세팅 및 실험을 하다보니, 컴퓨터를 포맷하거나 다른 컴퓨터에서 실험할때는 SOTA 알고리즘을 실행해서 비교하는게 어려웠다. 내 알고리즘은 내 Github에 있으니 금방...

  서론: 매번 local 컴퓨터에서만 환경 세팅 및 실험을 하다보니, 컴퓨터를 포맷하거나 다른 컴퓨터에서 실험할때는 SOTA 알고리즘을 실행해서 비교하는게 어려웠다. 내 알고리즘은 내 Github에 있으니 금방 세팅한다 쳐도, 흔하게 사용하는 SOTA들을 docker 이미지로 구워서 보관해두어야겠다고 생각했다. 해당 포스팅에서는 다음에 대해 설명하고자 한다. docker 설치 with NVIDIA CUDA OpenGL Image 생성 Container 생성 with 각종 권한 기본 편의성 설정 및 error 해결 화면 사용 설정 Tab 자동 완성 docker와 host간 파일 복사 lsb_release 설치 failed to commit changes to dconf Terminator 실행 안될때 Docker 설치 nvidia-docker에서 nvidia-docker2로 바뀌면서 따로 복잡하게 nvidia GPU 사용을 위해 설정할 필요 없이 image 생성 시와 container 생성 시에 옵션 몇개만 추가해주면 된다고 한다. 설치는 다음과 같이 한다. $ curl -fsSL https://get.docker.com/ | sudo sh $ sudo usermod -aG docker $USER ##### NVIDIA-Docker, GPU $ distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list $ sudo apt-get update $ sudo apt-get install -y nvidia-docker2 $ sudo systemctl restart docker Image 생성 기본적으로 docker pull IMG_NAME 명령어로도 이미지를 생성할 수 있는데, 여러가지 설정을 위해 dockerfile을 만들어서 image를 생성한다 이때, image 자체가 nvidia/CUDA, OpenGL를 지원하는 이미지를 가져오는게 수월하다. 목록은 여기, 공식 repo에서 찾아오면 된다. 아래 예제에서는 CUDA 11.4를 사용하는 Ubuntu 18.04 이미지를 가져왔다. 이때, GPU를 사용하도록 다음과 같이 옵션을 추가한다. FROM nvidia/cudagl:11.4.0-devel-ubuntu18.04 # nvidia-container-runtime ENV NVIDIA_VISIBLE_DEVICES \ ${NVIDIA_VISIBLE_DEVICES:-all} ENV NVIDIA_DRIVER_CAPABILITIES \ ${NVIDIA_DRIVER_CAPABILITIES:+$NVIDIA_DRIVER_CAPABILITIES,}graphics USER root RUN apt-get update && apt-get -y install sudo && apt-get clean RUN useradd -m -s /bin/bash ubuntu && \ usermod -aG sudo ubuntu && \ echo "ubuntu ALL=(ALL) NOPASSWD:ALL" > /etc/sudoers.d/90-ubuntu USER ubuntu WORKDIR /home/ubuntu CMD ["/bin/bash"] 위와 같이 dockerfile을 만들고, 이미지는 다음과 같이 생성하면 된다. $ docker build -t IMG_NAME . # IMG_NAME은 원하는 이미지 이름 $ docker images #image 생성 되었는지 확인 Docker container 생성 및 사용 위에서 image를 만들고 나면 기본적으로 docker run -it IMG_NAME bash와 같이 container를 만들면서 명령어를 실행한다 (이 명령어에서는 bash를 실행하라는 뜻, 터미널 실행됨) 화면 사용, root 권한, network 등 각종 권한을 부여하면서 생성하려면 옵션을 추가하면되는데, 자세한건 docker run --help로 확인가능하다. 나는 구글링하면서 모은 옵션들을 하나의 shell 파일로 만들어서 사용한다. --runtime=nvidia: GPU를 사용하기 위해 필수, --gpus all은 옛날 방식이라는데 그냥 넣어둠 --net=host는 docker내에서 host의 network를 그대로 사용함을 의미함. 예를들어 Docker내에서 ROS를 실행하면 Docker바깥의 host에서도 해당 ROS node와 통신이 된다. #!/bin/sh XSOCK=/tmp/.X11-unix XAUTH=/tmp/.docker.xauth touch $XAUTH xauth nlist $DISPLAY | sed -e 's/^..../ffff/' | xauth -f $XAUTH nmerge - docker run --runtime=nvidia --privileged --gpus all --rm -it \ --volume=$XSOCK:$XSOCK:rw \ --volume=$XAUTH:$XAUTH:rw \ --volume=$HOME:$HOME \ --shm-size=4gb \ --env="XAUTHORITY=${XAUTH}" \ --env="DISPLAY=${DISPLAY}" \ --env=TERM=xterm-256color \ --env=QT_X11_NO_MITSHM=1 \ --env="NVIDIA_DRIVER_CAPABILITIES=all" \ --net=host \ <IMAGE_NAME> bash 위와 같이 run.sh 파일을 만들고, 다음과 같이 container를 생성한다. $ chmod +x run.sh $ ./run.sh $ docker ps -a # container list 확인 Container를 만들고 나서 사용할때는 다음과 같이 사용한다. Control + p + q: container 종료하지 않고 exit $ exit: container 종료하면서 exit (저장 안되고 종료하므로 주의) docker exec -it CONTAINER_NAME bash: 만들어진 container 다시 실행 docker commit -p CONTAINER_NAME IMG_NAME:TAG: 원하는 이름 및 태그로 컨테이너 저장 to image 기본 및 편의성 설정 및 error 해결 Docker내에서 화면을 정상적으로 사용하기 위해서 docker 밖의 host 컴퓨터에서 다음과 같이 설정해주면 된다 $ sudo apt install x11-xserver-utils # 혹은 sudo apt install x11-server-utils $ xhost + Container 내에서 작업할 때 apt install 에서 tab completion이 동작 안하는데, 여기 링크를 참고해서 해결했다. $ sudo apt install bash-completion $ sudo gedit /etc/bash.bashrc ## 주석해제 if ! shopt -oq posix; then if [ -f /usr/share/bash-completion/bash_completion ]; then . /usr/share/bash-completion/bash_completion elif [ -f /etc/bash_completion ]; then . /etc/bash_completion fi fi $ source /etc/bash.bashrc $ source ~/.bashrc $ sudo rm /etc/apt/apt.conf.d/docker-clean $ sudo apt update -y docker와 host간 파일 복사: docker cp 원래위치 원하는위치 ROS 설치 시 가장 첫단계에서 발생하는 lsb_release not found $ sudo apt-get update && sudo apt-get install -y lsb-release && sudo apt-get clean all $ sudo rm /etc/apt/sources.list.d/ros-latest.list 각종 설정 반영 안될 때 failed to commit changes to dconf $ sudo apt install dbus-x11 Terminator 실행 안될때: terminator -u 옵션으로 실행하면 실행 된다.

Paper reviews

• text test 2024-01-06

  서론: Latex test

  서론: Latex test 본론 test \[x + y + z + = 1\] \[\begin{aligned} \widehat{\mathcal{M}}_{\text{global}} = \ &\widehat{\mathcal{M}}_{\text{new}} \ \bigcup \ V(\mathcal{M}_{\text{global}}, \mathbf{n}_k)\\ \widehat{\mathcal{M}}_{\text{new}} = \ &V(\mathcal{M}_{\text{new}}, \{\mathbf{n}_{i} \ | \ \lVert \mathbf{n}_{i} - \mathbf{n}_{k} \rVert \leq r_{\text{search}} \})\\ V(\mathcal{M}, \mathbf{n}_i) = \ &\mathcal{M} / \mathcal{M}^{\text{visible}} |_{\mathbf{n}_i}\\ \end{aligned}\]