Jurnal Motion Capture

JURNAL 1

UNIVERSITAS INDONESIA

RANCANG BANGUN SISTEM MOTION CAPTURE DAN
DATABASE MOTION UNTUK ROBOT HUMANOID DENGAN
PERANGKAT MICROSOFT KINECT BERBASIS ROS
(ROBOT OPERATING SYSTEM)

disusun oleh:

WISNU INDRAJIT
0806315944

ABSTRAK

Para roboticist selalu berusaha agar robot dapat menghampiri bentuk dan kemampuan manusia sehingga robot dapat berinteraksi bersama manusia dengan baik. Untuk dapat berinteraksi dengan manusia, robot sebisa mungkin dibuat agar
memiliki gerakan yang mirip dengan manusia. Imitation Learning atau sering disebut dengan Motion Capture, adalah salah satu teknik pengendalian robot humanoid dengan manusia sebagai aktor dan robot sebagai agen yang akan
mengimitasi gerakan aktor. Metode ini menawarkan kefleksibelan dan kemudahan dalam mememodifikasi sistem robot. Pada penelitian ini telah dikembangkan sebuah sistem motion capture untuk mentransformasikan gerakan lengan manusia
ke lengan robot humanoid secara real time, dengan setiap lengan terdiri dari 3 DOF serta dilakukan perancangan database motion agar robot dapat melakukan gerakan yang telah dilakukannya. Proses tracking dengan Microsoft Kinect
dilakukan pada rate frekuensi 20 Hz dengan dengan satu loop proses komputasi mapping membutuhkan waktu rata-rata 340 us. Rata-rata error pendeteksian vektor skeleton yang dideteksi adalah 1.74 cm.
Kata Kunci: Kinect, Motion Capture, ROS, Dynamixel

Latar Belakang

Penulis berpendapat bahwa para roboticist, insinyur robot, akan merasa lega saat robot sudah menjadi bagian dari kehidupan manusia. Gambaran terbaik tentang itu tersaji dalam film I,Robot. Beberapa cuplikan darinya adalah sebuah
robot lari dengan cekatan mengambilkan alat bantu pernapasan tuannya yang tertinggal di rumah, sebuah robot sedang membantu ibu memotong kentang dengan cepat di dapur, dan robot-robot yang membersihkan sampah di jalan
dengan tekun. Robot-robot tersebut membuat hidup manusia lebih sejahtera . Mereka biasa disebut sebagai service robot.

Service robot memiliki tingkat kompleksitas yang tinggi. Para insinyurnya selalu berusaha agar bisa menghampiri bentuk dan kemampuan manusia; ciptaan Tuhan yang paling sempurna. Kompleksitas tersebut dapat diurai
menjadi berbagai macam bidang, misal: tentang struktur dan mekanisme sistem mekanik, kehandalan dan kapabilitas pengendali, sensor, dan aktuator, kecerdasan buatan, teknologi mobilitas, teknologi komunikasi dan kerjasama, teknik
pentautan sub-sistem, dan sebagainya.

Pemrograman dengan demonstrasi, atau juga dikenal dengan imitation learning atau motion capture ini merupakan sebuah jawaban dari masalah pengendalian sendi-sendi robot humanoid. Metode ini menawarkan kefleksibelan serta modifikasi yang mudah dalam pengendalian robot [10]. Manusia sebagai aktor akan melakukan gerakan, kemudian robot sebagai agen akan melakukan gerakan-gerakan yang dilakukan oleh manusia. Sistem ini sangat berguna untuk melatih robot untuk melakukan gerakan-gerakan dan kedepannya dapat digunakan untuk membuat gerakan robot humanoid untuk mengerjakan pekerjaan rumah, pekerjaan berbahaya, maupun untuk hiburan yang mana kebanyakan orang membuat gerakan robot secara manual dengan tangan atau dengan latihan intensif yang mengandalkan pengalaman.

Dalam melakukan proses imitation learning pada robot, terdapat beberapa tahapan. Dimulai dari proses tracking manusia, mapping gerakan manusia ke robot, pengendalian posisi dan kecepatan robot, penyimpanan gerakan, serta proses mengulang gerakan-gerakan yang telah dilakukan. Pada penelitian ini akan dilakukan proses motion capture dari manusia terhadap model humanoid robot dengan menggunakan perangkat capture Microsoft Kinect dengan bantuan Robot Operating Sistem (ROS).

METODOLOGI

Perancangan sistem humanoid robot
Proses tracking manusia menggunakan Microsoft Kinect
Perumusan proses mapping dari manusia ke robot yang digunakan
Desain database motion dan proses ekstraksi database motion untuk melakukan gerakan yang telah dilakukan sebelumnya
Pengujian, pengambilan data, dan analisis dari sisem yang telah dirancang.

TEKNIK

teknik yang digunakan adalah model robot humanoid dua lengan serta Microsoft Kinect sebagai perangkat capture. Proses motion capture yang dilakukan hanya ditransformasikan pada kedua lengan robot dengan setiap lengan terdiri dari tiga sendi berupa motor servo Dynamixel AX -12

APLIKASI JADI

Dalam penelitian ini telah dikembangkan sebuah ros package yang disebut skripsi_mocap sebagai sebuah sistem motion capture untuk membuat sebuah model humanoid robot dapat melakukan imitasi terhadap gerakan manusia.

PENGUJIAN SISTEM MOTION CAPTURE

Untuk mengetahui kehandalan dari sistem yang telah dibuat perlu
dilakukan pengujian pada sistem tersebut. Pengujian yang dilakukan pada sistem
ini antara lain adalah uji coba real time imitation, perekaman dan ekstraksi
database motion, serta uji batasan tracking.

JURNAL 2

3- Dimensional Virtualclassroom for Journey
Based on Hand Gesture Understanding using Leap Motion Controller

Ayung Candra Padmasari
Pendidikan Teknik Informatika, Universitas Negeri Malang Indonesia

ABSTRAK

Perancangan media berbasis teknologi virtual sebagai inovasi pengembangan ruang kelas dalam bentuk 3D telah menjadikan inovasi dalam perkembangan teknologi untuk pendidikan. Pada penelitian sebelumnya, telah banyak dikembangkan berbagai media dan teknologi penunjang pembelajaran diantara pembelajaran berbasis E- Learning, pembelajaran berbasis web dan android. Penelitian ini menjelaskan tentang perancangan desain kelas virtual dalam
bentuk 3 dimensi yang difungsikan sebagai media virtual yang Interaktif untuk menggantikan sebagian fungsi mouse dan keyboard dalam berjalan dan berkeliling kelas dengan tujuan sebagai salah satu variasi untuk pengemasan media, khususnya bagi para penyedia informasi, bagaimana mengemas informasi, membuat aplikasi ataupun mendokumentasikan data dalam pendidikan. Penelitian ini dibagi menjadi 3 tahap, diantaranya proses perancangan desain awal (modeling 3D) , kemudian merancang skenario interaksi dalam ruang virtual dalam bentuk FSM (finite state Machine) dan yang terakhir adalah mendesain skenario interaksi kedalam interaksi hand gesture yang memanfaatkan Leapmotion Controller. Hasil dari penelitian ini nantinya akan dikendalikan oleh rancangan Agen berupa manusia lain yang diambil dari assetstore Unity3D dengan konsep perintah terdiri atas tap gesture, keytap gesture, circle gesture dan swipe gesture.

LATAR BELAKANG

Maraknya media berbasis teknologi virtual sebagai inovasi pengembangan ruang kelas dalam bentuk 3D telah menjadikan inovasi dalam perkembangan teknologi untuk pendidikan. Pada penelitian sebelumnya, telah banyak dikembangkan berbagai media dan teknologi penunjang pembelajaran diantara pembelajaran berbasis E- Learning, pembelajaran berbasis web dan android, sedangkan untuk keberadaan dunia virtual pada masa kini semakin banyak dibutuhkan seiring dengan semakin pesatnya perkembangan tekonologi. Penelitian ini bertujuan menghadirkan sebuah dunia virtual untuk ruang kelas dengan memanfaatkan gesture tangan sebagai pengendali dalam virtual tersebut. Penelitian ini di kembangkan dengan tujuan utuk menghadirkan teknik dan visualisasi kelas dalam bentuk virtual lebih natural. Setiap
gerakan gesture dalam virtualclass telah dikelompokkan sebagai perintah untuk Agen yang berupa manusia lain untuk menggantikan keberadaan makhluk hidup lain untuk mendiami dunia virtual tersebut. Sedangkan untuk gesture yang digunakan dalam mengendalikan aplikasi virtual untuk desain kelas 3D, peneliti menggunakan perekaman gerakan tangan menjadi model digital yang diistilahkan sebagai hand motion tracking dengan tujuan memberikan alternatif dalam
pemanfaatan gerakan tangan sebagai interaksi yang bersifat alami antara manusia dengan komputer. Beberapa contoh realisasi dari penggunaan hand motion tracking diantaranya adalah penggunaan gesture dalam motion tracking sebagai sistem dalam pengenalan bahasa (gesture recognition), Pembuatan animasi 3 Dimensi, Penangkap Gerak (Motion capture) , sebagai media interaksi antar muka alami (natural user interface), dan lain sebagainya.

Pavlovic memaparkan dalam jurnal Visual Interpretation of Hand Gestures for HumanComputer Interaction: A Review (1997) bahwa Penggunaan gesture sebagai model interaksi berbasis ruang 3 dimensi antar komputer dan manusia pada dasarnya dapat menjadi salah satu cara meningkatkan kenyamanan dalam proses komunikasi mesin dan manusia, dimana konsep dalam pengembangan gesture tersebut telah memiliki kebebasan ruang dan bentuk, sehingga bersifat tidak terbatas.

METODOLOGI

Rancangan Desain Interaksi Hand Gesture dalam Virtualclass
Skenario Hand Gesture Menggunakan Perangkat Leap Motion Controller

TEKNIK

Penelitian ini di kembangkan untuk menghadirkan teknik dan visualisasi desain kelas secara 3 dimensi dengan mengelompokkan beberapa perintah kepada Agen untuk menggantikan keberadaan makhluk hidup lain dalam mengontrol virtual classroom tersebut

APLIKASI JADI

Rancangan Agen dalam penelitian ini berupa manusia lain yang diambil dari assetstore Unity3D dikombinasi dengan desain interaksi pengenalan gesture sebagai salah satu alat pengontrol jalanya aplikasi dalam virtual classroom, dimana desain interaksi memanfaatkan alat bantu Leapmotion controller yang terdiri atas keytap dan tap gesture, swipe gesture, hold gesture dan circle gesture.

MOTION CAPTURE