วิดีโอสาธิตและทดสอบการประยุกต์โปรแกรมการเพิ่ม – ลดเสียงของเครื่อง MacOS โดยใช้ลักษณะของมือ ผ่านกล้อง Webcam

Image placeholder
แวะมาทักทายกันได้


 

วิดีโอด้านบนนี้ เป็นการสาธิตและทดสอบการประยุกต์โปรแกรมการเพิ่ม ลดเสียงของเครื่อง MacOS โดยใช้ลักษณะของมือ ผ่านกล้อง Webcam ซึ่งจะมีเนื้อหาที่เกี่ยวข้อง เป็นรายละเอียดคร่าวๆ ได้เขียนอธิบายไว้ด้านล่างนี้ สามารถไปศึกษาค้นคว้าต่อได้เลยครับ

 

Computer Vision คืออะไร  


Computer Vision เป็นแขนงหนึ่งของวิทยาการปัญญาประดิษฐ์ หรือ AI (artificial intelligence) โดยการฝึกฝนให้คอมพิวเตอร์สามารถเรียนรู้และเข้าใจ ซึ่ง Computer Vision นั้นจะมีการวิเคราะห์ผ่านปัญญาประดิษฐ์ทำความเข้าใจต่อรูปภาพนั้นว่ามันคืออะไร และทำให้ตอบสนองต่อรูปภาพได้อย่างฉลาด มากขึ้น

 

Hand Tracking คืออะไร  


Hand Tracking เป็นการประยุกต์ใช้ Computer Vision และ Object Detection เพื่อตรวจจับลักษณะของมือ (Hand Gesture) หากใช้เคยใช้กล้องดิจิตอลอย่างเช่น Compact Camera อาจจะเคยเห็นฟังก์ชัน Focus ใบหน้ากันมาบ้าง แนวคิดก็จะคล้ายๆกันเพียงแค่ Hand Tracking จะตรวจจับ และ ติดตามมือเพียงเท่านั้น ซึ่งจะต้องใช้ Machine Learning และ Deep Learning มาช่วยในการจัดการการเคลื่อนไหวต่างๆ โดยที่ Google ได้ออกแบบ MediaPipe แพลตฟอร์ม AI แบบ Open Source ที่ช่วยในเรื่องนี้โดยเฉพาะ

 

MediaPipe Hands (https://google.github.io/mediapipe/solutions/hands.html)

 

Code ทั้งหมดสามารถ Download ไปลองทดสอบหรือลองเล่นได้เลยตาม link ด้านล่างครับ โดยมี comment อธิบาย เอาไว้ใน code แล้ว สามารถอ่านคำอธิบายใน comment และมาดูภาพประกอบได้ตามภาพด้านล่าง

 

Code : https://github.com/skl-songkiat/HandDetection




ภาพที่ 1 code บรรทัดที่ 99 แสดงค่า Framerate ของ Video

 

 


ภาพที่ 2 code บรรทัดที่ 38  เรียกใช้งาน Module HandTrackingModule เพื่อเรียกฟังก์ชันการตรวจจับท่าทางของมือ




ภาพที่ 3-1 code บรรทัดที่ 43 Log แสดงตำแหน่งของนิ้วโป้ง (4) และ นิ้วชี้ (8)




ภาพที่ 3-2 code บรรทัดที่ 43  landmark ตำแหน่งของนิ้ว ใน Library MidiaPipe




ภาพที่ 4 code บรรทัดที่ 50  Mark ตามตำแหน่งที่ต้องการ ในที่นี้ คือ นิ้วโป้งและนิ้วชี้





ภาพที่ 5 code บรรทัดที่ 58  แสดงเส้นระหว่างนิ้วทั้งสอง




ภาพที่ 6 code บรรทัดที่ 60  แสดงตำแหน่งกึ่งกลางของเส้น



ภาพที่ 7 code บรรทัดที่ 58  แสดงถึงจุดที่นิ้วแตะกัน




ภาพที่ 8 อย่าลืมติดตั้ง Library OsaScript สำหรับควบคุม Volume บนเครื่อง Mac กันด้วยเพื่อทำตามในโปรเจคนี้กันได้





นอกจากนี้ ผู้ที่ได้ลองเอา Code ไป Run แล้วจะต้องทำการทดสอบโดยดู Log ใน Terminal ประกอบไปด้วยเพื่อความเข้าใจที่มากขึ้นนะครับ



แวะมาทักทายกันได้
donate