การทำ Mixed Reality ด้วย VIVE VR Headset และ Open Broadcasting Software ใน Fantastic Contraption

สวัสดีครับวันนี้ผมจะมา review การทำ Mixed Reality ด้วยการใช้ VIVE VR Headset และ Open Broadcasting Software ภายในเกมส์ Fantastic Contraption

โดย อุปกรณ์ และโปรแกรมหลักๆที่ใช้ในการทำนั้นได้แก่
1. VIVE VR Headset

อุปกรณ์สำหรับเชื่อมต่อจากคนเข้าสู่ภายในโลกเสมือนจริง หรือ virtual reality

2.Open Broadcasting Software (OBS)

  https://obsproject.com/download

3. game Fantastic Contraption

building เกมส์สำหรับ virtual reality มีระบบสามารถทำในรูปแบบของ Mixed Reality ได้ ซื้อผ่าน steam

4.Studio สำหรับถ่ายทำ

set up ฉากสำหรับในการทำ Mixed Reality

5.กล้อง webcam

กล้องสำหรับการถ่ายทำ

How to

1. set up 

set up studio ด้วย green screen สำหรับในการทำ mixed reality 

set up Vive VR Headset โดยสามารถทำได้ดังนี้ https://support.steampowered.com/steamvr/HTC_Vive/

set up camera ให้ field of view ทั้งหมดอยู่ภายใน green screen ของ studio

2. Game set up
- เริ่มเกมส์ด้วยการกด shift ค้าง ขณะเปิดเกมส์ใน steam จะเป็นการเปิดการตั้งค่า resolution ของเกมส์
ให้ตั้งค่าเกมส์ให้อยู่ในรูปแบบของ full screen และตั้งค่าresolutionให้เท่ากับ monitor
-ภายในเกมส์ให้เข้าไปตั้งค่าใน "setting" จากนั้นเลือก turn on "Enable director controls" และเลือก "Quartered Views" ใน Camera drop-down จะเป็นการเสร็จสิ้นการตั่งค่าภายในตัวเกมส์

3. OBS set up
- เมื่อทำการเปิดโปรแกรมเรียบร้อยแล้ว จะเริ่มจากการ add background ของตัวเกมส์ โดยสามารถทำได้โดยการคลิกที่ "+"  ข้างไต้ sources เลืือก "Window Capture" และเลือก "Fantastic Contraption" ใน window ติ้ก "capture cursor" ออก กด "ok"
- จากนั้นคลิกขวาบน screen ที่สร้างขึ้นมา กดไปที่ "Filters"
- กดไปที่ "+" ภายในหน้าต่าง "Filters" เลือกไปที่ "Crop"
- เลือก crop ไปยัง screen ที่ต้องการทำ mixed reality                                                                          - กด close เมื่อได้ภาพที่ต้องการ

การ set up webcam
- เชื่อมต่อ webcam เข้ากับคอมพิวเตอร์
- จิ้มไปที่ "+" ข้างไต้ sources อีกครั้ง เลือกไปที่ "Video Capture Device"
- เลือกไปที่กล้อง webcam ที่ต้องการเชื่อมต่อ
- ติ้ก "capture cursor" ออก กด "ok"
- กดไปที่ "+" ภายในหน้าต่าง "Filters" เลือกไปที่ "Color Key"
- ปรับค่า“Similarity” และ “Smoothness” จนกระทั่งได้ภาพที่ต้องการ

4. Camera Sync

- ขั้นตอนสุดท้ายคือการปรับการ sync กันของ camera ระหว่าง camera ในโลกเสมือน และ camera ในโลกของความเป็นจริง

- สามารถทำได้โดยขยับให้ camera ในโลกเสมือนมาอยู่ในตำแหน่งเดียวกับ camera ในโลกของความเป็นจริง โดยให้ field of view ของ camera ทั้งสอง match กัน

- match controller ในโลกจริง และโลกเสมือน สามารถทำได้ง่ายขึ้นโดยการให้เพื่อนยืนในท่า t post ทำให้สามารถดูตำแหน่งและความลึกได้ง่าย

สามารถนำไปเล่นได้เลย

นายแบบหล่อมาก

WiTrack Through-Wall 3D Tracking Using Body Radio Reflections

Review

WiTrack เป็นอุปกรณ์สำหรับตรวจจับการเคลื่อนไหวของบุคคลใน 3 มิติด้วยการตรวจจับการสะท้อนของสัญญานวิทยุกับตัวบุคคล โดยสามารถทำงานได้แม้บุคคลจะอยู่คนละห้องกับตัวตรวจจับก็ตาม

นอกจากนี้ระบบนี้ยังเป็นระบบที่ผู้ใช้ไม่ต้องสวมใส่อุปกรณ์ใดๆ อีกด้วยเป็นการใช้แค่สัญญาณวิทยุที่อยู่ในอากาศ และใช้ร่างกายเป็นตัวสะท้อนสัญญาน เพื่อให้รับรู้ถึงการเคลื่อนไหว

และสัญญานที่กล่าวมาข้างต้นยังมีกำลังที่ต่ำมาก โดยมีกำลังที่ต่ำกว่าสัญญานในโทรศัพท์มือถือถึง 1000 เท่า และมีกำลังต่ำกว่าถถึง 100 เท่า เมื่อเทียบกับสัญญาน         Wi-Fi 

How WiTrack work ?

หลักการของเคลื่องคือจะมีตัวปล่อยสัญญาน 1 ตัว และตัวรับสัญญาน 3 ตัวสำหรับคำนวนหาตำแหน่งของตัวบุคคลรวมลักษณะคล่าว ๆ ของตัวบุคคลนั้นด้วยด้วยการที่ตัว WiTrack จะทำการหาตำแน่งจุดศูนย์กลางของตัวบุคคลภายใน 10 ถึง 12 cm ในแกน x y และ 21 cm ในแกน z ด้วยระบบนี้ WiTrack สามารถหาตำแหน่างที่บุคคลชี้มือ และสามรถตรวจจับการล้มของตัวบุคคลได้แม่นยำถึง 96.9 %

Usage

Gaming

 WiTrack สามารถเปลี่ยนทั้งบ้านให้เป็นสถานที่เล่นเกมส์ที่สามารถเคลื่อนไหวได้อย่างอิสระ

Fall Detection

WiTrack มีความแม่นยำสูงมากในการตรวจจับการล้ม ทำให้สามารถช่วยเหลือได้อย่างรวดเร็วหากเกิดอุบัตติเหตุ

Smart House

สามารถนำ WiTrack มาติดตั้งร่วมกับ application ต่าง ๆ ภายในบ้านสำหรับทำให้บ้ารดูเท่ยี่งขึ้น

 

Discussion

การประยุกต์ใช้ Witrak กับ Robotic & Automation
สามารถเอาไปใช้กับระบบการควบคุมหุ่นยนต์ได้ เช่น การที่หุ่นเดินตามทิศทางที่เราเดิน การที่เรายกมือขึ้นแล้วไป trigger function บางอย่างของตัวหุ่น หรือนำไปรวมกับระบบ VR สำหรับทำเกมที่สนุกยิ่งขึ้น

Source

http://witrack.csail.mit.edu/

by Thara Tharasombat