鏡頭自動跟隨系統
使用 Google mediapipe 製作的鏡頭跟蹤系統,讓在家隔離的同學擁有更好的遠距教學體驗。

前言
疫情時若有同學確診必須被隔離在家,這時就必須由資訊股長(我)來操控學校採購的線上上課移動鏡頭,來跟隨老師或黑板上的重點。剛開始我還樂在其中,但過了幾天開始覺得整堂課拿著遙控器有點麻煩,不能做自己的事這樣,所以我就打算寫一個python程式來自動跟隨老師了。
原理
- 讀取整個螢幕畫面(因為鏡頭畫面是由Google meet播出去的,所以想說讀取Google meet 的螢幕畫面就好了)
- 使用mediapipe 獲取人體關鍵點
- 若腰部過於左邊或右邊則發送位移訊號
- 讀取老師手勢來達成類似手對空中抓著相機會跟著手的方向轉、手放開鏡頭就會定住的效果(未完成)
- 讀取Google meet 聊天室指令,讓在家的同學看不清楚可以傳送“放大”,或是想看黑板右側公式則傳送“向右10度”之類的指令在聊天室內,讓鏡頭做出對應動作(未完成)

心得
這次製作因為隔離政策的關係,很快就不用線上上課了,所以我的系統只有基礎功能,連實際使用的機會都沒有,有點小可惜。
因爲我都在腦袋幻想功能都完成的話,那線上上課的感覺應該很棒,老師走到哪跟到哪、老師想讓鏡頭拍哪就抓到哪,甚至在家的同學都有控制權來微調,而且完全不需人工介入,全自動,想想都很酷😂 希望之後有機會把他完成並用在好的地方(不要疫情隔離那種)。