文章專區

2013-02-01數位影像辨識的應用—實現即時影音教學傳播系統 518 期

Author 作者 蔡超人/任教台灣科技大學電機工程系。李慶銘/台灣科技大學電機研究所碩士。

針對一般學校教室等之演講場合,都以人工的方式去操作攝影機在旁側錄,以供當時未參與的學員有學習的機會,若以數位信號處理器(Digital Signal Processor, DSP)實現智慧型即時影音教學的傳播系統,將能全自動即時追蹤錄影以取代人工操作的錄影傳播。由於數位訊號處理器具有執行速度較快,整體效能佳、特殊硬體及指令設計可達成真正的即時運作的優點。建構一套獨立運作之教學傳播系統,應用在上課或演講場合的環境中,以影像分析為基礎自動控制 PTZ(Pan/Tilt/Zoom)攝影機追蹤演講者於畫面中,對於演講者的特殊姿態也能夠加以特寫,如寫字時能夠放大影像等,且能夠錄製保存,以提供在未來能夠調閱,使未及時參與的學員能有學習的機會。與人工操作攝影機的方式相比較,會因為許多個人因素而導致無法全程專心拍攝教學影片,而本文所提出之系統將不會有此問題,並且能夠節省人力資源成本。

 

系統架構

為發展一套智慧型無人操控的即時教學傳播系統,在硬體方面採用具有高效能的數位信號處理器開發平台,提供影像編解碼器可同時輸入兩台攝影機的訊號,其中搭配一台場景攝影機,而另一台為 PTZ 攝影機,並且以串列傳輸介面 RS-232 加以控制旋轉與變焦等,另外還有音訊傳輸與乙太網路傳輸介面等,以音訊輸入介面輸入無線麥克風模組所擷取的音訊資料,而透過乙太網路傳輸介面則可將影像與音訊傳送到遠端,以建立網路架構的影音傳輸,而整合開發的軟體則燒錄於模組中的記憶體,以實現獨立運作之系統。本系統設計可以使用單攝影機或雙攝影機模式下操作,由管理透過遠端人機介面選擇,若使用單攝影機模式系統以 PTZ 攝影機所擷取影像做為目標物偵測及姿態分析,若使用雙攝影機則以場景攝影機為主,PTZ 攝影機為輔,分別處理全景影像的監視和特定目標物偵測及姿態分析。

如圖一的系統硬體配置圖所示,其中包含
有各種硬體裝置的模組元件如下: (1)DSP 處理器開發板 (2)場景攝影機與 PTZ 攝影機 (3)LCD 顯示器 (4)無線麥克風模組 (5)遠端人機介面

圖一:系統硬體配置圖。

 
 

系統處理流程

在本教學傳播系統中,對於其影像處理的演算法可分為若干處理程序,以進行影像的辨識與追蹤處理。首先為影像辨識處理程序,主要由場景攝影機畫面分離前景與背景資訊,再由前景中選取目標物,並且搜尋目標物的頭部端點、手部端點與質心位置以建立上半身骨架,再與預先建立好的姿態碼本資料庫相比對,而 PTZ 攝影機的控制則由目標物的位置以及姿態用以判斷該下達何種指令,在場景中目標物的座標位置,可透過座標轉換方式,轉換為 PTZ 攝影機相對旋轉角度,以達到雙攝影機協同追蹤之功能。……【更多內容請閱讀科學月刊第518期】