文章專區

＊本篇文章與陽明交通大學人工智慧普適研究中心（PAIR labs）合作刊載＊

依據估計，全球視障人數將從2015年的3600萬增加到2050年的1.15億以上，這些視障者的生活需要社會與政府的更多關注。最基本的戶外行動時，視障者最常採用白手杖或導盲犬協助，但是白手杖無法提供重要的訊息，例如障礙物位置、類型、距離，這些資訊對於視障者的環境感知和移動安全是很重要的。導盲犬雖可協助視障人士避開障礙物，然而飼養和訓練導盲犬的成本非常高，而且在臺灣視障者需要排隊申請，等待至少數個月以上才有機會領養到導盲犬，所以大多數的視障朋友，是不會考慮的。因此許多研究人員嘗試為視障人士開發各種輔助設備，希望能引導視障者安全地行動。目前國際上已經開發了許多輔助裝置來實現這些目標，其中大部分依賴於智慧型手機、各種感測器或電腦視覺等。

新開發的
視障戶外行動輔助系統設計與功能

筆者實驗室在科技部的計畫補助下，發展了一套視障人士使用的可穿戴的戶外行動輔助系統，此系統包含一個嵌入式設備由Nvidia公司出產的人工智慧運算平台Jetson AGX Xavier，一個ZED 2的雙眼相機，以提供影像的物件深度檢測和120度廣角視野，AGX中還安裝了一個語音提示管理器，在AGX和耳機之間連接了一個語音卡，可以產生語音提示。

整個輔助系統如圖一所示，由容量為5200mAh的鋰電池供電（圖一a），充滿電（16.8V）的電池可提供約2.5小時的系統運行時間。電池和AGX安裝在視障者的背板上，ZED 2固定在用戶帽子的邊緣（圖一b），耳機連接語音卡，語音指令會輸出給視障者，這些功能可以為視障人士提供了極大的方便性與安全感。

圖一：整個輔助系統的外貌（a）背板上的AGX、電池和語音卡；（b）帽子上的ZED 2。

圖一顯示的是系統硬體配置，而系統軟體功能含有Fast-SCNN和YOLOv5兩個深度學習模型，在AGX上執行環境識別任務。Fast-SCNN的環境分割圖與ZED 2提供的深度圖的結果可以識別視障者面前的可步行區域並建議步行方向。YOLOv5與ZED 2的輸出深度圖可以偵測辨識前方的障礙物，並計算出該障礙物離視障者的距離。此外，語音提示管理器會為視障者播放有關障礙物和步行能力的語音指令。

整個輔助系統可以對於視障者提供以下協助：以語音指引視障者行走；可以在環境中辨識出人行道與斑馬線，指引視障朋友安全地行走在人行道或斑馬線上；辨識並避開人行道上的常見障礙物，如機車、汽車、行人等。若有其他障礙物，雖不在YOLOv5辨識範圍內，但也會指引視障者去避開它，換句話說就是以語音指引視障者可以安全前進的方向、障礙物的種類、以及如何避開障礙物等。

指引步行方向與辨識障礙物的主要技術

此系統是如何辨識辨識人行道與斑馬線的？我們採用快速分割卷積神經網絡（Fast-SCNN）來識別室外環境，包括人行道、斑馬線、樓梯和柏油路，辨識出來的畫面如圖二所示，因為我們只要辨識人行道和斑馬線以供視障人士步行，所以圖二a處（人行道）與b處（斑馬線）區域是需要提供給視障朋友的。

根據我們實驗的數據，人行道與斑馬線的I O U（intersection over union）大約在85％左右，對於視障朋友來說參考性已很足夠。換句話說，非人行道（a）與斑馬線（b）區域就是不能行走的區域，該區域就被視同障礙物應該避開。Fast-SCNN雖然可以在視障者面前識別出上述4種街道環境，但不能給出視障者前面的環境距離，因此以ZED 2提供了前方圖像的深度圖以解決這個問題。此外，我們利用視障者面前的深度影像圖，對比於空曠無任何障礙物的深度圖，算出一個指標值稱為Conf_d值可以稱為「空曠度」，其值介於0∼1之間，或是-∞。前面愈空曠，Conf_d值愈趨近於1；近距離有障礙物愈靠近視障者，Conf_d值愈趨近於0，若是-∞表示障礙物就在眼前了。另外還有一個指標值稱為「安全度」，以Conf_s值來表示，也是介於0∼1之間，它是以Fast-SCNN 的結果圖來做計算。當圖二中的a、b區域面積愈多，表示前面是人行道或斑馬線的比例愈大，Conf_s值就愈趨近於1，對視障者而言是較安全的行走區域；反之就越趨近於0。因此根據以上兩個指標圖，我們就可以做「行走導引」的安排，導引安全的前進方向。

圖二：左邊是ZED 2 拍出的街景圖像，右邊是Fast-SCNN 的輸出結果。（作者提供）

行走導引把視障者前面的影像，經過Fast-SCNN及ZED2的距離量測以後，可以計算以上兩種指標值，接著我們把Fast-SCNN的畫面平均分個7個直方區，如圖三所示，每一直方區均算出兩個指標值，兩個指標值中取其小者當作決定指標Conf，如圖三中每一直方區中有3個數字，最上面的數字為Conf_s值，中間為Conf_d值，最下者為Conf，根據Conf值 我們就可以指引視障者該走哪一方向是安全的。

我們歸納視障者的行走指引如下：
• 情況一：如果最中間分區的Conf 值≥0.5（如圖三a)，則選擇中間分區方向前進，並且語音提示給出「直行」的指令，指引視障者走在斑馬線上。

• 情況二：如果最中間分區的Conf值 <0.5，則在所有分區中找到Conf 值最高的分區，且其值大於0.2，則引導視障者走向那個分區，語音提示給出「稍微向右／稍微向左」、或「右／左」等指令。如圖三b會取左邊數來第三區的方向，語音提示「稍微向左」，圖三b是指引視障者走在人行道上。

• 情況三：如果所有直分區的Conf值都小於0.2，說明前方是死路，語音會播放「死路」，如圖三c，此圖是指引視障者前無人行道也無斑馬線，必須掉頭尋找另一條路。

當視障者在以上輔助系統的引導下，雖然可以知道最安全的前進方向，然而在行走的道路上仍可能出現障礙物。因此我們使用YOLOv5 AI模型進行障礙物檢測和識別。考慮到道路上最常見的6類必須檢測的物體，包括摩托車、自行車、人、汽車、卡車、公共汽車。YOLOv5的輸出是一個可以識別物件的邊界框。例如圖四所示，邊界框頂部的數字是對物件識別的可信度值。此外，視障者與障礙物之間的距離是從ZED 2中獲得的。如果障礙物的位置出現在視障者面前圖像的中間分區，並且足夠接近至前方3公尺範圍內，輔助系統將引導視障者避開障礙物，同時語音提示會告知正在接近的障礙物是甚麼。例如位於圖五中右起第三和第四分區的汽車距離視障者6.43公尺，當視障者向前走，直到汽車距離在3公尺以內時，語音就會提示視障者「前有汽車」，並提醒視障者避開。當視障者遇到6 類之外的障礙物或有物件懸掛在半空中會阻礙視障者時，即使YOLOv5無法識別是何種障礙物，視障者仍然可以藉著上面所提7個分區行走導引方法避開障礙物。

圖三：分割圖及指標值。（作者提供）

視障者實際試驗結果

我們邀請了一位視障者對輔助系統進行實驗，他是一位後天視障者，除了對光有非常微弱感覺以外，視力幾乎是0。視障者背上該輔助系統的原型，在桃園高鐵捷運站周圍的戶外進行實驗。一開始視障者只需對著麥克風說出想去的地方（語音辨識與通訊是另一研究題目，不在此贅述），系統就會提供目標點的座標，再利用Google地圖規畫從出發點到目標點的路線。在本實驗中，步行路線長度約為280公尺，實驗結果發現，如果忽略語音提示的時間消耗，系統的處理速度約為6 FPS（每秒幀數），其中每幀的處理包括0.09秒的畫面環境辨識分割、0.06秒的障礙物檢測和深度測量，0.0145秒用於各種指標計算並決定前進方向，處理速度足以滿足使用者的即時性要求。

每一次的實驗，大約需要3∼4個小時，進行7∼8回合，實驗步行路徑必須包括人行道和斑馬線。我們在該捷運站周邊找了3種不同的路徑進行了實驗，即使實驗時視障者走的是同一條路徑，我們也會在不同的位置放置不同障礙物，以驗證系統能否引導視障者避開那些障礙物。這邊必須一提的是本系統並未具備辨識紅綠燈的功能，臺灣有一家名為資拓宏宇公司開發的一個交通號誌平台「Invignal」提供路口的交通號誌狀態和時間，讓我們省了很多研究時間與心力。

經過多次測試，視障實驗者給了我們一些意見回饋如：
1. 本系統對視障者很有幫助，他表示肯定；
2. 視障者很希望知道周圍有哪些物體，但又不喜歡提示語音播放太頻繁干擾情緒；
3. 系統提供的步行引導策略，給視障者很大的安全感，可大大減少定向訓練的次數和時間；
4. 視障者希望輔助系統更輕更小，甚至可以完全取代白手杖；
5. 視障者需要花一些時間來熟悉這個輔助系統，希望該系統可以更友善、更容易上手。

我們也要在此說明，因本系統的各種AI模型都是在白天與非雨天情況下蒐集資料訓練，因此只要在亮度足夠的天氣下，不管陰天或黃昏，實驗結果都可以接受。但是在雨天有積水時就會影響人行道辨識，會造成此系統幾乎失效。就算在雨天沒有積水的情況下，識別人行道和斑馬線仍是不穩定的。此外，光線太暗也會影響辨識結果，此系統在夜間效果不佳，或者不同亮度的路燈也可能會混淆Fast-SCNN的輸出結果。為了改進讓系統在雨天和夜間也能運行，需要收集大量額外的雨天和夜間訓練數據，未來我們會朝此方向繼續研究。另外為了視障者的安全及尊重他們對白手杖的依賴度與信任度，實驗時我們仍然讓視障者使用此輔助系統與白手杖並行。

（123RF）

我們必須承認，在此階段我們尚未邀請到足夠的視障人士來進行測試，因為在臺灣短時間內很難找到大量視障人士進行測試。但是在我們邀請視障者進行每一次實驗之前，都會要求本實驗室的幾個（大約5∼6名）學生提前戴上眼罩進行多次實驗，所以實驗次數非常多。本文只是提供了一個視障者輔助系統的原型，以及一個幫助視障者戶外行走的初步結果。未來我們將繼續尋找更多視障者進行試驗，以驗證所提供系統的有效性，並再求功能的改進。

1. 感謝科技部編號110-2634-F-008-005計畫經費的補助，使計畫能順利完成。
2. 感謝視障人士輔仁大學白郁翔博士生的實驗協助。
3. 感謝資拓宏宇國際股份有限公司提供交通號誌平台「Invignal」協助實驗。

參考文獻
1. Kate Cheng, Experimental video of the visually impaired using wearable devices, https://www.youtube.com/watch?v=G5QkhQY7h5M(accessed on 24 September 2021), 2021/1/7.
2. I-Hsuan Hsieh et al., A CNN-Based Wearable Assistive System for Visually Impaired People Walking Outdoors, Applied Sciences, 2021.
3. 謝易軒，〈基於 AI 技術之視障人士的行進避障及超商辨識與引導〉，國立中央大學碩士論文，2021年7月。