杜奕瑾向齊柏林致敬 用無人機360度影片記錄台南

杜奕瑾向齊柏林致敬 用無人機360度影片記錄台南
PTT創辦人要挑戰用無人機拍出360度記錄片留下台灣之美,他和團隊遇到什麼困難?如何化解?圖片來源:王建棟攝
2017-12-11
文・彭子珊
10377
杜奕瑾正用AI結合無人機,打造AI版的360度《看見台灣》,他和團隊如何克服兩大難題,成功拍出第一支影片?

6月10日,以《看見台灣》拿下金馬獎最佳紀錄片的導演齊柏林,在搭乘直升機拍攝《看見台灣II》時,不幸失事罹難。原本預計耗時一年半完成的拍攝計劃,也陷入停擺。

消息一出,震驚與不捨的聲音四起。鄉民口中的「PTT之父」、「創世神」杜奕瑾,也在臉書寫下:齊導,我們會繼續讓大家看見台灣。

怎麼用AI加無人空拍機延續齊導風格,讓觀眾繼續「看見台灣」,成了杜奕瑾回台創業的第一個計劃。

「創世神」的強項:從無到有 

22年前,台灣大學資工系還沒畢業,杜奕瑾就已經用宿舍裡的486電腦架設出PTT,逐步演化成華文世界最大的BBS網路社群。

他曾參與台灣第一代網路公司蕃薯藤的創立,2003年再到美國國家衛生研究院(NIH),參與基因序列、癌症自動化檢測等跨領域研究。

3年後,他轉進微軟位在西雅圖的總部。11年內,他從搜尋引擎「bing」的研發開始,做到人工智慧介面「Cortana」的研發總監。去年,微軟成立6000人的人工智慧團隊(AI.R.),由杜奕瑾擔任首席亞太區研發總監,負責Cortana的跨平台應用和亞洲的合作。

今年3月,他卻辭掉微軟的工作,以基金會的形式,返台創立「台灣AI實驗室」。近年,AI的熱潮逐漸升溫,台灣卻「沒有聲音」,也讓他興起回家念頭。

延伸閱讀:【獨家】「PTT之父」杜奕瑾要建設台灣人工智慧實驗基地【獨家】專訪杜奕瑾 「台灣AI實驗室」要往哪走?

「辭掉微軟,我不是很在乎這個薪水,重點是要有舞台可以做這件事。(AI是)全新領域,在哪裡做都一樣,但我最想做的地方就是台灣,所以我就回來了,」杜奕瑾說。

一開始,他也曾擔心,在台灣會不會難找好人才。結果,一週內就湧入上千封履歷。原本預期的10人團隊,也快速擴張到60人規模,讓杜奕瑾驚訝「台灣想做事的人很多,人才也多,只是沒有好題目,激發他們的熱情。」

3個月後,正好碰上了齊柏林意外逝世,就讓杜奕瑾萌生了用AI加無人機接力,延續齊導拍攝風格的念頭。

台南,就成了實驗的第一站。今年8月,復刻「看見台灣」,就正式成為南科管理局推動「智慧城市」的一環。

復刻齊導風格第一步:重組無人機

只是,要用空拍機做出齊導風格,還得從畫質和運鏡著手,克服兩大挑戰。

意外發生前兩天,齊柏林才在《看見台灣II》開鏡記者會上提到,自己偏好直升機空拍,因為在直升機上運鏡較有彈性與自由,而空拍機的畫質較不理想,「鏡頭語言也比較單調」。

《看見台灣》的拍攝過程,是齊柏林在直升機的機鼻架設專業穩定鏡頭系統,再由他本人親自坐鎮,在機艙操作。

延伸閱讀:《看見台灣》記錄片的幕後故事《看見台灣》帶給我們什麼?

少了齊導,杜奕瑾的團隊只好選擇拍攝全景360度影片,由AI辨識重要的場景和物件,貼上標籤,再仿照齊柏林風格,剪出下一個「看見台灣」。

這樣的做法,好處是降低技術門檻,流程容易規模化,只要標籤做好,就有可能自動剪接。只是,流程拆解後,魔鬼都在細節裡。

第一關,怎麼用無人機搭載高畫質相機,就是團隊的首要難題。成大航太系主任賴維祥分析,空拍機的載重能力有限,一般小型無人機「連裝滿水的寶特瓶無法負荷。」

但要提升畫質,也是兩難。空拍機的載重量有限,如果追求高畫質,專業相機的重量增加,空拍機也會太過耗電,無法上山下海。

為了擴大載重能力、提高影片畫質,賴維祥出動將近10人團隊,光是購買相機就花了至少3個月。難就難在系統整合,不只許多關鍵零組件不好買,訊號傳輸、電池、馬達、鏡頭等放大後都要無縫接軌。

載重之外,還要能像齊導一樣上山下海,從空氣動力學的角度重新設計,提升抗風能力。不斷空拍試飛,才通過初步評估,拍出台南重要景點的全景360度影片內容。

第二步:訓練AI不看人,改看風景

第二關,訓練AI,從標籤設計、構圖、背景音樂等,都要復刻齊導的拍攝風格。

9月加入,擔任技術指導的清大電機系助理教授孫民舉例,一開始系統設計是針對物品的影像辨識,要讓系統認出「戶外場景」,就得改用美國麻省理工學院(MIT)的資料庫「Places」,重新訓練。

場景辨識的難度之一,就是一般導演拍片的時候,會把焦點放在影片中間不遠處。但拍攝全景360度影片時,不一定會把重點放在中間,再加上2D轉3D會讓影像扭曲,都讓影像辨識過程中,要偵測「顯著區域」的難度增加。

也就是說,假設空拍機帶回來的360度影片,裡面拍到安平古堡、德陽艦,AI就要認得出來這些是「顯著區域」,而且還要選出對的角度,為下一階段的剪接做預備。

無人空拍機如何在飛行中找到安平古堡,並以多重精緻的角度拍攝360度影片,是杜奕瑾團隊必須克服的難關之一。(天下資料)

歷經3個多月的整合與實驗,終於「看見台南」,剪出片長一分鐘的影片。杜奕瑾透露,連片中的背景音樂,都是電腦自動產生的,要為影片內容增添「齊柏林的感覺」。

但這只是第一步,無人機真的能空拍出電影畫質?9月剛到澳洲參加無人機世界研討會的賴維祥坦言,澳洲已經研發出全新無人機,可以做出接近齊柏林電影規格的拍攝能力。

「我們從年中嘗試到現在,目前技術還沒到位,未來還要花半年到一年時間來持續研發,」賴維祥說。

用無人機復刻齊導風格,只是開始。杜奕瑾的目標更遠,要讓無人機空拍,結合智慧城市,開拓更多應用可能。

對他而言,賺錢和營運模式,都不是台灣AI實驗室的首要目標。「現在大部份東西都還沒有AI,要先把能做的事盡量普及化,之後再去想怎麼去用,」杜奕瑾說。

人工智慧怎麼結合智慧城市?賴維祥舉例,除了影像拍攝,也可以搭載感測器,空拍機飛一趟就能量測空氣污染狀況、噪音、氣壓、雨量等。要把影像拍攝、運算能力等技術,整合運用在特殊場域,賴維祥預估,至少還要2到3年才會成熟。

未來,AI不只要接棒齊柏林,更要透過城市裡的創新應用,再次吸引全球目光看見台灣。(責任編輯:王珉瑄)

其他人也在看

你可能有興趣

影音推薦

#廣編企劃|【2023 天下城市高峰論壇 #9】新竹市交通處長 倪茂榮:改善交通,必須先做出優良示範道路|天下雜誌✕未來城市

已成功複製連結