TmP

計畫成果

本計畫團隊提出〝TmP -可觸握行動手機介面在前瞻展示科技文創產業之研究應用〞(本計畫書縮寫成〝TmP〞),主要目的乃把行動手機設計為前瞻科技文創產業中互動裝置科技藝術領域的主要可觸握互動媒介,增加創意廣度與降低成本。

本計畫整合了行動裝置技術、無線通訊技術、無線感測器技術、定位技術、擴增實境、3D影像呈現技術、網路社群科技、互動科技藝術、裝置造型設計,突破現有的室內定位技術和傳統的互動科技範疇,並研發配合手機定位的非接觸電容模組和手機握控偵測技術,希望透過本計畫之執行擴大前瞻展示科技文創產業之創意可能性與學習之效,尤其把目前民眾生活中常用的行動裝置當成主要互動媒介融入文化創意產業與活動中,讓智慧手機作為前瞻展示科技文創產業的趨勢在台灣積極與廣泛實現,未來更期望應用在更多的文創產業。

在原本本計畫書裡我們規劃三年工作重點如下:

  • 單點行動媒介:〝III AR〞可觸握行動手機介面研究與應用 (“Interactive Immersed Installation AR” TmP) 主要針對單一手機與環境進行一維深度的定位與互動,從事「單點一維溝通與定位」與「沈浸式擴增實境」跨媒介技術研究與文創作品設計。
  • 雙點行動媒介:〝3D AR〞可觸握行動手機介面研究與應用 (“3D AR” TmP) 主要針對兩個手機或平板與環境(如投影互動桌)進行手機邊框二維的定位與互動,進行「雙點溝通與定位」與「擴增實境立體化(3D)呈像」跨媒介技術研究與文創作品設計。
  • 多點行動媒介:〝Ad-hoc AR〞可觸握行動手機介面研究與應用 (“Ad-hoc AR” TmP) 主要針對多個手機或平板與社群之互動關係進行設計,手機在兩點的定位可延申至多點,針對這樣的環境進行「多點鄰接與多點溝通與定位」研究與設計。

我們在第二年執行時,發現原先三年計畫重點規劃「第一年〝單一手機定位〞」、「第二年〝雙點溝通與定位〞」、「第三年〝多點鄰接與多點溝通與定位〞」。但在第二年研發當中發覺〝雙點〞溝通與定位技術研發與多點鄰接與〝多點〞溝通與定位技術研發基本上是類似的,團隊討論後將第二年研發的技術直接跳到執行第三年的「多點」開發與設計,亦即我們在第二年直接做第三年的「〝多點鄰接與多點溝通與定位〞」。但經委員提醒「雙點溝通與定位」仍要執行,因此在第三年的執行工作中,我們又補足「〝雙點〞溝通與定位」與「擴增實境立體化(3D)呈像」跨媒介技術研究與文創作品設計,除此我們又繼續開發與設計多個「社群行動媒介」應用。我們把「多點行動媒介:〝Ad-hoc AR〞可觸握行動手機介面研究與應用」再分成拆成「〝多點〞行動媒介:〝Multi-AR TmP〞可觸握行動媒介介面研究與應用」與「社群〞行動媒介:〝Social Media-APP TmP〞社群媒體研究與應用」。

因此,三年工作重點方向,調整如下:

    • 〝單點〞行動媒介:〝III AR TmP〞可觸握行動手機介面研究與應用
    • 〝雙點〞行動媒介:〝3D AR TmP〞可觸握行動手機介面研究與應用
    • 〝多點〞行動媒介:〝Multi-AR TmP〞可觸握行動媒介介面研究與應用

主要針對多個行動媒介之間如合作溝通進行設計,行動媒介設備(手機或平板)在兩點的定位成果可延申至多點,我們強調「多點鄰接與多點溝通與定位」研究與設計。

  • 〝社群〞行動媒介:〝Social Media-APP TmP〞社群媒體研究與應用

 

主要針對多個手機與社群網站(如Google Map、Facebook與Twitter)或是真實社會中的社群人們之互動關係進行設計,我們設計開發相關APP應用並實際落實在真實社群中實現。

在第一年計畫我們已完成:〝單點〞可觸握行動手機介面研究主要針對單一手機與環境(如虛擬水池互動裝置)進行一維深度的定位與互動,從事單點一維同步與定位與沈浸式擴增實境研究與設計。第一年我們完成:(1)完成設計規劃瞻展示與互動創意內容、非接觸式電容感測與定位系統。(2)完成研發NFC單點定位技術、超音波物體接觸水面感測系統。(3)完成研發擴增實境之互動技術、G-Sensor分量控制技術。第一年主要是〝單點〞可觸握行動手機的介面研究,主要研究如何日「物件」能從不同設備躍介到單點手機做溝通與擴增實境展示。

在第二年計畫,我們把第一年研發之非接觸電容互動系統與可觸握行動手機做系統整合進行一維深度的定位與互動,進行單點一維同步與定位與沈浸式擴增實境研究與設計,我們實際完成〈躍介海精靈(單點)〉文創作品的實際製作。除此,我們也針對多個手機與環境進行手機跨越的定位與互動,進行「多點同步與定位」的pinch技術研究也實際完成〈蟲蟲圍機(多點)〉文創作品設計與製作,此作品是讓螞蟻能爬越過多個行動平板,並在最後一部行動平板圍繞著棒棒糖。
在第三年計畫,依據委員意見我們又補了〝兩點〞3D AR-可觸握行動手機介面研究與應用,我們完成〈老鼠與蘑菇森林(雙點)〉技術開發與文創作品設計;在行動科技〝多點〞溝通的可觸握行動手機介面研究與應用,我們又多做了〈向左向右看(多點)〉技術開發與文創作品設計。除此,在〝社群媒體〞整合可觸握行動手機介面研究與應用,我們又完成〈搖搖搖,相見歡(社群)〉手機社群應用,〈蟲蟲也瘋狂(社群)〉技術開發與社群應用,〈光‧相見‧因手機(社群)〉技術開發與社群應用,〈淡水老街〝社群打卡〞博物館(社群)〉技術開發與社群應用。這些在原計畫書未提到要執行的,但為了讓計畫更完整與豐富,我們多執行了這些項目。我們仍秉持著執行計畫,就是要「全力以赴」。

〝單點〞可觸握行動手機介面研究與應用
完成〈躍界海精靈(單點)〉技術開發與文創作品設計。
〝雙點〞可觸握行動手機介面研究與應用
完成〈老鼠與蘑菇森林(雙點)〉技術開發與文創作品設計。
〝多點〞可觸握行動媒介介面研究與應用
完成〈向左向右看(多點)〉技術開發與文創作品設計。
 完成〈蟲蟲圍機(多點)〉技術開發與文創作品設計。
〝社群〞行動媒介APP研究與應用
 完成〈搖搖搖,相見歡(多點)〉手機社群應用設計。
 完成〈蟲蟲也瘋狂(多點)〉技術開發與文創作品設計。
 完成〈光‧相見‧因手機(社群)〉手機社群應用設計。
 完成〈淡水老街〝社群打卡〞博物館(社群)」技術開發與文創作品設計。



研究結果

在第三年我們已完成8件可觸握行動手機介面研究與作品,也發表多篇學術論文關於 Pinch技術在多個行動科技設備的擴增實境應用、手機在可握觸控的展示應用、我們的研究成果未來可應用在(1)行動科技商業宣傳活動(週年慶、產品發表、促銷活動)、(2)手機+物聯網公共藝術應用、(3)行動平板任意拼接的互動遊戲或教育應用、(4)文創活動應用。〈光‧相見‧因手機〉研究以逆向思考顛覆大家使用手機的習慣,強調用手機就是要見面,此縮短了人與人之間的疏離感,增加彼此之間的情感交流,對社會具有正面影響,主要技術創新是讓 pinch技術結合社群媒體做網路行動藝術,這是國際罕見的手機跨域應用案例,並且我們所開發之技術可用在廣域網路且可跨平台、GPS準確性高,這作品若能在世運會讓與會人士相見,在Google Map打卡,這樣網路社群運動將會在國際與會人士中留下深刻印象。

1. 完成8件可觸握行動手機介面研究與作品

2. 學術論文發表
三年來團隊計畫相關論文發表:
(1) Chiu-Wen Wang, Su-Chu Hsu and Shih-Wei Sun(2016). “Meet by Phone – The Application and Study of Pinch in Smart Phone Netart”. The 9th IEEE International Conference on Ubi-Media Computing (uMedia 2016), Moscow, Russia, August 15-17, 2016.
(2) Chih-Yung Chang, Su-Chu Hsu, Chao-Tsun Chang, Jian-Cheng Chen and Chih-Yao Hsiao(2016). “Using Pinch Technology to Achieve Augmented Reality in Multiple Devices”. 2016 International Conference on Networks and Network Applications (NaNA2016), Hokkaido, Japan, July 23-25, 2016.
(3) Kuei-Ping Shih, Su-Chu Hsu, Yen-Da Chen, Yang-Pu Hsiao and Ramon Dario Borja Martinez(2016). “On a Tangible Interface in Interactive Media Display Using Mobile Phones”. 2016 International Conference on Networks and Network Applications (NaNA2016), Hokkaido, Japan, July 23-25, 2016.
(4) Kai-Wen Liu, I-Peng Lin, Shih-Wei Sun, Wen-Huang Cheng and Xiaoniu Su-Chu Hsu (2015). “G-Spacing: a Gyro Sensor Based Relative 3D Space Positioning Scheme”. ACM Siggraph 2015. Los Angeles, US, Aug. 9-13.
(5) 張志勇、曾建寧、黃裕雄、許素朱 (2015)。〈以Pinch技術實現多機互動的擴增實境〉。2015全國計算機會議 (NCS2015),大仁科技大學,台灣高雄市,2015年12月18,19日。
(6)王秋雯、許素朱(2015)。〈媒體空間的情感跨域創作工程~“我們見面,因手機“〉。第二屆國際科技藝術學術研討會,台灣台南市,2015年12月4日。
(7) 黃裕雄、許素朱(2015)。〈非接觸電容之可觸握行動手機介面在跨界展示科技之研究〉。第二屆國際科技藝術學術研討會,台灣台南市,2015年12月4日。
(8) 陳偉航、張志勇、許素朱、黃裕雄(2014)。〈行動裝置三維定位與握控偵測技術於文化創意產業應用之研究〉。WASN2014,台灣台南市,2014年8月26日~8月27日。

3. 文創活動展示展示
(1) 2016.11月〈光‧相見‧因手機〉松菸文創園區展出,並獲得「2016年第十一屆KT科技藝術獎」銅獎。
(2) 2016.10月〈光‧相見‧因手機〉臺北藝術大學「關渡藝術節」展出。
(3) 2015.9月〈光‧相見‧因手機〉臺北藝術大學地美館「科技藝術評鑑展」展出。
(4) 2015.5月〈光‧相見‧因手機〉臺北數位藝術中心「後喚術」展出。
(5) 2016.11月〈躍介海精靈〉第十屆台北數位藝術節暨第十屆KT科技藝術獎展出。
(6) 2016.5月 〈躍介海精靈〉Maker Faire Taipei 2016(臺北創客嘉年華會)展出。

Fig115
圖:〈光‧相見‧因手機〉於台北藝術大學地美館「科技藝術評鑑展」展出

Fig117
圖:〈光‧相見‧因手機〉於台北藝術大學大水舞台「關渡藝術節-關光節」展出

Fig118
圖:〈光‧相見‧因手機〉於台北松菸文創園區「第11屆KT科技藝術獎」展出,
並獲銅獎,右四是團對成員王秋雯。

Fig119
圖:〈躍介海精靈〉於2016台北Maker Faire展出情形

Fig120
圖:〈躍介海精靈〉於第十屆台北數位藝術節暨第十屆KT科技藝術獎展出