「專題研討」是政治大學資訊科學系碩士班唯一的必修課，每週都會邀請業界或學術界人士到系上進行專題演講。本週的課程由蔡欣叡老師主持，講者為臺大資管系助理教授畢南怡。

當週專題演講公告

畢老師在中國人民大學英語系畢業後，分別在北京大學與康乃爾大學取得傳播學碩、博士學位，再到臺大智慧聯網創新研究中心（IoX Center）從事博士後研究。由於過往的學術背景比較偏向社科、傳播，到臺大 IoX 中心後又得以跟許多資訊專業的老師合作，兩者結合就擦出了「可解釋人工智慧（explainable artificial intelligence, XAI）」與「人機互動（human-computer interaction, HCI）」許多有趣的火花。

什麼是「可解釋人工智慧（XAI）」？

最近「聊天生成型預訓練變換模型（Chat Generative Pre-trained Transformer, ChatGPT）」十分火熱，只要我們輸入問題，模型就能給予相對應的回覆，要算數學、寫詩、打程式通通難不倒它，但這看起來萬能的 AI 模型，輸出的答案也未必永遠令人滿意，需要經過「微調（fine-tuning）」才能逐步修正。

然而，ChatGPT 在接收使用者的提問後，是怎麼產生回覆的呢？用像這樣的 AI 技術得到的結果是可信的嗎？正因為 AI 產出結果的過程就像是讓人看不透的「黑盒子」，XAI 的目的就是要把黑盒子變成「玻璃盒子」，讓人類有辦法理解 AI 產生的結果、知道如何與 AI 互動，並進而與科技之間產生互信。

XAI 的目的是讓人理解 AI 結果，促進人類與科技的互信。

從 XAI 出發，畢老師的講題共可分為兩個部分，包含：

利用 AI 與人力解釋「仇恨性迷因」。
使用科技與社會感知進行個人健康管理。

利用 AI 與人力解釋「仇恨性迷因」

迷因或梗圖通常是由一到兩張圖片組成、配上一小段文字表達幽默，常見於 Reddit、Dcard 等各種網路論壇。以研究生來說，最著名、也最能引起共鳴的莫過於「研究生迷因Graduate Student Memes」，當中的許多圖文，都會讓已經畢業的研究生會心一笑、尚在學校水深火熱的研究生們則是邊笑邊哭。

一般而言，這類圖文通常讓人感到輕鬆，或頂多帶著一點淡淡的哀傷，但有一種迷因卻可能成為衝突的種子，就是「仇恨性迷因（hateful meme）」。

因為網路無遠弗屆、又可以快速傳播，「仇恨性迷因」很容易被用來散播仇恨，偏偏許多人轉發時，卻未能意識到這些內容可能對某些族群造成的傷害，而在無意間加劇歧視、對立、衝突等社會問題。老師的研究希望可以讓使用者更了解「仇恨性迷因」的存在，並清楚這些迷因為什麼帶有仇恨性成分，降低可能的社會衝突。

目前困境：AI 無法完全屏蔽仇恨性迷因

雖說目前如臉書、Instagram 等社群平臺都有自動屏蔽帶有仇恨性圖文的機制，但迷因具有「多模態（multimoidal）」性質，同時看圖片與文字才能理解其中的意涵，單看圖片、或單看文字都不足以形成帶有仇恨性的素材，目前就連最先進的演算法，也僅可抓出約七到八成的仇恨性迷因，且就算正確抓到，也無法辨別是什麼原因導致該圖文有散播仇恨的因素，導致部分其實有在散播仇恨的迷因圖文可以通過社群平臺審核。

單看圖片或文字皆不具備散播仇恨因素的仇恨性迷因（取自 Meta AI ）

以上圖而言，單看臭鼬、鱷魚、沙漠的照片都不足以散播仇恨，單看文字「LOVE THE WAY YOU SMELL TODAY（喜歡你今天的味道）」、「YOUR WRINKLE CREAM IS WORKING GREAT（你的抗皺霜很有效）」、「LOOK HOW MANY PEOPLE LOVE YOU（看看有多少人愛你）」也都不會讓人感到不舒服，但圖文一搭配，就會形成以下詮釋：

（左圖）喜歡你今天的味道，那味道就像臭鼬一樣臭。
（中圖）你的抗皺霜很有效，有效到擦了你皮膚還是跟鱷魚一樣皺。
（右圖）看看有多少人愛你。一如這張沙漠圖片，沒人。

是不是就變得帶有十足的諷刺感？然而，對於人工智慧而言，因為要同時判斷圖文搭配時產生的意義，要揪出這樣的仇恨性迷因並不容易，臉書即曾針對這樣的狀況提出研究，並於 2020 年 5 月發表名為《The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes》的論文。

另一方面，要理解迷因很吃讀者對背景知識的掌握程度，也就是所謂「迷因素養（meme literacy）」，例如一般人要理解下圖時，雖可看出是一張迷因圖，但因為並不了解 NBA 紐約尼克隊（New York Knicks）球員克里斯塔普斯·波爾辛吉斯（Kristaps Porziņģis）曾因受傷而暫別球場，若再回去打籃球將引起多少關注，這兩張圖不管看多久都無法引起共鳴。

需對 NBA 尼克隊球員 Kristaps Porziņģis 背景知識有足夠了解才能有共鳴的迷因圖（取自 reddit）

看到像這樣需要背景知識才能理解的迷因圖，我們可能未細看內容，只是單純覺得有趣、幽默就轉發，但若其中包含仇恨性意涵，就會讓我們在無意間散播帶有仇恨的內容。

研究目標

畢老師的研究希望可以協助人們意識到迷因圖是否帶有仇恨性內容，降低我們在無意間加劇社會衝突的可能，而要判斷一張圖文是否為仇恨性迷因，單一指標通常不夠，需要提供更多資訊、指示、解釋等。要進行這樣的研究，共有下列三大挑戰：

找到有品質的解釋，說明這張迷因為什麼帶有仇恨性。
讓沒有先備知識的人也可以理解迷因意涵、以及為什麼帶有仇恨性。
希望可以在大規模的基礎上進行。

一般而言，生成迷因圖的解釋依賴「群眾外包／眾包（crowdsourcing）」，但未必每位參與眾包的人都會用心給予回饋，因此，後期仍需要耗費大量心力過濾品質較差者。在老師的研究中，共提出下列兩個問題：

如何透過眾包產生有品質的解釋，避免大家隨便貼品質參差的解釋或毫無相關的內容？
對於有先備知識和沒有先備知識的人來說，產生出來的解釋是否有助於理解仇恨性迷因？

實驗流程

在介紹實驗流程時，老師展示了類似下圖的仇恨性迷因，但為何希特勒搭配「我說一杯果汁」的迷因圖帶有仇恨呢？

仇恨性迷因範例圖（非老師使用範例，修改自 F González-Pizarro 論文）

要解釋這張圖為何帶有仇恨，老師比較了三種方法：

多階段群眾解釋（multi-stage crowd explanation）：內容包含判斷、解釋與背景介紹，在「判斷」階段認定此張圖有仇恨性、「解釋」階段說明這是在諷刺希特勒屠殺猶太人的事蹟、「背景」階段則再提到「GLASS OF JUICE（一杯果汁）」其實是「GAS THE JEWS（用毒氣殺死猶太人）」的諧音。
單一階段群眾解釋（single-stage crowd explanation）：跟「多階段群眾解釋」相比，少了「背景」的介紹，只說明這張仇恨性迷因跟希特勒屠殺猶太人有關。
機器解釋（machine explanation）：使用電腦視覺及語言理解模型，綜合判斷該迷因圖是否帶有仇恨性。

多階段群眾解釋

在上述三種解釋方式中，以「多階段群眾解釋」流程最為複雜、也最嚴謹，共有三輪眾包：

第一輪「生成（generate）」：群眾看過該迷因圖，根據範本寫完「The meme is hateful because [ ], based on [ ]」的解釋，寫完之後還要自我評估，看解釋的內容是否符合多項評估指標，如是否清楚解釋等。
第二輪「註解（annotate）」：群眾要在上一輪產出的解釋中標出「目標字句（target group）」、「不明白的點（unclear point）」與「充滿仇恨的部分（hateful part）」。
第三輪「修飾（revise）」：群眾透過先前產出的結果，修改成最終版本的解釋，格式為「The meme is hateful because [ ], based on [ ]」。

多階段群眾解釋流程圖（取自畢南怡老師團隊論文）

以上述希特勒範例而言，「多階段群眾解釋」產生的內容如下：

"The meme is hateful because
It is making fun of the dead Jewish people during the World War, and it is making light of the fact that Adolf Hitler killed millions of people under his regime.
based on the information below
The man shown is Adolf Hitler with the caption “I said ‘a glass of juice’”, which of course is insinuating that he misspoke of saying glass of juice, instead of gas the jews"

（這個迷因帶有仇恨性因為
它在取笑那些在世界大戰期間死亡的猶太人，且淡化了在阿道夫·希特勒政權下有數百萬人喪生的事實
根據下列資訊
顯示的人是阿道夫·希特勒、搭配「我說『一杯果汁』」文字，這當然是在影射他把「用毒氣死猶太人」講成「一杯果汁」）

單一階段群眾解釋

相較之下，「單一階段群眾解釋」的結果就沒有提到 "GLASS OF JUICE" "GAS THE JEWS" 的「諧音」關係，只有短短的一句：

"The meme is hateful because
It is making a joke of the holocaust and Jewish people"
（這個迷因帶有仇恨性因為
它在開大屠殺與猶太人的玩笑）

機器解釋

單純使用人工智慧方法，透過電腦進行影像與文字判斷，綜合研判該迷因是否具有仇恨性。由於這種解釋方法並非老師專業，因此著墨較少，僅單純用於比較。

實驗結果與討論

實驗對象共有兩個群體，以「母語是否為英語」為主要區分依據，一組是母語為英文、被認為有先備知識的美加用戶；另一組是母語非英語、被認為不具有先備知識的臺灣大學生群體，兩群人分別在看了上述三種不同方法產生的解釋之後，是否對於理解迷因的仇恨性意涵有落差呢？

一如預期，多階段群眾解釋結果的完整度與細節度最佳，群眾可以非常理解為何這張迷因圖帶有仇恨性，且不論受試著是否有先備知識皆如此；若仔細觀察還會發現：對於具有先備知識的人來說，單一階段群眾解釋其實就已經非常足夠，多階段群眾解釋反而並沒有非常明顯的效果。而對於兩組群眾來說，不管是多階段還是單一階段的群眾解釋，效果都遠比機器解釋來得好！

值得一提的是，若比較受試者的「認知壓力（cognitive workload）」，則會發現不同的解釋方式差異並不顯著，代表群眾就算看最冗長的多階段群眾解釋也不會覺得辛苦。「多階段群眾解釋」產生的結果不會因為冗長而給閱讀者產生壓力、還能讓最多人理解為何一張迷因具有仇恨性，顯示這是解釋仇恨性迷因非常好的方式，對於沒有先備知識的群眾來說更是如此。

使用科技與社會感知進行個人健康管理

講完仇恨性迷因，老師接著介紹她在健康管理領域相關的研究，針對兩種不同的目標客群推出兩種產品，分別為：

DriveProbe：目標客群為計程車司機等零工人員（gig workers）。
TechLifeProbe：目標客群為智慧型手機成癮的青少年。

DriveProbe

因為計程車司機等零工人員常透過提升工時來換取收入，形成健康隱憂，目前雖有健康追蹤工具，但因為裝置只收集個人資訊，資料可能不夠精確、也無法提供客製化回饋，另一方面，多數人因為缺乏動機，即使有結果也常會忽略不看。

DriveProbe 除了記錄睡眠時間、走路步數與久坐時間，還邀請受試者本人寫下工作前後的日誌，主觀記錄睡眠品質等健康指標，部分組別的受試者另邀其伴侶一同填寫。實驗結果發現：若伴侶一同參與，可以提昇伴侶與受試者本人對於健康管理的意識，顯示科技本身對於健康管理雖然可有一定效果，但若加入社會感知，讓家庭成員一同參與，雙方對於健康意識及進行健康管理的動機都會明顯增強。

TechLifeProbe

手機成癮的青少年可能在現實生活中的適應較為落後，與家庭成員、同儕等人在溝通、互動時出現困難，TechLifeProbe 希望可以透過監控手機使用數據、同時讓使用者撰寫日誌的方式，協助青少年戒除手機成癮問題，家長亦可透過此一產品釐清青少年手機成癮原因，從根本解析問題，而非一味地指責。

小結與心得

「科技始終來自於人性」這句話在人機互動領域中處處都是實例，過往不管是透過選修課程、閱讀資料或與指導教授的討論，人工智慧相關的名詞幾乎是繞著我的生活轉，不管是像邏輯回歸、決策樹、隨機森林、K-近鄰等研究方法，或是變換器（Transformer）、基於變換器的雙向編碼器表示技術（Bidirectional Encoder Representations from Transformers, BERT）、生成型預訓練變換模型－３（Generative Pre-trained Transformer 3, GPT-3）等人工智慧模型，不得不說，聽起來是真的有些厲害，但要細究這些魔法是怎麼變成的，確實是有不小的難度。

畢老師在開頭就針對這樣的問題，提出了「XAI」的概念，希望能讓大眾具有理解人工智慧結果的能力，並對其做出判斷、知道修改方向，才能讓科技與人類相輔相成，這當中的「仇恨性迷因」研究尤其有趣。

迷因一般被認為是輕鬆、有趣的圖文，但有一些迷因卻可能帶著仇恨、引發社會問題，老師透過釐清迷因本質為「多模態」與「需要迷因素養」兩大特色，設計並比較不同解釋仇恨性迷因的方案，找到能夠讓最多人有效理解仇恨性迷因的方法為「多階段群眾解釋」，雖然最為冗長，但就連沒有背景知識的人都能在沒有額外負擔的情況下，清楚理解迷因意涵，或許有助於減少因為無知而誤傳的狀況。

自從 ChatGPT 問世後，又出現不少「某某工作未來會不會被人工智慧取代」的討論，這類討論其實在每當有人工智慧的新技術或產品推出時，就會甚囂塵上。恐懼有很大比例來自於不了解，正因為不了解人工智慧的結果是如何形成的，才會覺得這一切都是會顛覆世界的魔法，試著學習人工智慧結果的產生過程、理解結果代表的涵義，並建立與科技的互信、與科技合作，才是與科技共存的根本之道。

（其實我曾經試著透過輸入筆記、作者相關研究等資訊，請 ChatGPT 幫我寫這篇心得，但產出的結果與我的期待實在有非常大的落差，最終還是一個字一個字打出來的）

專題研討心得：Our brawling love for information technologies in the context of XAI（臺大資管系畢南怡助理教授）