商周二月專欄訪談唐鳳部長逐字稿
-
-
問其實我們在搜尋的時候,或者是在跟業界、有在做 AI 創業的經理人提到的時候,他們都會覺得其實這個會跟下一代的教育有關係。但我不知道這個對您來講,這個題目會不會太遠?就是如果說我們現在大量的 data,都來自於……
-
唐鳳像我剛才用 Llama,就是 TAIDE 的基礎模型,我說請翻譯成英文「他讓我很窩心」。Llama 2 就算是最大的 70b instruct code,它都翻成 "He made me feel very nervous."
-
-
-
-
-
-
唐鳳其實像 TAIDE 當時訓練的時候,就很公開説它的目的是要能夠做五個任務:自動摘要、寫信、寫文章、中翻英、英翻中。在這五件事情上面,特別以翻譯來說,包括中翻英、英翻中,特別需要準確性。
-
-
唐鳳所以像如果本來寫「我覺得很窩心」是「很高興」的意思,你不會說把它翻成 nervous 是有創意,這不可能,因為這樣它就是不準確,所以特別是在中翻英、英翻中這兩個用途上面,我們對準確性的要求特別高。
-
唐鳳當然除了「窩心」之外,還有像「我對他很感冒」,也有「很不喜歡」跟「很喜歡」的兩個反義。在臺灣這裡是很不喜歡,但是在北京話是很喜歡的意思。或者「土豆」,也是很常舉的例子。「我今天吃了土豆」,到底講的是花生還是馬鈴薯呢?
-
-
-
-
-
唐鳳但是現在,因為這個工作已經越來越自動化了,也越來越多交給語言模型。不管是先語音轉簡體、然後簡轉繁,或者是他一開始是語音轉繁體、然後繁轉簡,這都會變成對後面的那一個語言來講,像剛剛講到的「窩心」、「感冒」、「土豆」,這在簡繁轉換的時候,通常是不會代換的。
-
唐鳳所以就會變成是,從小小孩看到這些,他聽到英語然後看到這些字幕的時候,這個字幕就是不準確的。當然無論你剛剛講的兒少,或者是其實對成人教育都有影響,因為當我們在隨時看影集的時候,如果反覆看到的字雖然是繁體,但他的字幕用法都是不準確的,久而久之大家也就習慣這些不準確的用法了,就會造成溝通上很多的誤解。
-
-
唐鳳也不是完全都這樣講,入侵應該是指其中故意的成份。實際上,我們如果沒有一個我們自己的語言模型,或者是我們沒有辦法對國外的語言模型,要進入我們市場的時候,有準確性的評測能力,應該是講說我們自己不做要求吧?
-
唐鳳我們不做要求,當然人家就覺得隨便,反正都是漢字,簡繁轉換一下就好了,我們不做要求,就會導致這樣的結果。我也不覺得那些用了其他的語言模型的,好萊塢或者是其他的 AI 開發公司,這些社群大型平台,好像一定是故意用文化入侵我們。很明確地應該是說:我們如果沒有做這樣的要求、評測的話,對方一定都是用最便宜的方式應付。
-
問對,理解。其實在這個評測的重要性裡,我們的訪問第一題是,剛剛部長舉了個人的經驗,說明 AI 的準確性有多重要,但在評測的實際上評測項目裡面,它會有優先順序嗎?可能我們將「準確性」排第一,是嗎?
-
唐鳳這要看用在什麼事情上。也就是說,像剛剛講五大功能,中翻英、英翻中,是特別需要準確性的。但如果現在是寫文章,而且寫的都是像你之前題面裡有問到的,如果都是幻想、童話故事之類的,這時候它的準確性的重要性,還會不會排第一就難講了。
-
唐鳳它可能想法比較創意、比較自由,也沒有什麼太大的問題。但是翻譯或者是摘要的話,當然就會特別要求準確性,所以我覺得我們評測,是給出一個綜合的評估、一份報告。但是這份報告裡面,哪個測項比較重要,要看它的任務而定;當然翻譯是特別需要準確性的任務。
-
-
唐鳳對,但你可以想像它如果現在是要寫一個故事,就是要把「窩心」的兩個不同的意思當作故事的核心,它想要講這件事情等等,這會很有創意。但當然,它還是得掌握「窩心」在我們臺灣這邊是 very touched, warms my heart 的意思。如果它沒有掌握這個準確的先備知識,它後面也沒有辦法用這個當素材去創作出東西來。
-
-
-
唐鳳對,所以我會覺得最多可以說當它在做創作的時候,準確性未必是最重要的要求,這樣是可以的。如果你現在寫首詩,裡面有些文法或者字義不規範,那就這樣吧!我們還可以說這是詩人的特權;那如果今天是翻譯,那就沒有什麼特權可言。
-
-
-
-
-
-
唐鳳好的。特別是在講用詞的部分,因為有權威的機構,像是國家教育研究院,不管是樂詞網或其他的,對於各個學術的名詞,或者有一些相關詞、書的資訊,也會把字典詞典都收進來,這部分的問題倒比較小。
-
唐鳳基本上我們對 AI 的要求,也就是我們對教育單位的要求、學校的華語文教什麼,我們就同樣來這邊要求 AI。所以,如果我們的上游定義有錯誤,就表示我們整個語文教學都有錯誤,這個機率是比較小的。
-
唐鳳所以我們不會自己憑空發明題目,我們找這種準確性題目的時候,後面都會盡量用現有的,而且是有教育規範效力的。像剛剛講到國家教育院的雙語詞彙、學術名詞、詞書資訊網或教育部其他的資訊網等等,都可以當作我們出題的方法。
-
唐鳳你剛剛提到如果一開始訓練的資料,就像我剛剛舉的例子,Llama 一開始訓練的資料裡面,顯然「窩心」是不舒服的意思的原始資料比較多,它才會選擇這樣翻譯。但你要說它錯誤嗎?也不是錯誤,只是它沒有符合我們這邊的準確性要求而已。
-
唐鳳因為它這個預設的回答,顯然符合北京話的準確性的要求。他們那邊也可以有準確性要求,所以你不能說它原始資料有誤,你應該是說它的原始資料不是符合我們這邊的準確性的要求。這時就要透過對齊的方式。所以,像 TAIDE 在 Llama 的基礎上繼續訓練,去調整、讓它對齊,變成能夠符合我們這邊準確性要求。
-
-
-
唐鳳我們在這邊講的只是「土豆」這個字跟「花生」這個字比較近,還是跟「馬鈴薯」這個字比較近?或者是「窩心」這個字,它跟「溫暖」比較近,還是跟「不舒服」比較近?這種字的距離,好像跟我們在應用上面,所謂道德倫理,關係好像比較小一點。
-
-
-
唐鳳對,我們說隔行如隔山。其實每一個行業裡,都有類似於剛剛土豆或窩心的狀況,一個詞語都在臺灣使用,但是跨了學門意思就不一樣了。又或者是可能有一些公司或者是一些事業,它內部有一些自己約定俗成的詞或者一些簡稱,這些在外面的字典是找不到的。
-
-
-
唐鳳好比,我們現在很多翻譯社,在你給他翻譯文章的時候,你可以給他一個 glossary、一張詞彙表,然後說在我們的用法裡面,這個英文字就是要這樣翻,而不是那樣翻。所以,等於再給他一張額外詞彙表的這件事情,再進一步對齊。
-
唐鳳所以,今年一個很重要的研究方向,是因為現在開放的模型、大家可以自己下載模型,已經早就超過 GPT 3.5 的能力了,而且事實上已經非常接近 GPT 4 的能力了。很多人會說,今年一定就會超過 GPT 4 的能力——至少在純文字上——所以這個時候你就不需要去做取捨。
-
-
唐鳳去年是有這個權衡,你要就調一個比較厲害的,但你能調的範圍真的很有限。你如果想要自己從頭調過,那威力就不怎麼樣了,能力就不怎麼樣了。但在今年,特別因為是2月這波新開放的模型出來,大家發現說你在可以自行調校的前提上,它的能力都沒有比 GPT 4 差多少,或甚至一樣,這時我想就會有越來越多人,因為要自己調校的關係,會去選擇這種比較開放的模型。
-
-
唐鳳對,一個詞彙表。你這個模型拿來,配上你內部的詞彙表,然後跑個一個晚上或兩個晚上,你就有了一個學會你的這邊特殊的、能夠要求你的在地的、我們叫地端的模型。可以有一個更好的準確性、調校過的新的模型,但就是微調,稍微調一點點。
-
-
唐鳳當然OpenAI 也有賣微調服務。可是它的那個服務非常非常貴,就除非你非常有錢,不然通常付不太起。但你下載下來,在自己的機器上微調,或你租個雲端來微調,現在需要花的錢真的就很少,可能幾千塊。所以會越來越多人,因為準確性的要求,就開始去看到這種開放式的、地端可以部署的模型的好處。
-
-
-
唐鳳如果現在機器翻譯的模型,可以很容易去微調成這個滿足準確性要求,當他準確性高過專業翻譯工作者的時候,專業翻譯工作者就會變成只需要最後稍微校個稿。他大部分時間,反而是在調這個模型,而不是在翻譯文章。我想很多地方,大概都會看到類似的情況。
-
-
唐鳳我們評測的這個能力,大概今年會陸續建置。因為這主要是企業端才需要,你是一個比較大的組織,才有自己的行話,個人的行話可能沒有那麼多。所以,我不覺得像之前 GPT 一下到 2C 的時候,那樣子變成好像每個人都有點 FOMO,「這個我沒用過,是不是落伍了」這樣。
-
唐鳳所以應該不會到同樣程度的熱潮。但就實用性的要求來講的話,確實會有越來越多這樣子的需求出現,所以不會是這一、兩年內的事情,有可能三、五年內,會慢慢走向這樣的情況。現在技術上已經比較成熟了,大家感受到這種需求的程度會越來越多。
-
唐鳳你一旦有這樣子的需求,你的下游開始跟你要求準確性的話,你去挑準確性高的模型,或是你透過微調的方法、對齊的方法,讓你手上的準確性變高,這個需求才會創造出來。有了這個需求之後,就會有更多人投資在這種調整的技術上,但這些技術,都是已經成熟的技術。
-
-
-
-
問然後,這篇我應該就會用你剛剛講的「窩心」那個例子作為開頭,然後帶出準確性,它會在哪五件事情上面會是最重要的,及為什麼這件事情重要。再來,就會講這個東西它如果要落地到特定行業裡面的話,它的作法會是怎麼樣。
-
唐鳳對,我覺得你如果要舉特定行業的例子,倒不妨舉法律相關領域,不管是律師事務所或者是甚至未來公部門來使用的例子。因為法律就是一個很明確的、有它的行話的領域,也就是說,同樣的字在日常用語是一個意思,但在法律很可能是另外一個意思。
-
唐鳳像我們平常說這個有沒有「辦法」,辦法是那個意思,但是在法律裡面「辦法」完全另外一個意思,類似於「要點」。或許不一定要用「辦法」這個例子,可能再想別的例子,但法律就是一個非常需要準確性的行業,而且它的用法、行話的用法跟普通語言不一樣。
-
-
-
發布單位:數位發展部
建立日期:2024-02-06
更新日期:2024-02-27