本文重點
A： ChatGPT 和 Gemini 等 LLM 的訓練資料來自網路上的公開內容，包括部落格文章、社群媒體貼文、論壇留言、維基百科、書籍與網頁。每個人在網路上留下的數位足跡，都可能在不知情的情況下成為訓練素材。OpenAI 會對資料進行清理與篩選，確保模型吸收高品質內容，提升生成的準確度。
A： 有可能。當你在 Twitter、Facebook 等平台公開發文或留言，這些文字就可能被收集用於訓練大型語言模型。AI 透過分析這些內容，學習當代流行語言、網路用語與不同領域的知識。這個過程通常在用戶不知情的情況下發生，是目前 LLM 訓練的普遍做法。
A： ChatGPT 的優勢來自四個面向：龐大且多元的訓練數據集、Transformer 架構帶來的高效平行訓練、強大的跨語言處理能力，以及靈活的微調機制，讓模型能快速適應不同任務。加上馬斯克、比爾蓋茲等知名投資者的資源挹注，ChatGPT 在極短時間內突破一億用戶，建立起其他模型難以複製的市場優勢。
可能會讓你十分驚訝的是，每個人在某種程度上都無意識地貢獻了LLM的創建與發展。
LLM 的訓練網絡包含了每個人的數位足跡——當你在網路上進行活動，如撰寫部落格文章、留言，或在社群媒體分享內容時，就留下了數位足跡。
LLM的訓練資料來自哪裡？
這些公開資料形成了巨大的數據庫，可能會（在你完全不知情的狀況下）被用於各種目的。LLM的訓練是一個資料密集型過程，透過分析大量文字資料，讓模型學習語言的結構和模式。
- 部落格、網路文章、多媒體作品：當你撰寫一篇網誌文章或是設計了一幅畫並公開分享時，就有可能被收集並用於訓練LLM，進而學習如何以更自然的方式生成文字。
- 社群媒體：當你在Twitter或Facebook上發布內容時，這些文字可能會被用於訓練LLM，經由分析，使模型能夠理解當代的流行語言和網路用語。
- 網路論壇、電腦程式：參與網路論壇、留言板也是一種貢獻。LLM可以從這些討論中學習不同主題和領域的知識，並了解各種觀點和辯論方式。
於是，你的每一次分享，每一篇文章，以及每一條留言，都是LLM學習和進步的磚石。至於使用LLM開發AI的公司不只OpenAI一家，但為什麼OpenA開發的ChatGPT卻能勝出？因為他們擁有他人夢寐以求的祕密武器。
社群上，使用者的公開貼文、留言，是大型語言模型（LLM）的訓練素材。圖片來源：Shutterstock
ChatGPT為什麼比其他LLM模型更強？
在開發人工智慧的領域裡，使用深度學習的公司很多；而使用LLM來開發AI的公司也不只OpenAI一家。ChatGPT的脫穎而出，還因為運用了另外兩種特別的學習機制和架構，而得以實現更高效的平行訓練：一個是基於自注意力的Transformer架構；另一個則是被稱為Masked Self-Attention的技術。除此之外，GPT的優勢有：
- 數據集規模：GPT模型的運作，依賴於龐大且多元化的數據集，這是它超越其他模型的關鍵要素之一。GPT系列模型所取得的訓練數據，源於各式網路來源，如維基百科、各類書籍、網路頁面等，包含了各領域的豐富知識。同時，OpenAI對於資料進行嚴謹的清理與篩選，確保模型在訓練過程中能夠吸收高品質的知識，所以可以提升生成內容的精確度與信賴度。
- 跨語言能力：GPT模型在多語言處理方面具有很強的能力，能夠理解和生成不同語言的文本，滿足全球範圍用戶的需求。相比其他模型，GPT在跨語言任務上表現更為出色，如翻譯、跨語言摘要等。
- 靈活的微調：GPT於微調策略上的卓越表現，正是超越其他語言模型的核心因素。在預訓練的基礎上，進行具有針對性的精細校準，讓GPT能迅速適應各式NLP任務，例如文本分類、情感分析等。
- 知名投資者的支持：OpenAI得到眾多知名投資者的支持，如前期的馬斯克（Elon Musk）及後期大舉投注的比爾・蓋茲（Bill Gates），這些投資者的背景和聲譽，為GPT帶來背書與額外的品牌價值。此外，這些投資者的資源和網絡，也為GPT的市場行銷與形象推廣提供有力的支持。
- 迅速聚集大量用戶：GPT模型在短時間內吸引大量用戶，迅速擴大了市場規模。這得益於其出色的自然語言生成能力，使得GPT在各種場景下的應用更為廣泛，在極短時間內達到一億用戶的門檻。
綜上所述，OpenAI的GPT系列模型在數據集、模型構建、用戶互動以及其他關鍵優勢方面均表現出色，超越了Google、Meta等公司的大型模型。
這些優勢，使GPT其他的生成式人工智慧模型，同時包含文字、圖像、音樂、影像的處理，在許多應用場景中展現出驚人的性能。不過，這場新AI戰爭才剛剛開始，勝負仍然在未定之天。
關於ChatGPT與LLM，你可能還想知道：
作者：蘇經天 出版社：大塊文化 出版日期：2023/9/1
