GPT-4有何優勢與限制？如何發揮ChatGPT的能力？
ChatGPT-4和前一代有何不同？它又有哪些優勢和限制？
政治大學應用數學系副教授兼學務長蔡炎龍回應，目前看來，OpenAI訓練GPT-4和GPT-3在文字上應是運用相同的訓練資料——GPT-3（ChatGPT）大概「看」了正常人要花超過9,000輩子才能看完的資訊；也就是說，一般人讀過的資訊數量遠遠不及GPT-4讀過的。因此，GPT-4和GPT-3都比你我知道更多資訊。
蔡炎龍也說，相比兩者可閱讀的字數，GPT-4能一次看超過2.5萬個字，比GPT-3約只能看2,048個字好非常多。
- GPT-3：以GPT-3（更嚴格說是GPT-3.5）為底的ChatGPT，一次不能看那麼多字，長一點的文章，要它作摘要就做得沒那麼好，寫一個報告前後風格有時會有差異，討論事情有時方向也會突然有點改變等等。這主要都是因為GPT-3能看的字數限制。
- GPT-4：GPT-4是用一種叫transformers的架構，我們可以想成是「看完前面若干字，再預測下一個字」的模型。前面提到，GPT-3一次輸入是2,048個字，所以大概最多看前面兩千多個字，再合理預測下一個字是什麼。而GPT-4只是用神經網路的原理訓練後，計算出文句；只是它真的看過太多資訊，所以可以推出好像非常合理的文句；但是它沒有意識、沒有情緒，單純是經訓練後算出來的，而非基於事實。
蔡炎龍舉例，如果是一個名人，GPT-4可能生成的文字會合理一點；但若不是名人，比方說請GPT-4介紹「政治大學應用數學系的蔡炎龍老師」，它會知道政大是在台灣的一所大學，但因關於蔡炎龍的資訊太少，他就會依是應用數學系的老師，「合理」推出一堆文句通順但並非事實的文句。
目前，想改善這樣的問題是困難的。
微軟（Microsoft）Bing使用的方法是讓ChatGPT有搜尋的能力，這是其中一個改善的部份。更合理的方法是，既然GPT-4最大特點不是說出完全符合真實情況的東西，那為何不由使用者提供呢？
蔡炎龍認為，使用者已發現，如果提供基本資訊，ChatGPT就會生成相當好的文章；很多專家也發現，我們可以和ChatGPT「討論」一些概念，ChatGPT有時說的部份是錯的，你可以糾正它，它就會產生更好的文字。微軟執行長納德拉（Satya Nadella）用了一個很精確的詞，那就是GPT-4這類的模型，是我們的「對話型智慧代理人」（conversational intelligent agents）；代理人的意思是，它功能有多好，其實是人類的責任——也就是你越會用它，它就能發揮越多的功能。
ChatGPT是怎麼演進的？
GPT-4是由GPT、GPT-2、GPT-3逐漸演化而來的。
台灣師範大學圖書資訊學研究所特聘教授曾元顯說明，GPT是Generative Pre-trained Transformer（生成式預訓練轉換器）的簡稱；其中，「生成式」代表它可生成文字做為輸出的資訊，預訓練代表它經過大量資料的事先訓練，轉換器Transformer則是人工神經網路的一種架構，可以接受一段文字做為輸入，將其轉換成一串數值向量，使得類似的概念，有相似的向量，再進而生成相同主題的文字。
繼2017年Transformer被提出來後，OpenAI公司基於Transformer的神經網路架構以及預測下個字的訓練方式，於2018年六月提出GPT模型。由於成效良好，OpenAI公司將模型加大，於2019年二月提出可以根據人工撰寫的前導文輸出完整文章的GPT-2，2020年五月提出更大型且可依照前導文指示完成多項任務的GPT-3。
雖然GPT-3在語言理解與生成方面已屬不凡，但其生成的內容不見得非常符合使用者的意圖；因此，OpenAI遂在2022年一月發表更能符合使用任務的InstructGPT（GPT-3.5），並於2022年11月底提出可跟使用者對話、並依照指示生成回應的ChatGPT，近期則在2023年三月發表除了接受文字指示外也能接受圖片做為輸入的GPT-4模型。
GPT系列的模型越來越大，訓練資料也越來越多，接受的輸入資訊也越來越長。從一開始GPT只使用到數千萬個參數，GPT-2使用15億個參數，到GPT-3使用到1,750億個參數，但OpenAI並沒有透露GPT-4的模型大小，推測應該不會比GPT-3更大（因為更大需要更久的推論和執行時間），但可能用更多資料訓練得更久（因為Meta AI的研究指出，較GPT-3小的模型用更多訓練資料、訓練更久，可以得到跟GPT-3類似甚至超越的成效）。
因此，GPT-4有幾項優勢：
- 閱讀更多文字：GPT-4可以接受更長的輸入，最長到32K（差不多53頁的文字），比GPT-3長16倍，亦即可以理解更長的文章，回應出更長的文字。
- 文字理解與生成能力更好：GPT-4的文字理解及生成能力提升，特別是在專業與學術領域，比GPT-3更強。例如，GPT-4在模擬的律師考試方面，其成績已達前10%的程度，而GPT-3僅能達到後10%的程度。
- 文字、圖片都接受：GPT-4除可以接受文字輸入，也可同時接受圖片輸入，理解後再以文字回應。而GPT-3僅能做到文字輸入與文字輸出。
- 可操縱性更高：GPT-4更具可操縱性（steerability），亦即比前一代更易於有效的規範GPT-4回應的風格與定義GPT-4的任務。
然而，GPT-4的限制跟其前一代一樣，仍舊會有無中生有、推理錯誤、各種偏見（如性別、種族、職業等偏見）、不理解訓練資料之後發生的事物（訓練資料只到2021年9月的網路資料）。因此，在高風險的任務上，使用仍須小心，必須盡力求證。儘管如此，GPT-4回應出事實的能力比其前一代高出40%。
ChatGPT4解讀圖像的原理是什麼？
中央大學資訊電機學院資訊工程學系教授蔡宗翰解析，GPT-4是目前為止最強大的語言模型之一，它的優勢在於，GPT-4現在使用更多的訓練資料和計算資源，能夠更準確地回答問題和生成文字，並減少語言偏見的影響。
此外，GPT-4透過學習大量的文字和圖像資料，獲得更高的創造力和想像力，能生成更有趣和獨特的文字和圖像描述。它也具備解讀圖片的能力，可以從圖像中發掘關鍵資訊並生成相關的文字描述。
值得注意的是，GPT-4需大量計算資源才能運行和訓練，會消耗大量的能源，因此在某些設備上可能會難以實現。此外，即使GPT-4的準確性比之前的版本更高，仍可能出現一些錯誤，使用時需格外小心，並且進一步確認。
你ChatGPT了嗎？使用須知8件事
不焦慮！我們不只有ChatGPT技巧，也為你整理AI思考包
AI趨勢：AI如何改變未來？
AI反思：AI會取代人類嗎？它如何為人類增強能力？
AI生活：為了與AI共處，我現在能做哪些準備？
參考資料與文獻
1. Improving Language Understanding by Generative Pre-Training, https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf
2. Better language models and their implications, https://openai.com/research/better-language-models, February 14, 2019
3. Language Models are Unsupervised Multitask Learners, https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
4. Language Models are Few-Shot Learners, https://arxiv.org/abs/2005.14165, 2020-05-28.
5. Training language models to follow instructions with human feedback, https://arxiv.org/abs/2203.02155, 2022-03-04.
6. Introducing ChatGPT, https://openai.com/blog/chatgpt, 2022-11-30.
7. GPT-4, https://openai.com/research/gpt-4
8. LLaMA: Open and Efficient Foundation Language Models, https://arxiv.org/abs/2302.13971, 2023-02-27.
