什麼是 ChatGPT 以及如何使用它？

這就是 ChatGPT，以及為什麼它可能是自現代搜索引擎以來最重要的工具

OpenAI 引入了一種名為 ChatGPT 的長格式問答 AI，它可以對話式回答複雜的問題。

這是一項革命性的技術，因為它經過訓練可以了解人類提出問題時的意思。

許多用戶對它提供人類質量響應的能力感到敬畏，激發了一種感覺，即它最終可能有能力破壞人類與計算機的交互方式並改變信息的檢索方式。

什麼是聊天 GPT？

ChatGPT是OpenAI基於GPT-3.5開發的大型語言模型聊天機器人。它具有以會話對話形式進行交互並提供令人驚訝的人性化響應的非凡能力。

大型語言模型執行預測一系列單詞中的下一個單詞的任務。

Reinforcement Learning with Human Feedback (RLHF) 是一個額外的訓練層，它使用人類反饋來幫助 ChatGPT 學習遵循指示並生成人類滿意的響應的能力。

誰建立了 ChatGPT？

ChatGPT 由總部位於舊金山的人工智能公司 OpenAI 創建。OpenAI Inc. 是營利性 OpenAI LP 的非營利性母公司。

OpenAI 以其著名的 DALL·E 而聞名，這是一種深度學習模型，可根據稱為提示的文本指令生成圖像。

首席執行官是 Sam Altman，他之前​​是 Y Combinator 的總裁。

微軟是10 億美元的合作夥伴和投資者。他們共同開發了Azure AI 平台。

大型語言模型

ChatGPT 是一種大型語言模型 (LLM)。大型語言模型 (LLM) 使用大量數據進行訓練，以準確預測句子中接下來出現的單詞。

人們發現，增加數據量可以提高語言模型做更多事情的能力。

根據斯坦福大學的說法：

“GPT-3 有 1750 億個參數，並接受了 570 GB 文本的訓練。相比之下，其前身 GPT-2 的參數量為 15 億個，小了 100 多倍。

這種規模的增加極大地改變了模型的行為——GPT-3 能夠執行它沒有明確接受過訓練的任務，比如將句子從英語翻譯成法語，幾乎沒有訓練示例。

這種行為在 GPT-2 中幾乎不存在。此外，對於某些任務，GPT-3 優於經過明確訓練以解決這些任務的模型，儘管在其他任務中它不盡如人意。”

LLM 預測一個句子中一系列單詞中的下一個單詞和下一個句子——有點像自動完成，但在一個令人費解的範圍內。

這種能力使他們能夠編寫段落和整頁內容。

但法學碩士的局限性在於他們並不總是能準確理解人類的需求。

這就是 ChatGPT 通過上述人類反饋強化學習 (RLHF) 培訓改進現有技術的地方。

ChatGPT 是如何訓練的？

GPT-3.5 接受了來自互聯網的大量代碼和信息數據的訓練，包括 Reddit 討論等來源，以幫助 ChatGPT 學習對話並獲得人性化的回應方式。

ChatGPT 還使用人類反饋（一種稱為人類反饋強化學習的技術）進行訓練，以便 AI 了解人類在提出問題時的期望。以這種方式訓練 LLM 是革命性的，因為它不僅僅是訓練 LLM 預測下一個單詞。

2022 年 3 月的一篇題為“訓練語言模型以遵循人類反饋的指令”的研究論文 解釋了為什麼這是一種突破性的方法：

“這項工作的動機是我們的目標是通過訓練大型語言模型去做一組給定的人類希望他們做的事情來增加大型語言模型的積極影響。

默認情況下，語言模型會優化下一個單詞預測目標，這只是我們希望這些模型執行的操作的代理。

我們的結果表明，我們的技術有望使語言模型更有用、更真實、更無害。

使語言模型更大並不能從本質上使它們更好地遵循用戶的意圖。

例如，大型語言模型可能會生成不真實的、有毒的或對用戶沒有幫助的輸出。

換句話說，這些模型與他們的用戶不一致。”

構建 ChatGPT 的工程師聘請了承包商（稱為貼標機）對 GPT-3 和新的 InstructGPT（ChatGPT 的“兄弟模型”）這兩個系統的輸出進行評級。

根據評級，研究人員得出以下結論：

“與 GPT-3 的輸出相比，標記者更喜歡 InstructGPT 輸出。

InstructGPT 模型在真實性方面比 GPT-3 有所改進。

InstructGPT 顯示毒性比 GPT-3 略有改善，但沒有偏差。”

該研究論文得出結論，InstructGPT 的結果是積極的。不過，它也指出還有改進的餘地。

“總的來說，我們的結果表明，使用人類偏好微調大型語言模型可以顯著改善它們在廣泛任務中的行為，儘管要提高它們的安全性和可靠性還有很多工作要做。”

ChatGPT 與簡單的聊天機器人的不同之處在於，它經過專門訓練，可以理解問題中的人類意圖，並提供有用、真實且無害的答案。

由於該培訓，ChatGPT 可能會挑戰某些問題並丟棄問題中沒有意義的部分。

另一篇與 ChatGPT 相關的研究論文展示了他們如何訓練人工智能來預測人類的偏好。

研究人員注意到，用於評估自然語言處理 AI 輸出的指標導致機器在指標上得分很高，但與人類的預期不符。

以下是研究人員如何解釋這個問題：

“許多機器學習應用程序優化簡單的指標，這些指標只是設計者意圖的粗略代表。這可能會導致問題，例如 YouTube 推薦宣傳點擊誘餌。”

因此，他們設計的解決方案是創建一個人工智能，該人工智能可以輸出針對人類偏好進行優化的答案。

為此，他們使用人類對不同答案進行比較的數據集對 AI 進行了訓練，以便機器能夠更好地預測人類認為令人滿意的答案。

該論文分享了培訓是通過總結 Reddit 帖子完成的，並在總結新聞時進行了測試。

2022 年 2 月的研究論文名為Learning to Summarize from Human Feedback。

研究人員寫道：

“在這項工作中，我們表明可以通過訓練模型來優化人類偏好來顯著提高摘要質量。

我們收集了一個大型、高質量的人類比較摘要數據集，訓練一個模型來預測人類偏好的摘要，並將該模型用作獎勵函數，以使用強化學習微調摘要策略。”

ChatGPT 的局限性是什麼？

毒性反應的局限性

ChatGPT 經過專門編程，不會提供有毒或有害的響應。所以它會避免回答這類問題。

答案的質量取決於方向的質量

ChatGPT 的一個重要限制是輸出質量取決於輸入質量。換句話說，專家指導（提示）會產生更好的答案。

答案並不總是正確的

另一個限制是，因為它經過訓練可以提供人類感覺正確的答案，所以這些答案可能會欺騙人類輸出是正確的。

許多用戶發現 ChatGPT 可以提供不正確的答案，包括一些非常不正確的答案。

編碼問答網站 Stack Overflow 的版主可能發現了人類認為正確的答案的意外後果。

Stack Overflow 充斥著從 ChatGPT 生成的用戶回复，這些回复看起來是正確的，但很多都是錯誤的答案。

數以千計的答案讓志願者主持人團隊不堪重負，促使管理員對發布由 ChatGPT 生成的答案的任何用戶頒布禁令。

ChatGPT 的大量回答導致了一篇題為：臨時政策：ChatGPT 被禁止的帖子：

“這是一項臨時政策，旨在減緩使用 ChatGPT 創建的答案和其他內容的湧入。

……主要問題是，雖然 ChatGPT 產生的答案有很高的錯誤率，但它們通常“看起來”“可能”不錯……”

Stack Overflow 版主使用看似正確的錯誤 ChatGPT 答案的經歷是 ChatGPT 的製造商 OpenAI 在宣布新技術時意識到並警告的事情。

OpenAI 解釋了 ChatGPT 的局限性

OpenAI 公告提出了這個警告：

“ChatGPT 有時會寫出看似合理但不正確或荒謬的答案。

解決此問題具有挑戰性，因為：

(1) 在 RL 訓練期間，目前沒有真實來源；

(2) 訓練模型更加謹慎導致它拒絕可以正確回答的問題；和

(3) 監督訓練會誤導模型，因為理想的答案取決於模型知道什麼，而不是人類演示者知道什麼。”

ChatGPT 可以免費使用嗎？

ChatGPT 目前在“研究預覽”期間免費使用。

該聊天機器人目前已開放供用戶試用並提供有關響應的反饋，以便 AI 能夠更好地回答問題並從錯誤中吸取教訓。

官方公告稱，OpenAI 渴望收到有關錯誤的反饋：

“雖然我們努力讓模型拒絕不適當的請求，但它有時會響應有害指令或表現出有偏見的行為。

我們正在使用 Moderation API 來警告或阻止某些類型的不安全內容，但我們預計它目前會有一些漏報和漏報。

我們渴望收集用戶反饋，以幫助我們正在進行的改進該系統的工作。”

目前有一場比賽，獎金為 500 美元的 ChatGPT 積分，以鼓勵公眾對回復進行評分。

“鼓勵用戶通過 UI 提供有關有問題的模型輸出的反饋，以及來自外部內容過濾器（也是界面的一部分）的誤報/否定。

我們對有關在現實世界、非對抗性條件下可能發生的有害輸出的反饋，以及幫助我們發現和理解新風險和可能的緩解措施的反饋特別感興趣。

您可以選擇參加 ChatGPT 反饋競賽3，有機會贏取高達 500 美元的 API 積分。

可以通過 ChatGPT 界面中鏈接的反饋表提交參賽作品。”

目前正在進行的比賽將於 2022 年 12 月 31 日太平洋標準時間晚上 11:59 結束。

語言模型會取代谷歌搜索嗎？

谷歌本身已經創建了一個名為LaMDA的 AI 聊天機器人。谷歌聊天機器人的性能非常接近人類對話，以至於一位谷歌工程師聲稱LaMDA 具有感知能力。

鑑於這些大型語言模型如何能夠回答如此多的問題，像 OpenAI、谷歌或微軟這樣的公司有一天會用 AI 聊天機器人取代傳統搜索，這是否牽強附會？

Twitter 上的一些人已經宣布 ChatGPT 將成為下一個谷歌。

問答聊天機器人有朝一日可能會取代谷歌的場景讓那些以搜索營銷專業人士為生的人感到恐懼。

它引發了在線搜索營銷社區的討論，例如流行的 Facebook SEOSignals Lab，有人問搜索是否可能從搜索引擎轉向聊天機器人。

測試過 ChatGPT 後，我不得不承認，擔心搜索被聊天機器人取代並非沒有根據。

該技術還有很長的路要走，但可以設想混合搜索和聊天機器人的未來搜索。

但目前 ChatGPT 的實施似乎是一種工具，在某些時候需要購買積分才能使用。

如何使用 ChatGPT？

ChatGPT 可以以特定作者的風格編寫代碼、詩歌、歌曲，甚至短篇小說。

遵循以下方向的專業知識將 ChatGPT 從信息源提升為可以用來完成任務的工具。

這使得它對於撰寫幾乎任何主題的文章都很有用。

ChatGPT 可以作為生成文章甚至整部小說大綱的工具。

它幾乎可以回答任何可以用書面文本回答的任務。

結論

如前所述，ChatGPT 被設想為公眾最終必須付費才能使用的工具。

ChatGPT 向公眾開放後的前五天內，已有超過一百萬用戶註冊使用。