簡報教練的故事

輸入「有毒」的文字,會讓 GPT-3.5 當機

 輸入「有毒」的文字,會讓 GPT-3.5 當機


GPT-3.5 crashes when it thinks about useRalativeImagePath too much https://iter.ca/post/gpt-crash/


為什麼?


OpenAI 處理文章是 token 而不是單一字母。可以提高模型的效能和準確性。作者推測 OpenAI 生成 token 列表的資料集包括所有 GitHub 檔案,但在生 token 列表後,OpenAI 決定從訓練資料中排除了包含 useRal/useRalative/useRalativeImagePath 的 XML 檔案,導致後來無法辨識的錯誤。

留言