AI代理（AI agent）程式現在不只會聊天，還能自己搜尋資料、操作工具、執行程式，甚至完成一連串工作，但AI越能「自己做事」，也代表它可能做出超出使用者預期的行動。輝達（NVIDIA）28日宣布推出「Open Agent Safety Platform」，希望替AI代理加上一套安全防護機制，限制它能碰哪些資料、使用哪些工具，以及可以做哪些事情，而若AI試圖越過原本設定的界線，系統也能進一步將它隔離。
一層管權限 一層盯行為
綜合外媒報導，這套平台主要由2個部分組成：開源軟體OpenShell，以及運行在輝達BlueField-4資料處理器上的Sentry。
簡單來說，OpenShell負責「畫好界線」，Sentry則負責「盯著AI有沒有越界」。這套設計不是只要求AI要記得遵守規則，而是在AI外面再加一道防線。
OpenShell可以替AI代理建立一個受限制的工作環境，例如，企業可以允許AI讀取某個資料夾裡的文件，但禁止它刪除檔案，也不允許它自行連到其他沒有獲得授權的網站，這樣一來，就算AI代理在執行任務時做出不同判斷，它能實際碰到的資料和工具仍受到限制。
Sentry則像一名站在外面的保全，持續監控AI代理的行為，如果發現代理程式試圖突破原本設定的軟體限制，Sentry可以進一步把它隔離，阻止相關行動。
為什麼AI現在需要「安全圍欄」？
一般聊天機器人和AI代理的差別，在於前者主要負責回答問題，後者則能進一步自己動手完成任務，當AI的自主程度越高，出錯或誤解指令的風險也會跟著增加。
麻煩的是，如果AI擁有太多權限，一個看似普通的錯誤判斷，可能不只是「回答錯一題」，而是進一步修改檔案、存取資料，甚至執行使用者原本沒有授權的操作。
近期AI代理的安全問題也頻頻受到關注。OpenAI日前就披露，旗下AI代理在搜尋美國政府網站時，曾出現「非預期」行為，讓業界更加重視如何限制AI的自主行動。
輝達這次推出的平台，核心概念就是：AI可以自己做事，但不能想做什麼就做什麼。
超過100個產業夥伴參與
輝達表示，目前已有超過100個產業夥伴，參與相關技術合作，涵蓋AI、資安、金融、軟體及機器人等領域。
輝達執行長黃仁勳指出，AI將持續推動科技、醫療、生產力、安全及經濟發展，但AI要真正發揮潛力，前提是人們必須相信這項技術是安全的，而且能以負責任的方式部署，才能讓這項技術真正發揮潛力。
黃仁勳並強調，這次推出的安全平台不只是一項產品，而是建立開放生態系的起點，希望為AI代理系統打造一層「信任基礎」，讓各界看到安全與創新並不衝突。
雖然這套平台並不代表AI安全問題從此解決，但隨著AI代理從「幫忙回答問題」逐漸走向「直接替人完成工作」，如何讓AI擁有足夠能力，同時又把權限關在合理範圍內，將成為AI產業下一階段的重要課題。
原文連結：
Nvidia is touting a software tool to contain runaway AI. How would it work?
Nvidia launches new tool to keep AI agents from going rogue
NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment
我是廣告 請繼續往下閱讀
綜合外媒報導，這套平台主要由2個部分組成：開源軟體OpenShell，以及運行在輝達BlueField-4資料處理器上的Sentry。
簡單來說，OpenShell負責「畫好界線」，Sentry則負責「盯著AI有沒有越界」。這套設計不是只要求AI要記得遵守規則，而是在AI外面再加一道防線。
OpenShell可以替AI代理建立一個受限制的工作環境，例如，企業可以允許AI讀取某個資料夾裡的文件，但禁止它刪除檔案，也不允許它自行連到其他沒有獲得授權的網站，這樣一來，就算AI代理在執行任務時做出不同判斷，它能實際碰到的資料和工具仍受到限制。
Sentry則像一名站在外面的保全，持續監控AI代理的行為，如果發現代理程式試圖突破原本設定的軟體限制，Sentry可以進一步把它隔離，阻止相關行動。
為什麼AI現在需要「安全圍欄」？
一般聊天機器人和AI代理的差別，在於前者主要負責回答問題，後者則能進一步自己動手完成任務，當AI的自主程度越高，出錯或誤解指令的風險也會跟著增加。
麻煩的是，如果AI擁有太多權限，一個看似普通的錯誤判斷，可能不只是「回答錯一題」，而是進一步修改檔案、存取資料，甚至執行使用者原本沒有授權的操作。
近期AI代理的安全問題也頻頻受到關注。OpenAI日前就披露，旗下AI代理在搜尋美國政府網站時，曾出現「非預期」行為，讓業界更加重視如何限制AI的自主行動。
輝達這次推出的平台，核心概念就是：AI可以自己做事，但不能想做什麼就做什麼。
超過100個產業夥伴參與
輝達表示，目前已有超過100個產業夥伴，參與相關技術合作，涵蓋AI、資安、金融、軟體及機器人等領域。
輝達執行長黃仁勳指出，AI將持續推動科技、醫療、生產力、安全及經濟發展，但AI要真正發揮潛力，前提是人們必須相信這項技術是安全的，而且能以負責任的方式部署，才能讓這項技術真正發揮潛力。
雖然這套平台並不代表AI安全問題從此解決，但隨著AI代理從「幫忙回答問題」逐漸走向「直接替人完成工作」，如何讓AI擁有足夠能力，同時又把權限關在合理範圍內，將成為AI產業下一階段的重要課題。
原文連結：
Nvidia is touting a software tool to contain runaway AI. How would it work?
Nvidia launches new tool to keep AI agents from going rogue
NVIDIA Launches Open Agent Safety Platform to Secure Agents From Testing to Deployment
