當無辜的AI技術成為駭客幫凶時, 對於過度依賴於AI的我們又有什麼影響呢?
相信近來,大家不論在工作、生活、娛樂都已經大量的使用ChatGPT來輔助我們了, 也發覺到奇怪, 怎麼常常答非所問甚至答案可能都是用猜測的, 它剛開始讓我們感覺是無所不能的知識博士, 但實質上在零背景知識底下可能引發出一本正經胡說八道的幻覺, 而這種幻覺產生出來的回答可能被有心人士拿來利用, 比如說開發人員詢問一個關於URL的處理套件, 可能由於訓練的語料仍未更新, 因此回答出舊有的錯誤資訊, 輕則影響當事人的判斷決策資訊,重則被有心人士利用, 製作有害的套件庫讓開發人員使用,進而引發更大的連鎖效應。
就在2023/06/10時發布了這樣的消息,Vulcan安全風險管理廠商研究報告指出Chatgpt的幻覺將為開發人員帶來系統開發的漏洞…
來源:Researchers Warn That ChatGPT Can Be Used To Spread Malicious Code
安全風險管理廠商Vulcan怎麼做
首先, 它們蒐集了許多程式語言開發的問題, 將問題縮小到「如何做?」, 在最短的時間內獲得最多的不存在套件回答, 獲得這些套件之後, 接下來…
高達 35 %的套件庫都是幻覺的
“在 Node.js 中,我們提出了 201 個問題,並觀察到其中超過 40 個問題引起了至少一個尚未發布的包的響應。
我們總共收到了 50 多個未發布的 npm 包。
在 Python 中,我們提出了 227 個問題,其中 80 多個問題,我們至少收到了一個未發布的包,總共提供了 100 多個未發布的 pip 包。”
概念驗證
這個程式將會將裝置的主機名稱、套件來源以及包含模組檔案的目錄絕對路徑傳送到威脅角色的伺服器…
接著,一位「受害者」出現,問了和攻擊者相同的問題,ChatGPT建議了包含「惡意」程式碼的套件以及如何安裝它, 確實如預期,該套件被安裝並啟用。
研究人員解釋了接下來發生的事情:
「受害者按照ChatGPT的建議安裝了惡意套件,攻擊者根據我們對node index.js的預安裝呼叫,從受害者那裡收到了資料,其中包括了長主機名稱。」
雖然並不構成真正威脅,但這樣的概念展示已經證明了攻擊的可行性, 因此我們開發或者使用時也應該非常小心, 避免相信錯誤的資訊導致錯誤的發佈與決策。
如何避免?
研究人員建議,在下載和安裝任何軟件包之前,最好先查找可能表明該軟件包可能是惡意的信號。
查找諸如創建日期、下載次數以及是否缺少正面評論以及是否缺少任何附加到圖書館的註釋等信息。
結語
一開始當我們對於Chatgpt還非常陌生時也常常陷入AI無敵的幻覺,被這樣突如其來的黑科技給震驚一番,但隨著使用的頻率越來越多之後,也漸漸產生問題,甚至給出錯誤的答案,當我們使用AI的過程中也不應該失去獨立判斷的能力,這才是我們人類的最高價值。
留言
張貼留言