微知識引擎，共同打造無窮複利

  當無辜的AI技術成為駭客幫凶時， 對於過度依賴於AI的我們又有什麼影響呢？ 相信近來，大家不論在工作、生活、娛樂都已經大量的使用ChatGPT來輔助我們了， 也發覺到奇怪， 怎麼常常答非所問甚至答案可能都是用猜測的， 它剛開始讓我們感覺是無所不能的知識博士， 但實質上在零背景知識底下可能引發出一本正經胡說八道的幻覺， 而這種幻覺產生出來的回答可能被有心人士拿來利用， 比如說開發人員詢問一個關於URL的處理套件， 可能由於訓練的語料仍未更新， 因此回答出舊有的錯誤資訊， 輕則影響當事人的判斷決策資訊，重則被有心人士利用， 製作有害的套件庫讓開發人員使用，進而引發更大的連鎖效應。 就在2023/06/10時發布了這樣的消息，Vulcan安全風險管理廠商研究報告指出Chatgpt的幻覺將為開發人員帶來系統開發的漏洞… 來源： Researchers Warn That ChatGPT Can Be Used To Spread Malicious Code 安全風險管理廠商Vulcan怎麼做 圖片來源 首先， 它們蒐集了許多程式語言開發的問題， 將問題縮小到「如何做？」， 在最短的時間內獲得最多的不存在套件回答， 獲得這些套件之後， 接下來… 高達 35 ％的套件庫都是幻覺的 圖片來源 “在 Node.js 中，我們提出了 201 個問題，並觀察到其中超過 40 個問題引起了至少一個尚未發布的包的響應。 我們總共收到了 50 多個未發布的 npm 包。 在 Python 中，我們提出了 227 個問題，其中 80 多個問題，我們至少收到了一個未發布的包，總共提供了 100 多個未發布的 pip 包。” 概念驗證 這個程式將會將裝置的主機名稱、套件來源以及包含模組檔案的目錄絕對路徑傳送到威脅角色的伺服器… 接著，一位「受害者」出現，問了和攻擊者相同的問題，ChatGPT建議了包含「惡意」程式碼的套件以及如何安裝它， 確實如預期，該套件被安裝並啟用。 研究人員解釋了接下來發生的事情： 「受害者按照ChatGPT的建議安裝了惡意套件，攻擊者根據我們對node index.js的預安裝呼叫，從受害者那裡收到了資料，其中包括了長主機名稱。」 雖然並不構成真正威脅，但這樣的概念展示已經證明了攻擊的可行性， 因此我們開發或者使用時也應該非常小心， ...

  Google安全AI框架（SAIF）提出6項核心元素，以協助AI產業設立各種安全標準 Secure AI Framework（SAIF）是一個概念性框架，為建立和部署安全的AI系統提供清晰的行業安全標準。它受到軟體開發中的安全最佳實踐的啟發，同時結合了對AI系統特定的安全趨勢和風險的理解。 就讓我們一起來看看Google發表的安全AI框架核心元素吧！ 重點摘要: 六大重要核心元素 在AI生態系統中擴展強大的安全基礎 圖片來源 這包括利用過去二十年建立的默認安全基礎架構保護和專業知識來保護 AI 系統、應用程序和用戶。 與此同時，發展組織專業知識以跟上 AI 的進步，並開始在 AI 和不斷發展的威脅模型的背景下擴展和調整基礎設施保護。 例如，像 SQL 注入這樣的注入技術已經存在了一段時間，組織可以採用緩解措施，例如輸入清理和限制，以幫助更好地防禦提示注入式攻擊。 擴展偵測和響應，將AI納入組織的威脅範圍 圖片來源 及時發現和回應與AI相關的網絡安全事件，將威脅情報和其他能力擴展到組織內。對於組織來說，這包括監控生成式AI系統的輸入和輸出，檢測異常，以及使用威脅情報預測攻擊。這需要與信任和安全、威脅情報和反濫用團隊的合作。 自動化防禦，跟上現有和新興的威脅 圖片來源 最新的AI創新可以提高對安全事件的規模和速度的應對。對手可能會利用AI來擴大他們的影響，因此利用AI及其當前和新興的能力保持機動靈活和成本效益的保護對策是很重要的。 通過統一平台級控制確保組織內一致的安全性 圖片來源 跨控制框架的一致性可以支持跨不同平台和工具的 AI 風險緩解和擴展保護，以確保以可擴展且具有成本效益的方式為所有 AI 應用程序提供最佳保護。 根據AI部署調整控制措施，創建更快的反饋循環 圖片來源 通過持續學習不斷測試實施方式，確保檢測和保護能力應對不斷變化的威脅環境。這包括根據事件和用戶反饋進行強化學習等技術，包括更新訓練數據集，對模型進行細調以戰略性應對攻擊，並允許用於構建模型的軟體在上下文中嵌入更多安全性（例如，檢測異常行為）。 在周圍的業務流程中將AI系統風險置於上下文中 圖片來源 進行與組織如何部署AI有關的端到端風險評估，以幫助做出決策。這包括評估從數據來源到驗證和操作行為監控等的端到端業務風險。 看來隨著AI的蓬勃發展之下， 安全議題也逐漸浮上...

  新聞原文： 推特不僅是聊天，還可預金融市場？聯準會製作推特金融情感指數 (TFSI)  自從Chatgpt的出現, 越來越多領域漸漸開始將AI導入，包括美國聯準會也不例外，過去透過各方數據來產生報告並評估升息與否, 大部分都是藉由人類的討論與判斷決策, 但如果數據報告不夠真實將導致決策者決策錯誤, 近年的暴力降息與暴力升息在市場上就有不少的聲音指出聯準會的反應太慢, 導致錯誤的決策衍生出一連串補救的政策, 而AI正是彌補人類決策錯誤的最大助手, 人機合作的未來也正在發生中...。 聯準會公布的一篇論文「   More than Words: Twitter Chatter and Financial Market Sentiment 」探討了推特中的聊天與金融情緒之間的關係。    圖片來源  看到此情此景讓人不禁聯想到CNN的「fear and greed index」, 有興趣的朋友不妨參考一下「  【金融理財系列】 - 市場上的恐懼與貪婪如何衡量？ 你會如何使用這套指標呢？ 」, 只不過這兩者的差異是聯準會的FEDS數據來源更貼近社交圈, 或許與傳統的調查相比更真實的得知第一線狀況, 也才有了此篇論文的出現, 至於準不準, 就讓我們繼續看下去吧！ 以下是相關的報導，以Google搜尋「推特金融信心指數」就能出現不少這樣的報導：    圖片來源     圖片來源  相信聯準會也意識到AI的重要性了, 當大家生活重心逐漸轉往網路之後, 許多言論也具有參考價值, 甚至能夠反映出人民真實的心聲。 馬斯克也早就提醒過聯準會了...  不滿持續升息「恐引發嚴重衰退」　馬斯克吐槽：聯準會資料太舊  聊聊背後技術 從「 More than Words: Twitter Chatter and Financial Market Sentiment  」論文可以得知其技術涵蓋了BERT、FinBERT...等自然語言處理領域的技術, 也看到了 「4.4 million」條貼文這個數字, 相信聰明的我們都知道就算是機器的運算也需要耗時一大段時間, 何況是我們人類使用傳統的方法去統計跟計算呢？ 一定是會耗費掉不少人力的, 且歸納其中的關聯性也不是我們一兩個人能夠完成, 但機器不一樣, 只要我們想辦法將人類的語言試...