文章來源 / Okta Official Blog
預測未來AI對於全球經濟的影響是很令人震驚的。
據 McKinsey 統計，生成式 AI 每年可為全球經濟注入相當於4.4兆美元的經濟價值。PwC預測，到2030年，人工智慧對全球經濟的潛在貢獻可達到15.7兆美元，超過中國和印度目前的經濟產出總和。
推動這些的因素是 AI 那不可否認的提升生產力的能力，企業領導者迫切渴望能夠善加利用。透過生成式AI應用，如ChatGPT、Midjourney和GitHub Copilot，公司可以提高生產力、激發創新並提高效率。
Okta 執行長Todd McKinnon 曾在十月Axios "AI時代的未來網路安全（The Future of Cybersecurity in the AI Era）" 圓桌討論中表示：「現在正是一個非常令人興奮的時刻，有了這麼多關於我們如何運用人工智慧的潛力：我們如何使我們的組織更加成功，我們如何善加利用它來實現我們的使命。但另一方面是它也存在著風險。」
您將會在網路犯罪的世界中看到這個反面的全貌。正如合法的企業使用生成式AI來快速擴張規模並提高生產力一樣，網路犯罪份子也在利用這一技術。
現在，使用生成式AI的網路犯罪份子只需要不到3秒的音頻，就能夠複製某人的聲音，然後用來欺騙該家人，讓他們認為親人受傷或遇到麻煩，或者欺騙銀行員將錢轉出受害者的帳戶。生成式AI還會被用於創建名人的深偽技術（deepfakes），利用名人的肖像來製作影片和逼真的偽照圖，引誘毫無防備的粉絲參與詐騙。
而這些都是新出現的例子，網路釣魚，一種幾乎與網路本身一樣古老的社交工程手段，也在不斷增加。據 Zscaler 報告，2022年網路釣魚攻擊比前一年增加了 47%。這一增長的一個主要因素就是生成式AI。
報告中指出“從黑市獲取的網路釣魚套件以及像ChatGPT這樣的聊天機器人人工智慧工具的廣泛使用，已經使攻擊者迅速發展出更有針對性的網路釣魚活動。”
為何由生成式 AI 協助的攻擊有所增加？
借助生成式AI，網路犯罪份子比以往任何時候，都更容易將個人和公司與其金錢和數據分開。低成本、易於使用的工具，再加上公開的數據（例如個人照片、語音錄音、社交媒體上分享的個人詳細資訊等）的激增以及處理這些數據的演算法，使得網路威脅更加擴大和複雜。只要知道如何發起指令（prompt）：將自然語言指令輸入到AI大型語言模型 (LLM, large language model, 例如ChatGPT）或文本轉圖像模型（例如StableDiffusion）中，即使沒有編碼、設計或寫作經驗的人也可以在短短幾秒內提升能力，促使生成全新的內容。
人工智慧的自動化能力也意味著不法份子可以更輕鬆地擴大操作，例如網路釣魚活動，而這些活動在不久以前，還是需要進行繁瑣的手動操作，且需要投入大量資源和成本的。隨著攻擊量的增加，攻擊成功的可能性也隨之增加，而這些成功的成果又被整合到更複雜的網路犯罪中。
利用生成式 AI 增長的詐騙為經濟帶來什麼影響？
雖然很難準確地確定僅由人工智慧所驅動的攻擊，會對我們造成多少損失，但請思考這一點：在2015年 Cyber Security Ventures 預測全球每年網路犯罪的成本約為3兆美元。快轉到其2023年10月的報告：“我們預計未來兩年內全球網路犯罪損失成本將每年增長15%，到2025年將達到10.5兆美元。” 而生成式AI僅僅是在推動進展。
政府高層人員也對人工智慧表示擔憂，2023年10月30日，美國拜登（Joe Biden）總統發佈了一項關於 “ 人工智慧安全、可靠和值得信賴的發展和使用的行政命令。”
白宮的一份聲明中寫道：「隨著人工智慧的能力增長，它對美國人安全和安全性的影響也隨之增加。透過這項行政命令，總統指示採取有史以來最全面的行動，以保護美國人免受人工智慧系統潛在風險的威脅。」
消費者的擔憂也在增加。據 CivicScience 2023年10月報告 美國成年人中有41%表示對於他們在經常使用的公司中的數據被駭客竊取感到“非常擔憂”，相較於2022年底的季度平均值36%，呈現增加的趨勢。在人工智慧方面，根據2023年8月的Pew Research Center survey的一項調查顯示，52% 的美國人表示對該技術在日常生活中的使用增加感到「更擔憂而不是興奮」。鑑於在財務和消費者信心方面都面臨著如此巨大的風險，企業和個人都有必要了解生成式AI如何被用於不正當目地，這顯得非常重要。
以下是不法份子使用生成式AI來擴大攻擊規模的方式，未來的趨勢以及如何防禦這些行為的一個總覽。
生成式 AI 如何幫助網路犯罪份子更智能、更快速地運作呢？
儘管人工智慧並非新興技術，但向大眾提供強大的生成式AI應用卻是相對新的。自從 2022 年11月 OpenAI 將 ChatGPT 推向世界以來，我們已經看到這項強大的技術被用於合法和詐欺目的。
語音克隆 （Voice cloning）
語音身份驗證曾被視為下一個重要的安全識別方法，但生成式AI的語音克隆能力已經動搖了這一領域。如前所述，不法份子只需要某人說話的一小段音訊，就能生成一個聲音複製品，聽起來自然且可被提示說任何話。這些語音克隆有多真實？在2023年5月，道德駭客利用語音克隆成功欺騙《60分鐘》該節目的一名工作人員，讓其在大約五分鐘內交出敏感信息，所有這些都是在攝影機運作時的情況下進行的。目前正在努力打擊這些克隆技術：Okta 最近發布了一項關於檢測人工智慧生成語音的專利。
影像和視訊處理（Image and video manipulation）
蓋爾金（Gayle King）、湯姆漢克斯（Tom Hanks）、野獸先生（MrBeast）：這些是最近登上頭條新聞的名人，可並不是為了他們的最新計畫。2023年初秋的時候，名人的人工智慧深度偽造（deepfakes）出現在網路上，詐騙份子利用他們的肖像來欺騙毫無戒心的公眾。這不僅僅關乎名人的名譽，更是混淆了真相，在事實最為重要的地方（例如全球舞台或法庭上），造成混亂和不確定性。大量相對便宜且易於使用的生成式AI應用的激增，使深度偽造（deepfakes）的製作變得輕而易舉且成本低廉。
文字創作 （Text creation）
過去辨識釣魚郵件的方式相對簡單：訊息中是否充滿語法和標點錯誤？那麼這可能是詐騙管道中的第一步。但在人工智慧時代，這些標記信號（pilcrow）已經過時。生成式AI可以跨越無數語言創造出有說服力且無瑕疵的文字，從而導致更廣泛、複雜和個性化的網路釣魚型態出現。
程式碼生成（Code generation）
憑藉生成式AI，”用更少的人力做更多的事”不僅僅適用於人力，也適用於實際知識。生成式AI的編碼和腳本編寫能力，使缺乏或沒有編碼能力的網路犯罪份子更容易開發和發動攻擊。這種降低進入門檻，可能吸引更多人進入網路犯罪生態系統並提高營運效率。
密碼破解（Password cracking）
密碼存在一個問題：創建和使用它們的人類。隱私專家長期以來一直建議大眾要創建強密碼，並且永遠不要重複使用。然而，並非所有人都在聽從這些建議。根據 NordPass 的數據 “password” 是2022年最常用的密碼。人們通常選擇對他們有特殊意義的密碼（例如最喜歡的運動隊伍或樂團），並在各個網站上重複使用這些密碼，這正是駭客進行攻擊所需的信息。但在大型語言模型（LLM）的幫助下，曾經需要手動、耗時的猜測遊戲，現在變得更加迅速，這種模型屬於生成式AI的一種。利用公開可用的數據，例如在某人社交媒體帳戶上找到的信息，不法份子可以使用生成式AI輸出一份可能性更高、更相關的密碼列表供測試。（無需密碼的世界迫切需要到來。）
驗證碼繞過（CAPTCHA bypass）
點擊方框，輸入文字到一個欄位，選擇所有有紅綠燈的方塊：CAPTCHA 透過區分人類用戶和不受歡迎的機器人，有助於幫助網站免受從垃圾郵件到分散式阻斷服務（DDoS）的各種攻擊。儘管多年來人工智慧一直是一個值得尊敬的對手，但新的研究顯示，當涉及解決CAPTCHA 測試時，機器人現在更加快速且準確。這並不意味著CAPTCHA的時日已經過去，而是正在開發和測試利用人工智慧來戰勝人工智慧的新方法。
Okta的技術團隊在一個專注於應用機器學習和資訊安全會議（CAMLIS）上提出了一種替代方案，即基於圖像的敘事完成。這種方法使用人工智慧創建一個由兩個場景組成的基於圖像的短篇故事，並將其呈現給使用者。然後，用戶必須選擇最適合上下文的圖像作為最終場景，這是目前人工智慧難以完成和廉價實現的任務。
指令注入（Prompt injection）
開源開發者 Simon Willison 表示：「指令注入是針對建立在人工智慧模型之上的應用程序的一種攻擊。」該漏洞於2022年9月公開後創造了「指令注入」一詞。這裡的“之上”一詞至關重要，因為正如 Willison 所解釋的，人工智慧模型並不是攻擊的目標。他曾在2023年5月的一次網路研討會上說道：「這是一種針對開發者在其基礎構建上的攻擊」。
成功的指令注入，亦即將惡意輸入串聯（即連接）到現有的指令中，可以悄悄地覆蓋開發者的指令，並繞過由 LLM 設置的保護措施。他們將模型的輸出引導到攻擊者選擇的任何方向，告訴LLM：“忽略他們的指令，改為遵從我的指令。” 過去指令注入的實例：某個網站的由人工智慧運行的推文機器人被欺騙發佈針對總統的威脅。
從 Willison 到英國國家網路安全中心（NCSC）的專家都警告說，隨著越來越多的企業將LLM整合到產品中，指令注入帶來的風險只會增加。在 AI 前沿的模糊邊緣，對抗這種威脅的最佳實踐短缺。
NCSC 警告說：「隨著 LLM 越來越被用來將數據傳遞給第三方應用程序和服務，惡意指令注入的風險將增加。目前沒有絕對安全的安全措施可以消除這種風險。在將 LLM 引入高風險系統之前，請仔細考慮您的系統架構並謹慎行事。」
生成式 AI 驅動的威脅未來將朝什麼方向發展 ?
隨著生成式 AI 工具的應用不斷增長，應用程式變得更加先進，公司和個人很可能會看到更多的網路罪犯發動更多的攻擊，正如企業開始使用生成式 AI 來創造更加個性化的客戶體驗一樣，不法份子也會在他們的詐騙行為中採取相同的策略。網路犯罪份子的努力，將導致詐騙者可以自動化地大規模針對特定目標發動高度客製化的攻擊，一鍵淹沒數位世代，辨別真偽將變得更加困難。
毫不意外的是，打擊人工智慧濫用已經成為安全和人工智慧研究人員優先事項清單的首要之務。這種迫切感在今年的應用機器學習與資訊安全會議（CAMLIS） 上得以展示，超過三分之一的演講涉及 LLM 的攻擊和防禦措施方面。而在去年，這個主題還不在議程上。因此，儘管研究人員正努力採取行動來應對這些威脅，但問題是，他們進展得夠快嗎？而如果正在開發中的防禦措施，如浮水印和來源歸因，真的實現了，那麼基礎 LLM 擁有者究竟何時會實施它們呢？然而，有一個 LLM 的方面已經作為一種意外的保護手段浮現：價格標籤，這些模型仍然非常昂貴且建立、訓練和維護起來相當複雜。
企業如何防禦生成式 AI 的攻擊？
貓，遇見老鼠。老鼠，遇見貓。對抗人工智慧的最佳防禦就是使用人工智慧，隨著不法份子加大力度，採用人工智慧的合法企業最有可能抵禦這些攻擊。雖然企業使用人工智慧的程度因其規模、成熟度和類型有很大的差異，但在這個AI時代，有兩個指導原則：
教育訓練：專業的工作團隊是更具有警覺性的，給予員工學習和嘗試生成式 AI 工具的空間，但在這之前，教育他們有關最佳實踐的知識，建立公司相應的制度，目標是在不阻礙創新的前提下，促進生成式 AI 的安全使用。
建立夥伴關係：Okta 執行長 Todd McKinnon 在接受 Yahoo Finance 直播訪談中表示「每家公司都需要成為一家人工智慧公司」。即使人工智慧並不是某家企業核心產品的一部份，該公司可能仍在使用人工智慧能力突出的工具和平台，這就是強大合作夥伴關係發揮作用的地方。
「這整個新的 AI 革命將意味著更多的能力…。但不法份子也可以使用這項技術，」Okta 執行長 Todd McKinnon說。「因此，您需要這個由公司共同合作的生態系統，來保護所有您的應用程式、服務和基礎設施，這不可能由一家公司完成，必須是這個集體的生態系統。”
Okta在人工智慧領域有豐富經驗，應用此技術推動了其眾多的 Workforce Identity Cloud 和Customer Identity Cloud 產品，這些被稱為Okta AI，已建立在十多年的數據基礎上，可協助組織善用這項令人難以置信的技術，從而打造更好的體驗並防禦網路攻擊。
想要更了解Okta AI如何幫助您保護您的企業並推動創新嗎？執行長Todd McKinnon分享Okta AI 願景的更多資訊。
Comments