跳至正文
技術 Cybersecurity

AI安全工程師 (AI Security Engineer)

AI安全工程師負責發現和防禦LLM及AI系統中的漏洞,並設計和運營自動化安全測試流程。2026年,Anthropic Mythos在Firefox中發現271個漏洞,使這一結合傳統安全工程與LLM智能體能力的職種成為增速最快的網路安全專業。

1 分鐘閱讀

學生階段可以嘗試的事

對這個職業感興趣?從這裡開始

以下活動來自報告的學生階段建議,選一個想嘗試的。

查看完整準備路徑
  • 學會Python,用它把生活裡一件無聊的事自動化

  • 玩入門CTF奪旗遊戲,比如picoCTF和TryHackMe的免費關卡

和家人一起聊聊
  1. 哪部分工作看起來最有趣?

    先看看具體做什麼,而不僅是職業名稱。

  2. 哪些地方可能會比較辛苦?

    一起讀讀報告中的注意事項和入行條件。

  3. 這週可以試著做什麼?

    選一個活動,做完後聊聊感受。

先聽聽孩子怎麼想,感興趣的職業可以隨著探索而改變。

本頁內容

職涯訊號

進入這個職業時,什麼最先被看到

學歷
中
作品集
很高
證照
中
實習
中
進入門檻
高
招募動能
快速成長
AI 影響
中

通常這樣起步

通常先做幾年資安分析師或軟體工程師,再轉向 AI 安全。

什麼是AI安全工程師

AI安全工程師負責發現和防禦AI及LLM系統中的漏洞,設計並運營自動化安全測試流水線。這是2026年增速最快的網路安全職種,結合了傳統滲透測試與LLM智能體運用能力。

2026年這一職種獨立崛起的原因清晰可見:Anthropic Mythos無需編寫任何模糊測試套件,便在Firefox中發現271個漏洞,證明了AI可以從結構上消除安全測試的瓶頸。因此,XBOW以1.55億美元C輪融資成為獨角獸。法規也要求有人承擔這項工作。EU AI Act要求具有系統性風險的通用AI模型提供者進行對抗性測試(紅隊測試),並記錄測試過程。這項條文自2025年8月2日起適用(第55條)。

為何現在是這個職種

  • EU AI Act的一般適用日期(2026年8月2日)與高風險AI義務延期:這部法律的一般適用日期為2026年8月2日。不過,2026年7月27日生效的修正法規(數位綜合法案,法規2026/1744),將高風險AI義務的適用日期延後至2027年12月2日(附件三所列領域的AI)及2028年8月2日(用於附件一所列產品的AI)。義務開始適用後,高風險AI必須能抵禦未經授權的第三方利用漏洞,企圖改變其用途、輸出或效能的行為(第15條第5項)。違反禁止行為規定者,最高可處3,500萬歐元或全球年營業額7%的罰鍰,以較高者為準。
  • 基於LLM的自動漏洞發現工具大量湧現:XBOW、ZeroPath、Pixee等進入企業市場。
  • 薪資溢價:ZipRecruiter 2026年4月中級AI安全工程師平均$152,773。
  • 人才短缺:WEF 2025報告:86%的組織表示缺乏所需網路安全人才。

浮水印也列入資安工程師的測試清單

2026年8月2日起,EU AI Act第50條第2項開始適用。產生文字、圖像、音訊及影片的生成式AI提供者,必須在輸出內容中加入機器可讀的標記,讓內容能被偵測為AI生成。法律規定,在技術可行的範圍內,這項技術必須有效、可互通、穩健且可靠。8月2日之前上市的系統,可在2026年12月2日之前完成合規。違反規定者,最高可處1,500萬歐元或全球年營業額3%的罰鍰,以較高者為準(中小企業以較低者為準)。

大型AI企業也開始採取行動。2026年10月5日,OpenAI宣布,為符合這項條文,將在接下來幾週內,為歐盟地區ChatGPT與Codex的文字輸出加入不可見的浮水印。這個名為textGrain的方法,會在模型選詞時嵌入統計訊號,再由偵測器尋找該訊號。資安工程師值得關注的是OpenAI同時公布的測試結果。在400個token的文章中,將10%的詞替換成同義詞後,偵測率從約92%降至66%;替換25%的詞後,偵測率降至17%。OpenAI也表示,短文或經過翻譯的文章更難偵測。因此,偵測器初期僅開放給經核准的研究人員與專業機構。經過幾輪編輯後,標記會消失多少,以及沒有標記的文章被誤判為AI生成內容的頻率,都是衡量第50條所稱穩健性的標準。

也有研究發現,浮水印甚至會改變模型的行為。2026年9月17日,資安公司Lasso Security公布了一項比較結果:使用未經修改的Hugging Face實作,將Google DeepMind的SynthID-Text套用至開放權重模型,比較開啟與關閉浮水印時的表現。在工具呼叫測試中,7個模型有6個的準確率下降。在有害請求中加入簡單的提示注入後,多個模型更傾向於回答平常會拒絕的請求。研究團隊建議,每次新啟用浮水印或變更設定、金鑰時,都應以實際部署設定,重新進行代理程式評估與紅隊測試。

綜合這兩項結果,這個職業的測試清單多了兩項。一項是測量標記在經過編輯與翻譯後是否仍然保留,以及誤報發生的頻率。另一項是在開啟與關閉浮水印時輸入相同內容,比較拒絕行為與工具呼叫是否改變。現在需要有人同時測試法規要求的標記,以及模型的安全行為。

適合哪類人

  • 有安全工程基礎、能熟練使用LLM工具的人
  • 喜歡從攻擊者角度審視系統的人
  • 對對抗性攻擊(Adversarial Attack)感興趣的ML工程師
  • 熟悉Python和自動化腳本的人

專業領域

用程式碼管理資安警示的偵測與應變工程師

9月28日之後,四家銷售AI產品的公司新刊登了偵測與應變工程師職缺。這是用程式碼撰寫偵測規則和應變工具、參與輪值待命,並借助LLM分擔應變工作的資安專門方向。

智慧體平台濫用防護: 從使用者的智慧體手裡守住平台

在智慧體能寫程式並直接部署的平台上,阻止濫用這份執行能力的使用者,是一個新的專門方向。詐欺偵測、資源盜用防護與帳號濫用處置正在收攏成同一個職位。

AI代理安全:在生產環境中守護自主代理的專家

AI代理安全是AI安全工程師的新專精:在生產環境中安全運行自主LLM代理,核心為執行期能力範圍化、MCP工具權限強化、提示注入防禦與代理執行沙箱化。

用戶端掃描安全:AI安全工程師的新前線

隨著歐盟聊天管控表決把裝置端內容掃描推上監管議程,既能掃描又能保護隱私的工程師需求激增。本文梳理所需技能與職業路徑。

AI對齊研究:AI安全工程師的新領域

把哲學、倫理與機器學習結合,讓前沿AI對齊人類真實價值的AI對齊研究員職涯指南,台灣AI倫理與治理研究快速興起的新出路。

實體AI安全:守護機器人的AI安全工程師

實體AI安全工程師阻止針對機器人、自動駕駛與嵌入式AI硬體的攻擊,守護韌體、ROS/DDS與無線配網,讓入侵不至於演變成實體傷害。

AI招募公平性稽核:AI安全工程師的新領域

稽核AI招募系統的偏見與演算法單一文化,是一條新職涯。史丹佛HAI揭露的歧視風險催生了這項需求。

代理治理:AI安全工程師的控制平面

代理治理是AI安全工程師的新專精:在生產環境中管控自主代理,核心為政策強制、代理身分、可觀測性與稽核證據,因應歐盟AI法案。

智慧代理資料外洩防護工程師

一個防禦性 AI 安全專業方向,專注於建構護欄、情境隔離與輸出 DLP,阻止自主 LLM 代理外洩其受託管理的機密。以 MosaicLeaks 與 AgentDojo 為基礎。

AI紅隊專家

從攻擊者視角評估LLM和AI系統,結合自動化工具(XBOW、ZeroPath、Garak等)與手動分析發現漏洞的AI紅隊專家職業指南。

深度職業報告

想真正準備好這個職業

適合這樣的你

  • ✓喜歡拆解破壞來搞懂東西到底怎麼運作(攻擊者視角)
  • ✓用Python很順手,喜歡把重複勞動自動化
  • ✓既愛安全基礎,也愛上手玩AI和LLM工具
  • ✓享受每月都冒出新攻擊、新工具的快速變化

需要有心理準備

  • !很少有新鮮人職缺,多數人先做更廣泛的安全或開發,再轉做這個方向
  • !產業炒作嚴重,你得花不少時間分辨哪些工具真能用、哪些是空殼
  • !合規和文書(EU AI Act、報告、文件)占比比電影裡演的多得多
  • !技能過時很快,現在會的東西一兩年後可能就落伍了

分階段準備路線圖

中學階段

  • 學會Python,用它把生活裡一件無聊的事自動化
  • 玩入門CTF奪旗遊戲,比如picoCTF和TryHackMe的免費關卡
  • 搭個小的家庭實驗環境(或用瀏覽器沙箱)安全地拆解測試用應用

大學·起步

  • 主修資訊或安全,修網路、作業系統和密碼學
  • 考實操型證照(Security+,再到eJPT/OSCP),在HackTheBox、TryHackMe上多練手
  • 也學AI安全:OWASP Top 10 for LLM,用garak這類工具測自己的應用

求職準備

  • 做公開作品集:CTF解題記錄、一個CVE,或在HackerOne、Bugcrowd上的漏洞賞金成果
  • 先從SOC分析師、安全工程師或滲透測試實習切入,再轉向專精
  • 練習把漏洞講清楚,清晰的報告在面試裡比會寫exploit更管用

推薦專業與領域

資訊工程網路安全 / 資訊安全電腦與網路工程機器學習 / 人工智慧(對抗性ML方向)

證照·考試·作品集

CompTIA Security+ → OSCP(攻擊方)或入門的eJPT公開戰績:漏洞賞金、CVE、CTF排名、HackTheBox主頁上手LLM安全工具(garak、PyRIT)+ OWASP Top 10 for LLM

需要培養的素養

證照之外真正拉開差距的能力,現在就能開始累積

用攻擊者視角畫出路徑

把漏洞清單背下來的人,比不過面對陌生系統時先畫出「輸入從哪進來、能走到多遠」的人,後者才扛得住新技術。像LLM這種每年都在換形態的目標,背下來的清單很快過時,只有畫這張圖的習慣一直有用。挑一個你每天用的應用,找出所有使用者能打字的位置,寫下這些文字最後存到哪裡、又會被誰看到。

從告警堆裡挑出真問題

自動掃描器和AI工具會吐出大量告警,其中相當一部分根本沒辦法被真正利用。如果不能一條條核實、只留下真的那些,開發團隊很快就會開始無視安全的意見,到那一步這份工作整個就失去了分量。拿自己做的一個網頁專案跑一遍免費掃描器,抽出十條告警,逐條動手驗證它是不是真能變成攻擊。

說清先修哪一個的依據

沒有哪家公司有時間把安全團隊找出的問題全修掉,所以真正的工作變成:哪些這週修,哪些推到下個季度。排序如果沒有依據,就會出現忙著修小毛病、大洞卻一直敞著的結果。把自己專案裡發現的問題按利用難度和被打穿的損失兩個軸擺進一張表,講依據的方式就這麼練出來。

守住可以動手的邊界

碰了沒有授權的系統,那一刻技術就從履歷變成案底,而守住這條線的紀錄本身就是招募時的信任狀。實力差不多時,公司會選那個懂得在別人系統前停手的人。練習只在picoCTF、自己搭的環境,以及漏洞賞金專案白紙黑字寫明的範圍裡進行,並把那份範圍文件裡允許和禁止的條目親手抄一遍。

現實建議

真實的一天更多是讀程式碼、跑自動掃描器、把它標出來的東西分類,再把漏洞寫清楚,好讓工程師真的去修,而不是電影裡那種炫酷駭客。工作的很大一部分是把真漏洞和誤報分開、追著要審批、為合規留文件。純AI安全職缺對新人來說很少,頭1到3年多半是在更廣泛的職位上打安全基礎,之後才專精,而且工具每隔幾個月就變,你得一直學新東西。

先讀這些書

部分連結可能為推廣連結

課程與影片

標籤

#ai-security #llm-security #red-team #vulnerability-discovery #cybersecurity #pentesting

準備好開始了嗎?

上面的那些人也和你一樣從零開始。今天就選一件事開始做吧!

找到感興趣的職業了嗎?

比較適合的性格、教育背景和入行要求,再決定下一步。

與其他職業比較