產 哥 說
從ChatGPT到ChatGPT4，AI技術再次出圈，風靡全球。
有人說，ChatGPT將會徹底改變AI在人類社會中『生存』的方式，將AI技術從人類的工具提升為人類的『夥伴』甚至『敵人』。
也有人說，2023年將是AI人工智能誕生以來的巔峰，人類的生產生活方式將由此徹底改變。
更有甚者，甚至在擔憂自己的飯碗會不會因為ChatGPT的到來而變得不牢靠……
在眾說紛紜中，ChatGPT之父SamAltman提出了一個至關重要的問題：他認為AI會帶來危險，不僅是未來，也包括現在。
例如，惡意人員是否會運用AIGC技術編寫計算機代碼模型用於攻擊性網路攻擊？與ChatGPT類應用相匹配的倫理、規則、法律框架和潛在風險應對體系如何建設？人類為AI設定規則的速度是否遠遠落後於AI技術本身的發展速度？
帶著這些疑問，我們采訪了AI以及網路安全專家，就「ChatGPT對網路安全帶來的變革與挑戰」展開討論，並輯錄成篇。
主持人
張耀疆安在新媒體創始人
嘉賓
謝濤北京大學計算機學院軟件科學與工程系系主任、歐洲科學院外籍院士、ACM會士、IEEE會士、AAAS會士、CCF會士
於暘騰訊安全玄武實驗室負責人、騰訊傑出科學家
張格國家工業信息安全發展研究中心首席專家、檢查評估所所長
ChatGPT
可能會對一些行業及職業帶來顛覆影響
張耀疆：最近ChatGPT火得一塌糊塗，作為業界人士不得不關注，這是我們的使命。
ChatGPT火意味著什麼？它跟我們所從事的網路安全到底關聯度在哪裡？對我們的啟發或者警示有哪些？這個是我們業內人士特別關注的。
在2017年的時候，我受TK(於暘)的想法的影響寫過幾篇小說，主題就是黑客+人工智能。
今天我們又回到這麼一個話題上，好像冥冥之中有一個東西一直牽掛著，我覺得黑客、人工智能、科技發展是緊密聯系在一起的。
我們現在再討論這個話題，似乎非常的理所當然，而這隻是一個引子。
ChatGPT其實還不完全等同於人工智能，隻是人工智能的一種應用場景，引發的軒然大波已經足夠去影響整個人類社會的發展進程。
想請教幾位，關於ChatGPT給你們各自帶來什麼樣的一種印象？
謝濤：我本身是從事軟件工程研究和教育，在幾年前我們研究的代碼自動生成，就是基於深度學習，當然了，最近也是基於大模型的這個能力去自動生成代碼。
這個進展，ChatGPT或者GPT-4還是很大的，還是很震撼的，包括它的泛化能力，應對各種各樣的情況，是上了一個特別大的臺階，所謂是『閃亮登場』的效果。
舉個很具體的例子，我們之前也做過自然語言，翻譯成SQL語言，做數據分析的時候，就可以替代數據分析師了，不需要去寫或者懂得SQL語句的人，就可以把數據分析的任務給做好。
其實這個挺難的，會有一些邊邊角角的情況，但是ChatGPT太強大了，直覺應該很難的自然語言翻譯到SKL語句，它都能夠做得很好。
所以我們還是很受震撼的，也會看到特別是像面對終端用戶編程的這一類任務或者從業者，都可能會被替代或者顛覆。
當然了，更通用的代碼自動生成，也有各種各樣的問題，它的能力還沒有足夠強大到震撼我們的軟件工程師的整個行業，但是已經看到有這個趨勢，所以我們還是會有一定的擔憂。
張耀疆：您作為在學校裡面的教授，觀察我們的學生對這個新事物怎麼看？會不會有一種危機感？未來程序員被淘汰掉了，碼農這個職業不存在了，會不會擔心未來的就業？
謝濤：會有一些擔憂，確實像比如說比較通用功能或者基本代碼的編寫，所謂的『碼農』，確實很有可能會被顛覆。
所以，他們要去學習的技能，或者是把自己培養出設計師、架構師這方面的能力，他們應該有更強的緊迫感。
新技術監管：
掌握火候、拿捏節奏，讓子彈飛一會兒
張耀疆：國家工業信息安全發展研究中心應該算是機構，帶有戰略性的研究機構。
從研究的視角，對眼下這波AI技術狂潮是什麼樣的印象？
張格：ChatGPT從前些天的發佈一直到現在，引起了各界的高度關注，特別是二十大剛剛開完，兩會也剛剛結束，中國提出《數字中國建設整體佈局規劃》，包括機構改革，都在圍繞著怎麼進行數據利用而建立。
現在ChatGPT這樣一個創新型的技術出現，應該說對整個社會各方，特別是對咱們國家整個的網路安全跟信息化整體管理的機制上，還是有非常大的沖擊。
近期我們也在頻繁根據各方主管部門的要求，在開展各類的研究，特別是這個技術在各個領域帶來哪些沖擊，有些是像剛才謝教授說的是對我們的技術革新的演變，這個我就不贅述了。
但是從國家的監管側來看，目前我們國家在這一領域整體的法律法規現在還處於空白期，對於這項新技術的適應，尤其這項新技術又和我們現在整個數字經濟發展、互聯網發展，包括現在大量應用互聯網和信息化技術來推進國民經濟發展，都有非常深遠的影響。
我們國家剛剛推出了數據20條《中共中央 國務院關於構建數據基礎制度更好發揮數據要素作用的意見》，針對整個《數安法》的實施，包括數據的綜合治理，以及下一步要成立的國家數據局，幾項大的佈局之中，AI技術都會是我們國家在未來一段佈局裡面可能會優先考慮的方向。
優先要看我們怎麼來從國際、國內兩個視角應用好這項技術，把它造福於民，而不是說把一些負面的東西變成突破法律底線的技術，甚至變成黑產的一項技術，現在也是各方比較關注的。
同時從科研機構的角度上，我個人的觀點，這項新技術誕生之後，我們要積極擁抱和了解這項技術，同時要通過國家現有的產業鏈的能力，建設中國的人工智能相應的技術手段跟能力，追平世界水平。
同時也要高度關注它在整個國家安全、網路安全、數據安全方面對我們的深遠影響，在前期更好的謀劃它，通過法律手段，包括通過一些技術標準的手段，鼓勵它良性發展，有效發展，而不是會被濫用。
這就是我現在了解到和我們掌握的情況。
張耀疆：任何的一個技術，劃時代的變革，從創新到最終變成實用性的、影響社會、可落地的普遍應用，都有一個過程。
有很多新技術真的成功了，但是有些又好像曇花一現。
這個時候對我們的監管合規來講，有一個分寸感的把握，就是時機，比如什麼時候該管，什麼時候該先放一放，讓子彈飛一飛，可能是有一個節奏。
而且往往是要稍微比技術發展滯後一點，否則太超前就把一些東西壓住了，但是太滯後又沒跟上。
所以我想問一下張所，在您的經驗裡，這種切入的時機應該怎麼把握呢？幾分火候的時候該要在這方面做點文章了？
張格：世界各國的整個制度、標準的建設肯定會滯後於IT技術發展，因為IT技術發展速度太快了，一項法律法條很難優先於技術的發展，不管怎麼前瞻，都不可能適應技術的發展趨勢，世界各國都是這樣的。
在國內大家說國家安全，或者說網路、數據安全，它覆蓋面在整個總體國家安全觀裡面還是要分主次的，比如說ChatGPT在技術領域和行業應用上面，我們肯定現在是要鼓勵它去發展，鼓勵它更多的應用，就像現在工信提出的兩化融合，現在提出的數字經濟，包括大數據應用，這些都是在鼓勵行業發展的。
但是涉及一些政治、文化因素的時候，就會在整個這項技術應用出現一些風險苗頭的時候，由國家進行引導和幹預。
幹預的手段會有很多種，不會一次性馬上形成法案、標準、規章制度，直接把新的技術鉗制死。
但是初期會和龍頭企業進行充分的溝通。
尤其像ChatGPT這項技術，目前更多關注的是互聯網、大數據、人工智能的公司，我們會通過座談研討的方式，跟大家求同存異，把我們在安全上的一些考量，跟業界各方溝通清楚，讓大家在自律規范上先形成一個一致性意見，然後再來逐步規范整個市場和行為，這樣才是現在施政，包括我們給國家主管部門提建議的基本步驟和流程。
類似『火器』出現改變冷兵器對抗
AI將重塑安全格局
張耀疆：接下來問一下TK，前面謝教授說了，程序員有危機，那我們搞安全研究的有沒有危機？或者說這次在這一波ChatGPT所引發的AI沖擊下，對於你來講，會留下什麼樣的印象呢？
於暘：首先，GPT它其實是人工智能技術下的一個應用，人工智能是一個通用的技術，不是專門用於某項東西的，所以這類技術的進步會影響所有行業，影響所有人。
所以，我們這些『打工人』，所有行業的『打工人』，可能都會受到影響，但這種影響不一定是壞的，到底是有利的還是不利的，我覺得會取決於很多因素。
具體來說，我覺得一項技術創新產生的影響都是漣漪式的，就像你把一個小石子扔到水裡，是離它最近的地方先起波浪，然後逐漸擴散。
GPT和人工智能作為一項信息技術，離它最近的就是互聯網行業和數據相關、和信息處理相關的行業最先受到影響。
我們網路安全肯定是屬於相對比較近的。
然後接下來就是其他一切和信息處理、信息輸出有關的行業，比如說建築設計，看起來好像是一個跟物理世界打交道的行業，但是實際上它本質上也是信息處理、信息輸入的行業。
可能再往後，我相信工業和農業，一定也都會受影響，但可能它會稍微遠一點。
在這個過程當中，從我的觀點來看，GPT很有可能真的會帶來一個比較大的改變。
人工智能技術是由來已久，歷史上也經過起起伏伏。
人類在大概60、70年代的時候就做過關於人工智能的一些不切實際的幻想，大概60年代的時候，美國就投了很多錢，投在人工智能技術的發展上面。
你想，60、70年代，那個時候CPU是什麼樣子，它怎麼可能支撐？當時寄希望於能夠做出自動翻譯，在今天來看很小兒科的一項應用，但當時政府和企業投了很多錢，最後發現不可行就失望了，雖然當時一開始是大家寄希望於人工智能可以實現很重大的開創性突破。
但是，我覺得很多技術都是這樣，會是一個曲線式發展。
在整個人類歷史上，60、70年代到現在不過就半個世紀，五十年在人類歷史來看是一個很短的時間。
我們回顧前幾次工業革命，最開始的蒸汽機發明可能也會被人嘲笑的，直到瓦特改良了蒸汽機之後，一下子產生了很多東西。
這一次GPT的出現，是不是就相當於瓦特對蒸汽機的改良呢？現在來看，這個可能性我認為是越來越大了。
其實現在需要關注的不是看這個技術能做什麼，而是去看GPT的技術進步是什麼，你從中就可以知道，再過半年，再過一年，這個技術會是什麼樣子。
按照這個方法來看，GPT相當於瓦特改良蒸汽機的可能性其實還是很大的。
具體到安全行業，第一，我們騰訊安全玄武實驗室在相關技術出現的一開始就在關注，並且積極探索是不是可以用到我們的工作當中，後來發現是完全可以，而且是能起到很大的作用。
我舉個很小的例子，像我們實驗室有一個每日安全推送，我們會搜集全世界所有的安全領域每天出現的最新技術，然後去做篩選、處理、摘要，然後向行業分享，這個事情我們做了8年了。
但是在之前，我們雖然整個系統有一些是自動化處理的，但是到最後一段，摘要和篩選這一部分還是要人工去做。
但是最近我們已經實現了幾乎100%的自動化，整個流程不需要人參與了。
張耀疆：ChatGPT引發的浪潮有可能會像蒸汽機一樣，帶來劃時代甚至革命性的創新。
那未來到底是不是這樣？我們拭目以待。
我們再收縮一下范圍，ChatGPT是一個通用性的技術，它可能對國計民生、社會生活方方面面都有影響，我們今天落腳在安全上，因為畢竟我們是安全從業或者關注網路安全的業內人士。
ChatGPT，或者由它代表的人工智能技術的演進，到底跟安全之間意味著什麼？其實我覺得也是一個需要重新定義一下的問題，畢竟現在安全的概念太大了，不同的立場，不同的視角，看安全的著重點是不一樣的。
所以我們是不是先定義一下，ChatGPT所影響的這個『安全』，到底我們怎麼看待？它是一個什麼樣的概念？我們不同的視角，不同的角色，也許會有不同想法，先請謝教授談一下你所理解的。
謝濤：我從四個方面，這四個方面不見得是很完備，隻是說起碼從計算機領域的學術方面還是比較關注的：
首先是傳統我們講的AI安全，特別是AI模型安全。
它講的是AI模型、以及以模型作為核心模塊的系統本身的安全性問題。
比如說有一個子領域，就是對抗式機器學習，研究的是模型的魯棒性、健壯性水平。
例如人臉識別，在本來不應該通過門禁審核的人臉加上一些點，帶上一個有色眼鏡等等，擾動之後，它就能夠把這個模型的結果變成另外一個結果。
比如說門禁的情況，可能原先不讓我通過的，現在我做了一些臉部的粉飾，加一些裝飾，或者畫一些圖，就讓我通過了。
那就體現了AI模型它的魯棒性不夠強，我覺得這個是學術界研究比較多的，產業界也是比較關注的。
第二個方面，是我們把AI用到特定的任務，然後給這個任務帶來一些安全性的問題。
比如說我們前面講到ChatGPT或者是更早一些的AI應用，用來做自動代碼生成，之前也有研究發現，生成的代碼裡面包含有挺多安全漏洞的，如果你不做檢查或者有個安全保障的措施，就直接拿它生成代碼，看見功能是正確的，但用到系統裡面有可能會被攻擊，漏洞會被利用。
第三點，在AI模型或者系統在使用的時候，在外圍帶來一些安全性問題，比如說數據隱私問題，比如說現在我們要去問ChatGPT一些問題，可以是自然語言問一些問題，也有可能公司內部在研發的時候要想有些代碼自動生成，但是它要生成代碼的時候要了解上下文，就需要把公司的代碼上傳到ChatGPT裡面，那代碼或者自然語言就有可能暴露一些公司或者機構比較需要保密或者隱私的信息。
也就是在系統輸入和推理階段的時候，可能會帶來一些安全性問題。
最後一點，在訓練的時候也有可能會帶來一些安全性問題，比如說像很多AI模型可能是需要適配或者適應具體應用場景，如果要實現更好的效果，就需要一些所謂個性化訓練，需要有一些本地的數據去做微調或者再訓練，這樣它可以有的放矢針對你這個場景的特點，效果能夠做得更好，這樣的一些本地數據也可能包含一些隱私數據和需要保密的數據，這裡面的隱私數據安全問題，也需要審慎的應對。
當然我們經過本地部署，本地再訓練也是可以的，但本地有沒有足夠大的算力又會引發新的問題。
張耀疆：謝謝謝教授，這四點總結得蠻全面，把AI的前世今生和安全相關的環節都點出來了。
一個是AI自身的模型在設計、開發環節先天的隱患，要先考慮到。
然後在成長、教育、訓練過程當中可能存在的一些問題。
再有就是長大成人了，進入社會了，應用了，在應用過程當中帶來的一些問題，當然這個是生命周期。
還有一個就是我們是不是可以利用AI本身作為一種強大的能力去賦能於安全，我覺得這四個方面基本上涵蓋了我們能想到的方方面面。
當然了，這是從學術研究的視角，那從合規、監管，以及戰略性產業研究這方面，張所，您有什麼樣對人工智能安全這方面的認知？
張格：剛才謝教授講的，從人工智能全生命周期的安全分析得很透，我從另外一個視角來說這個事。
因為我們現在從政策標準建議的角度，總體上來講，還是要從總體國家安全觀的視角去分析人工智能這項技術革新帶來的影響，總體國家安全觀，總書記提出了16個領域的安全，是非常明確的。
跟人工智能現在整個這項技術演變發展關聯度比較高的，我個人認為包括政治安全、經濟安全、社會安全、文化安全、科技安全、網路安全，這幾個維度的安全都將會深度的受影響。
就像剛才教主說的，它像是一個漣漪一樣，是第一波受到人工智能影響的，或者現在已經深度和人工智能技術進行綁定，尤其人工智能技術在裡面，不管是人工智能技術的應用，還是人工智能技術本身的安全，還有利用人工智能技術進行安全的加固和固化，它都會在這幾個方面上首先對咱們國家產生新的影響和新的沖擊。
所以從我們的視角上，我們現在按照這幾個安全的維度在分析人工智能在每一方面給我們整個國民經濟發展和人民的生產生活，包括現階段社會的各種發展要素和生產要素之間有什麼變化，在哪些方面需要進行規范和幹預，這個是我們現在研究的最新情況。
張耀疆：張所提到的這一點是站在最高的層面，以更大的視角去看待AI與安全的問題。
就像我們之前說網路安全就是國家安全，或者說國家必須強化網路安全一樣， AI所帶來的安全問題，其實上升一下就是國家安全，甚至還包括倫理、道德一系列的，衍生出來不是一個純粹的技術安全問題了，這也是AI迷惑人的地方，涉及到的領域太大了。
那我們再聚焦在傳統的安全領域請教TK，ChatGPT或者人工智能對安全工作所帶來了哪些區別？
於暘：首先我覺得AI的安全問題，狹義來講，至少會包括AI自身的安全和用AI去做其他的安全這兩方面，比如像AI的數據安全問題，包括訓練中的數據安全和使用中的數據安全。
這一點，剛才謝教授講了很多。
我再補充一點，還有一個就是AI的可解釋問題，因為如果AI不可解釋的話，其實永遠不可能預測它有什麼潛在的安全風險在裡面。
對於這一點，我是比較悲觀的，因為我覺得AI的發展速度會超過AI可解釋技術的發展速度，最終我們會和不可解釋的AI共存。
我們如何應對這樣一個不可解釋的AI？如何與這樣的AI共存？這可能會是一個新課題，也是必須要面對的事情。
再具體一點，具體到安全行業用AI做安全，現在已經能看到有很多改變了。
我們實驗室就已經在用AI技術，除了我剛才講的，還應用在很多方面，現在行業裡面也做了很多嘗試，我們知道網路安全設備每天要輸出大量的日志，甚至是幾十萬行的日志，以前需要網管去篩選去看，很多單位沒有人看，或者看不懂。
現在大家發現可以用GPT每天生成一個報告，一頁報告就可以了，轉換成自然語言，它告訴你今天發生了什麼，哪些地方要注意，可能以前好多安全設備部署在那兒沒有什麼用，現在就能夠用起來，可以為客戶創造更多的價值。
具體到安全研究領域，相關的AI技術在漏洞研究，甚至在編寫相關的測試代碼上都可以用，雖然在很多年以前行業裡就在嘗試自動漏洞挖掘和自動寫測試代碼，但一直進展不大。
今年GPT技術出現之後，等於給這個領域又帶來一個比較大的變化，甚至還可以編寫木馬，編寫惡意軟件，還有釣魚，包括網路詐騙、殺豬盤，因為這幾種犯罪手段采取的方式就是對話，這正好是GPT擅長的。
無論是正義的一方還是邪惡的一方，都會被GPT技術改變，而且邪惡的一方他們會更積極擁抱新技術，因為這個對他們的刺激非常大，以前是他一個人同時可以對幾個人進行詐騙，現在一個服務器可以同時詐騙一萬個人，破壞力完全不一樣。
另外還有一點，范圍更廣義一些，可能還需要考慮AI技術再往後發展，幾年之後的AI，如果我剛才猜測的是對的，發生了相當於蒸汽機這種級別的變化，它必然會引起社會的重塑，一定會引起很多安全問題，有些是我們現在能想到，有些現在不一定能想到。
如果GPT真的引起各個行業就業的重塑，不一定是崗位數量的調整，也可能是很多人要對自己的職業做調整，你也需要學習和GPT相關的新技術，從而融入GPT對整個社會的重塑。
舉個例子，很多行業的門檻可能會被它降低，比如程序員，最早能寫程序的人都是萬裡挑一，因為最早寫程序都是紙帶上打孔，需要的思維方式和能力是非常厲害的人才行。
後來有了C語言，以及python編程，門檻很低，小學生都能學。
現在進一步，寫程序用嘴就行了，產品經理提需求，直接程序就出現，如果這一天到來的話，可能編碼能力就不再是很重要的能力了，反而是設計能力很重要，或者其他方面的能力很重要，就是人的能力重要性的一種重塑，可能會改變人類社會，這個改變當中，一定會對社會造成沖擊，這種沖擊可能會帶來安全問題。
我覺得這些可能需要我們提前去想，提前應對。
張耀疆：從某種程度上講，TK也講了，我覺得我們很多技術工作者，或者是理想主義者，往往帶有一種悲觀的情懷，就像馬斯克一樣，他對AI實際上是持一種相對悲觀的態度，正因為悲觀，實際上我們要未雨綢繆，要把很多事情想到前面。
我覺得ChatGPT所引發的一系列變化，從我們用悲觀的視角去看的話，也許可能是一個應對的方式，你剛才說的不可解釋，等等，但是正因為它不可解釋，會提醒我們，我們要想辦法用另外一種方式去應對，這個說起來又延伸的大一點。
剛才TK說ChatGPT或者技術革命所引發的，落實到現在已經是實實在在有所應用了，你剛才提到了從正面來講對安全工作的一個促進。
我剛剛看到，微軟發佈了Security Copilot，這個是GPT-4直接的對安全的應用，把危險情況和Security Copilot建立起聯系，跟他們的安全架構建立起聯系。
這個沖擊帶來的是什麼？我們整個網路安全產業會不會被重塑？其實網路安全行業比較細分、碎片化，但是說起來還是老三樣，脫離不了本質。
但是ChatGPT到底會不會在這方面像鯰魚一樣，真的顛覆一些東西呢？我先問TK，畢竟你是直接從事安全工作的，你會覺得它這個顛覆性的影響會不會存在，以及在哪裡？
於暘：我不那麼圓滑的下個斷言，GPT對我們安全行業會產生很大的影響。
因為安全就是攻防對抗，這類技術的出現，有點像火器的出現。
兩軍對陣，本來拿著大刀長矛的，當火器技術出現了，它會重塑人類的戰爭、行為方式。
在戰場上，如果一方說我不學火器這個東西，由於某種原因，我拒絕這個技術，或者甚至說你學得慢了一點，你手上的槍落後別人一代，別人已經是加特林了，你這邊還是鳥槍，你都會處於很大的劣勢。
這一點可能發生在攻防之間，就是說我剛才講的邪惡力量和光明力量之間，如果說做防禦的一方，你對技術的使用還不如黑產用得好，那你怎麼跟他對抗？那同樣的，在商業世界，如果說一個技術出來，你用的不如你的同行用的好，那你在競爭中也會處於劣勢，我覺得這個是很顯然的事情。
如果我們把安全產品做一個大類細分的話，你會發現安全產品有很多都符合我剛才講的『把數據吸進來，然後處理，然後再吐出去『這樣一個過程。
凡是符合這個邏輯的，它都可以被GPT相關技術重塑。
像安全檢測類的設備、規則類的設備，包括剛才講的情報類的業務，都是這樣的。
可能最原始的那種防火墻，最簡單的就是設一個死規則的那種可能沒關系，但是你但凡有一點智能在裡面的，有一定靈活調整性的東西，有一點規則性的東西，都會被這個改變。
最後我的結論，我覺得GPT相關技術對安全行業會有較大的影響，甚至是很大的影響。
張耀疆：這種影響的可能性是很大，但是影響的現實性到底是不是有這麼快，往往並不取決於技術本身。
剛才TK說了，它是攻防兩端，對於防禦的這一方來講，如果攻這塊沒有發揮出它強大的火力，對防來講是滯後的。
於暘：我剛才講了，攻擊者對於新技術是最擁抱的，因為對於他們來說，技術投入應用到他獲得利益，這個鏈條非常短，他們有非常大的動力去做這件事情。
首先可以斷言，攻擊者一定會最快用上這個技術。
從防禦者來說，我覺得這個東西有點像一個囚徒困境的那種，就是說同行誰擁抱了新技術，他取得了競爭優勢，別人很難不跟進。
張耀疆：TK已經斷言了，就差指出來誰行誰不行，誰怎麼樣怎麼樣，這個有待我們在現實環境當中再去檢驗。
不管怎麼樣，提出這一點是對的，『春江水暖鴨先知』，對於ChatGPT這樣一個革命性的技術來講，網路安全是否先進，黑灰產先知，這個可能是我們不得不面臨的一個很尷尬但是又很現實的狀況。
好，這是我們從產業界來講，就學術這塊來說，謝教授，您覺得眼下，因為剛才前面也提到了，您所研究的AI相關的技術，它的安全可能更多還要從它的系統、算法、工程這些方面入手。
但是我不知道會不會有一些像網路安全這樣的領域，將被本質性顛覆這種可能性。
如果我們還是說安全相關面臨著巨大的挑戰和威脅，如果處理得好會怎麼樣，如果處理得不好會怎麼樣？如果說2040年奇點來臨，要不就是強人工智能取代人，要不就是人找到很好的方法，順利平滑過渡了。
是不是對我們的學術研究來講，一個革命性的技術從安全角度也會有這麼一個分水嶺呢？
謝濤：我嘗試回答這個問題。
回到TK前面講的，我特別同意，黑產或者黑灰產，因為所謂技術賺錢，讓他們有很強的驅動力，當然也包括其他的一些技術，包括基於操作系統的這些程序性能優化能夠直接賺錢。
高頻交易，速度就是金錢，黑灰產對於技術落地很願意投入，背後的利益驅動他做得更好。
所以我對於『防』這邊還是蠻擔心的，比如現在很多AI、圖片的合成、視頻的合成、換臉等等，其實技術上做得很好，發展也很快。
當然了，我們反過來在防這邊也有自動檢測，判斷一個圖片或者視頻是不是自動合成的，而不是自然生成的。
但是我覺得這個也會是慢半拍，或者那邊本來技術發展就是讓你分辨不開，我是覺得在整個博弈的過程裡面，特別像AIGC的加持下，我們防的這邊系會吃虧的，要有一定的危機感。
現在很多時候一談『安全』，我們是說安全和可用性之間的均衡，防了很多，很不方便。
將來也許對可用性會稍微喪失一點，因為攻的能力太強大了，我們不得不謹慎。
包括從系統設計上，包括操作系統，包括應用設計上，可能要有很強的風險意識，要比原先的估計更強大，這樣裡面的風險控制各方面可能都得要跟上，比以前要做得更多。
所以這方面我是擔憂更多。
張耀疆：在我們學術界研究，會不會還會想到類似終極性的問題？現在還是一個技術問題，但是AI本身因為太強大了，它未來也會更加強大，強大到我們經常會問『AI會不會擁有智慧』或者怎麼樣。
剛才你也提到了，攻擊方會利用它越來越大，防禦方會很相對被動，會更擔心一些。
但是會不會有一天，我們突然發現其實攻擊方攻擊已經不單純是利用AI的人了。
比如黑灰產本身就是一個完全智能化的網路體系，誰都不知道背後誰是BOSS，甚至這個BOSS是不是一個人都不可知。
我不知道我們在研究這一塊的時候，會不會前瞻到這個程度？
謝濤：這取決於給這個AI系統的自主性有多強，像很多年前已經討論或者研究一個代理，就是這些事就讓它去幹了，不是在一個小環節上讓它幫助我，而是整個事情全都代理。
假如說去做攻擊的時候，可能會有一種失控的效果。
有可能設計這麼一個代理的時候沒有想著它會幹這麼壞的事，可能獲取一些錢財就好了，但因為人類給它設的所謂激勵函數，它就基於這個作為作為追求的目標，但是你在給它設置一些規則或者是加的禁區不夠的時候，它可能就幹出一些威懾到人身安全的事情，這不是犯罪人員的本意，但是你給了它自主權，它有可能會出現失控的情況，我覺得是需要擔憂的。
張耀疆：前面TK已經說了，人工智能對攻防端都有影響，而且提到了具體的點，比如說滲透、自動化攻擊、檢測，包括挖漏。
我這裡其實有一個很現實的問題，從監管的主管角度，以前我們知道，對漏洞管理是非常有挑戰性的，
如果說ChatGPT代表自動化的挖漏，如果我們邊界的設置也有問題，那某種程度上它會不會失控？在這種情況下，我們監管能跟得上嗎？你能對這個東西還能像以前那樣去管理嗎？很難預期它會是什麼樣的一種狀態？
張格：剛才TK講的預言或者預測，我個人非常支持，我也覺得整個人工智能技術對網路安全產業肯定有深遠的影響。
它有一個進程，但是這個進程我覺得是不可逆的進程。
現在網路的漏洞，各種網路隱患的發現、識別、認定以及公開，國家一直在鼓勵秉承發展和安全的平衡關系在考慮這個事情。
咱們國家去年也發了網路威脅認定的管理辦法，對不管是法人、對機構、對自然人，在漏洞研究這塊，首先鼓勵這類的技術研究，同時要規范它的發佈渠道，不要因為失控的發佈對社會或者對某些機構，或者對某類產業，甚至對國家，造成深遠的影響或者重大的影響。
這是我們定這類政策的初衷。
人工智能技術，我相信終有一天它自己可以實現漏洞自主挖掘的能力，而且現在GPT整個技術就會把大數據整體分析，根據它的算法和模型，生成很多新的一些技術方法。
舉個例子，以前黑客在攻擊端去做木馬，木馬被殺病毒軟件殺查到了之後，我們要改特征值，以前一個一個去改，不可能實現批量，現在有這項技術的話，我隻需要把原始木馬放進去，我告訴你特征值的字段在哪兒，AI就會自動去修改，我相信它的效率會比人工高很多倍。
那對於整個監管和漏洞發現，我相信以後一定會具備相應的能力，這是技術不可逆的一個現狀。
從監管的角度上，我和業界很多看法還不太一樣，我認為所有攻擊端的行為如果不上升到國家層面的攻防對抗的話，那利用人工智能技術、新的算法模型去分析形成的漏洞結果，那它對攻防雙方都是有效的，同時它對監管方也是透明的，就看誰先抓到這個技術點，誰先掌握這個最新的技術的制高點，那誰就可以做出相應最快應對和判斷。
我覺得從咱們國家至少在國內整個網路安全行業的管理體系下，我們在網路安全這塊，現在還是有一個非常好的政企或者政府和行業的聯動機制的，我們在這個機制下，我相信一旦出現這種情況，通過現有的這些機制可以快速進行響應，也可以快速提出我們相應的一些監管手段。
具體說，最後這些監管手段，比如說我用現在的幾個國家漏洞庫或者國家漏洞平臺舉，快速把這項GPT進行漏洞產生的技術轉為自己應用，進行漏洞平臺的匯聚，然後快速擴充國家漏洞平臺，同時讓相關方提出更快的修補意見，這個方法其實和攻擊方單獨分析，或者防守方單獨的防禦，公開透明的程度會更高，各方的博弈也會更加聚焦在透明環境下的博弈，我相信我們是會有這個手段的，這個不會成為監管的瓶頸。
張耀疆：的確，以我們的體制或者慣性，其實重要的不在於能不能做，而在於是以什麼樣的力度，或者多快的節奏，把一些新的東西納入麾下，這個是關鍵。
好的東西，或者自由滋長的東西，到一定的時候，如果這種力量為正向所用，它會發揮很大的作用，而且正向作用的發揮有很強的慣性，我們一以貫之這麼去操作的話，我相信也沒有什麼好擔心失控的問題。
這個當然是從大的理想的狀態去考慮的。
總結下來，狹義上講，AI本身的安全，AI成長訓練過程中的一些安全，AI使用中所延伸的一些安全，以及利用AI怎麼更好的做安全。
廣義來講，國家安全、社會、倫理道德、隱私等等，都是AI所能引發出來的跟安全相關的需要考慮的一些方面。
這麼一概括的話，我們發現這個話題覆蓋的面特別大。
能討論的，或者後續需要繼續再討論的，每一個點都需要深入研究、展開，所以今天這個話題與其說是一個專題，不如說是一個引子，可能後續可以把這些方面的問題用一些新的專題呈現出來，我本人也是有所期待，能夠繼續跟行業一起討論。
芯片有一個摩爾定律，我發現ChatGPT也可能會有自己的摩爾定律，甚至會指數級的往上走。
謝濤：GPT-3到GPT-4，包括正在研發的下一代，我自己覺得沒有辦法預測，前面TK也講了，這個所謂的拐點，突然到了讓大家不得不服的環節，這是長期積累的。
我認為不可能有一個像摩爾定律的規律，不可能讓它持續不停的打破我們的期望。
所以我得出結論就很難，因為它要持續給我們驚訝是需要長期的積累，下一個拐點在哪兒，我是沒法去預測。
這是我的觀點。
張格：我自己初步的判斷，現在GPT這項技術，包括人工智能技術，特別是跟安全產業整體的融合，現在還是一個新生兒期，就像網路安全所有新技術的發展，它都會有一個熱點期，這個熱點期有技術本身，有產業，有資本，有各方運作，最後形成了這麼一個熱點期。
但是真正一項技術能夠快速演變發展，那它必須要跟我們的產業，也就是說跟我們的需求側緊密結合之後，才會有穩定發展。
我個人的判斷，GPT這項技術，包括人工智能整個技術在網路安全行業還是一個初期的技術研討期和技術熱點期，可能在這一年裡面，更多是關注和研究。
但是它真正引入到本身的網路安全行業或者引入到其他的行業裡面去推進，還有一個跟行業的適應期可能會比較漫長，而且這個適應期被關注度會逐步降低，真正等到它再一輪沖上來爆發的時候，那就是我們的資本、市場、產業多方都對它認可，包括我們的法律逐步健全，才會鼓勵它全方位發展。
所以我覺得剛才張總提到的這種預測，我應該是前面上升曲線的一個部分，後面可能會有一個平緩期或者下降期，以後會再往上攀升或者滲透到其他各行各業的應用。
這是我的一個判斷。
張耀疆：其實我剛才說預測也不敢，我其實說的不是預測，而是一種期待，大家誰都不敢預測，但是期待，以及自己對未來的一種遐想。
於暘：我覺得談期待還是會有一些條件制約，具體落到安全上講，我覺得它很大程度上要取決於一點，就是ChatGPT，包括現在的GPT-4，以及未來的GPT家族，它到底是燎原的星星之火，還是會成為一個占據了先發優勢，然後一騎絕塵的壟斷者。
我覺得這一點會決定很多事情。
如果是燎原的星星之火，那就是說，由於它所引發的關注，讓越來越多的資金，越來越多的人才，越來越多的社會資源，進入到這個領域，就不是一家獨大，而是最後百花齊放，有更多的好用的模型出現。
這樣的話，特別是在網路安全領域，我覺得它會相對比較快的帶來很多改變，為什麼？因為使用當中的數據安全問題。
如果中國企業在這股浪潮之下做出了一些我們自己的東西，我們敢於把它用在直接服務於客戶的業務裡，我們解決了數據安全問題，解決了對隱私的擔憂，那可能未來將完全不同。
目前來說，我個人在這一點上還是比較樂觀的，我覺得可能很快，應該是可以在安全行業裡看到這一波技術浪潮所帶來的改變。
新一輪AI技術浪潮正滾滾而來，未來更多探索和應用勢必將帶來『發展』和『安全』的一體兩面，值得持續關注！
▼
– 歡迎關注我們的視頻號 –