最近chatGPT是徹底火出圈了，其實去年底就已經推出，但是這兩個月突然爆火，或許是由於流浪地球2的熱播，大家覺得他很像MOSS吧。
鋪天蓋地的文章、視頻、話題，作為一個數據類的科普自媒體，好像不說幾句，似乎就和這個時代徹底脫節了。
其實很早以前，微軟小冰就已經能進行比較簡單的對話了。
我剛和小冰聊了幾句，發現它語料庫還挺新的，連chatGPT都知道。但是聊幾句就明顯能感覺到語義識別能力相對不足。
為什麼這麼多年過去了，小冰似乎沒有多大的成長，而chatGPT仿佛橫空出世，直接實現了對話機器人代差級別的、史詩級飛躍。
其實，chatGPT也不是橫空出世的。Open AI經過了六七年的打磨，才最終由量變到達質變。
簡單回顧一下AI的發展史。從類別上看，可以大體把AI分為決策式AI和生成式AI。
所謂決策式AI，基本上是用AI來進行分類、判斷和預測；而生成式AI則是由AI來創作內容。包括文本、圖像、音頻等。
在2011年以前，大部分的AI技術集中於決策式AI。在2012年以後，生成式AI開始生根發芽。
特別是在2017年，Google的transformer框架發佈以後，大語言模型的理論基礎初步建立。
隨後生成式AI急速發展，在2020年GPT-3推出的時候，在業內其實已經引起了轟動。Open AI再接再厲，基於GPT-3.5微調之後，推出了集大成的chatGPT。
AI發展歷程概覽[1]
總的來看，chatGPT，或者說AI的發展，在近兩年出現了井噴式的增長。
主要有兩方面原因：
第一，硬件的支撐使得算力大幅增強
存儲的價格下降以及雲計算等技術的逐漸成熟，使得大規模機器學習的硬件基礎有了保障，同時，越來越多的數據為大規模語言訓練提供了更加充足的原材料。
動則數十億級別的訓練參數在以前是完全不可想象的，既沒有那麼多數據，也跑不動那麼大的模型。
第二，算法、模型和架構的提升
原來的AI訓練算力大體上符合摩爾定律，大約每20個月翻一番。深度學習的出現和transformer框架的發佈，大規模模型的出現使得訓練算力呈指數級增長。
算法、模型和架構演進[2]
所以，chatGPT的誕生並非偶然，而是技術發展到一定程度的必然結果。
而它的爆火，一方面，和它的出現形態有關，另一方面，當然和它的技術有關。
從形態上看
在過去的幾年裡，AI其實在各領域都有長足的發展。但是這些領域都過於小眾。隻有圈內的人了解。在這個領域內，人工智能的發展對於普通人而言，人工智能還是一個遙遠而又看不見也摸不著的概念。
當然，這也和AI的發展狀態有關。決策式AI，通常需要在特定領域的大量數據訓練，用於輔助人類決策，使用場景上通常在企業端。而生成式AI則可以生成文字、音頻、多媒體等各類內容，這些內容是可以被普通人所感知的。
去年，AI繪圖工具——Midjourney創作的《太空歌劇院》《Théatre D’Opéra Spatial》，在美國科羅拉多州博覽會藝術比賽上，獲得了『數字藝術/數字修飾照片』一等獎。
《太空歌劇院》Théatre D’Opéra Spatial[3]
生成式AI創作的內容跨越了圈層和階級，超越了種族隔閡，消融了文化差異，不再是小眾領域的曲高和寡，而是老少皆宜的雅俗共賞。
而chatGPT采用對話的模式，以更低的門檻讓普通人也能體驗，更加感覺像人們理想中的通用人工智能。這讓很多普通人第一次真正的感知到了人工智能的存在。
這種交互方式，可以讓人人都被AI所賦能，在企業內部，老板只要說一句：給我本月的利潤增速和區域排名，AI馬上就會把數據呈現在眼前，當然，這依然依賴於企業內部的數據治理和數據質量。
所謂人們理想中的通用人工智能，也就是更像人類。那麼到底chatGPT是如何做到更像人的呢？這就得從技術上解讀了。
從技術上看
從表現上看，chatGPT的核心能力在於三點：
這得益於NLP技術的發展以及大語言模型《LLM》的誕生。
Google在2017年發表了論文《Attention is all your need》，在Transformer框架中引入了注意力的概念。
簡單來說，這是模擬人類在接受信息時，把有限的注意力集中到重點之上的思路，有助於在長文本中，理解距離較遠的詞之間的聯系。
OpenAI基於Transformer框架推出了生成式預訓練模型《Generative Pre-trained Transformers (GPT)》，並且每年一迭代，在GPT3推出的時候，其能力已經超乎很多人想象。
chatGPT是基於GPT3.5做的微調，在對話方面做了進一步強化。
數據玩家通過這兩天的研究，認為chatGPT的在已有技術的基礎上，升級的核心主要在於兩點：
看起來很難理解對不對，接下來，我盡量說中文。
我們知道，訓練AI其實是和教育人類的小孩類似的。當AI犯錯時，你要提醒他什麼是對的，這個過程需要大量的人工標註來實現。
在以往的決策式AI訓練中，海量的人工標註數據是訓練AI的基礎。類似圖像識別、自動駕駛、金融領域的信貸風控等，都依賴於大量的樣本標註數據。標註的工作需要大量的人力投入，因此，模型的訓練成本也很高。
大語言模型LLM的訓練方式改變了，直接喂給AI海量的文本，讓它自己學。扣掉一些詞讓它做完形填空《BERT模式》，或者讓它看了上句猜下句《GPT模式》。
在這樣訓練之後，AI能夠理解人類語言的模式，它知道一個詞出現之後，他後面大概率還會出現什麼詞。
並且，在學習了海量的文本後，AI有了『常識』，這是通用型人工智能的一大特點，也是人類和AI的主要區別之一。
它學習了數理化，也熟讀文史哲，它知道明星的名字，也知道現在美國總統是誰，它的的確確更像人了。
另外，從工程上，原來的訓練方法《fine-tuning，微調》，每更新一次參數，都需要更新模型，換句話說，要重新跑一下；
而采用prompting的模式，則完全不用，隻需要給AI投喂一些示例，讓它自己體會。[4]
這裡又分幾種情況：
Few-shot，給幾個示例；
One-shot，給一個示例；
Zero-shot，不給示例。
chatGPT就是Zero-shot模式，當然，你可以通過給它增加示例的方式，使其回答更加精準，這就是為什麼你可以追問chatGPT，他會隨著你的追問，越來越貼近你想要的結果。
Zero-shot，One-shot & Few-shot[5]
而這個追問的方式，完全不需要你寫代碼，隻需要對話就行，這使得chatGPT可以通過和成千上萬，甚至數億的用戶對話來飛速成長，這是人類理想中通用人工智能的樣子。
難道強人工智能就這麼來了？別著急，接著看。
這麼多用戶和chatGPT對話，每個人的語言風格千差萬別，到底怎麼判斷回答對還是不對？
如果AI能夠自動從人類的語言中判斷一個回答好還是不好，而不用人類去標註他的回答，那將會節省非常多的標註工作量。這就是基於人類的反饋強化學習RLHF《Reinforcement Learning from Human Feedback》。
強化學習是一種訓練策略，其他策略還有有監督《有標註樣本》、無監督《無標註樣本，主要做分類》等。
AlphaGo就是采用的強化學習，通過一個獎勵/懲罰函數，來告訴AI這一步是加大獲勝概率，還是減小，這樣AI就可以不斷的和自己對弈。
為什麼NLP領域之前沒采用這種方式呢？主要是因為這個獎勵/懲罰函數太難設計了。
人類針對一個回答可能給出非常多種的評價。比如說：不錯、還行、挺好的、很好、太棒了、和我想的一樣；或者：這不是我想要的結果、錯了、這樣不對、還可以更好、我覺得你沒有理解我的意思……
這些反饋幾乎是難以窮盡的。除非真的找一堆人，來針對AI給出的N種回答，量化的選擇自己喜歡哪一種，不喜歡哪一種。
不就是人嘛，不就是錢嘛，OpenAI不差錢，自然也不差人。
RLHF相關論文[6]
他們找了40個人的專職外包團隊，真的開始一條條的標註，所以你看，看起來是個通用人工智能了，還是靠人工堆出來的。
具體過程如下：
RLHF訓練過程[7]
第一步，針對一個話題『向一個6歲小孩解釋登月』，人工標註師會給出人類的答案，供GPT-3采用有監督的模式進行訓練；
第二步，針對以上話題，AI給出自己的四個答案，由標註師按照最好到最差進行排序，用於訓練獎勵/懲罰模型；
第三步，可以進行強化學習了，針對任意話題，AI給出一段文字以後，丟給第二步訓練出來的獎勵/懲罰模型，獲得一個反饋值，針對不同風格的回答獲得的不同反饋值，AI學習到了哪種回答是人類更喜歡的。
現在，上億的用戶正在時時刻刻為chatGPT提供著更多的數據，更多的反饋，毫無疑問，這些數據將會被用於GPT-4的開發，這個數據量級，基本上已經窮盡了人類對於特定回答可能的反應，再往後，chatGPT真的就是邊聊邊學了。
GPT-3的參數量高達1750億，超過了人腦神經元數量860億；GPT-4的參數量將達到100萬億，和人腦神經元的連接數量相當。
回到我們前面的問題，AI真的要更像人，還有一點值得探討：即AI應該永遠正確，還是像人一樣偶爾會犯錯。
現在的chatGPT，會經常犯錯，也會認錯，主要是由於還不夠強大。
等到它足夠強大了，它會學習到，有時候，不一定要給最優答案，有時候，不一定要保持正確，有時候，善意的謊言可能更能被人接受。
也就是說，AI會有情商。
再過不久，AI就可以看出人類在文字中的話外之音，聽出人類語言中的言外之意，可以通過解析人類的聲紋，從而判斷人類的情緒是否對他的回答有所影響，以及在他的回答中是否包含了別的意思。甚至通過視頻的解析人類的微表情，可以判斷這個人是否在撒謊，或者說還有言下之意。科幻電影中的那一幕幕，好像真的越來越近了。
chatGPT將在哪些領域應用？我們會失業嗎？
又該回到那個老生常談，但又直擊靈魂的問題，我們會被AI取代嗎？
更具體點，我們會被chatGPT取代嗎？
毫無疑問，是的。
內容創作
首當其沖的就是內容創作領域，類似我這樣的科普作者，如果僅限於復制粘貼一些概念、原理，或已有的科普材料的話，ChatGPT完全可以替代我們，而且做得比所有人更快，比大部分人更好。
除了文字創作以外，有點反直覺的是，創意創作的職業有可能會更快的被取代，比如說畫家，作曲家等等。
這聽上去和大家以往的認知有點不太一樣。
按照大家的傳統認知，人類最有優勢的就在於人類的創意，而創意來自於自主意識，這也是AI所不具備的。
那天聽了劉潤老師的直播，我有了一些不一樣的認知。
所謂的創新和創意其實是在有限的排列組合裡創作出一個人類能夠感知到美的唯一組合。
這個有限的空間指的就是音符、繪畫的顏色和構圖等。
音符和色彩組成的空間，對人類來說並不算是有限的，幾乎可以等同於無限空間，但對於AI來說，特別是對於超大算力的AI來說，是可以窮盡的有限空間。
而在一個相對有限的空間裡，不斷的試錯，尋找最優或者次優解這種事情，AI再擅長不過了。
事實上現在有很多的畫家已經把尋找靈感這件事，交給AI了。
即先嘗試讓AI通過給出的一個或幾個關鍵字進行創作，從AI創作的一系列作品中挑選自己喜歡的，用來尋找靈感，再將AI的畫作用自己的風格畫出來。
也就是說，畫家、作曲家，這類人類引以為豪的創意創作職業，已經把自己最核心的競爭優勢——靈感，交給AI去處理了。
剩下的所謂作曲或者作畫風格，如果要進行模仿，對於AI來說更加不在話下。
Google Deep Dream 2015年作品[8]
誠然，大師的作品總是難以逾越的，但是對於大多數不那麼著名的創作者，自己的作品比起AI來說，到底有什麼更打動人心的地方呢？
咨詢領域
其他的職業當然也面臨同樣的危機，比如咨詢領域基礎的法律，財務金融保險等等咨詢包括在線客服針對於某些領域特定知識的解答都可以被AI很好的完成，事實上現在很多人已經在用全gt去尋找。這些領域的問題的答案而不再咨詢同類
類似的還有教師，科普工作者等等
程序員
此外，程序員們似乎要被自己寫出來的AI革了自己的命，特別是面向Google編程的，隻會ctrl+c，ctrl+v的程序員們。
特定功能的基礎代碼chatGPT可以很好的完成，並且幾乎是瞬間完成。
難點在於如何把一個現實問題轉化為一個編程問題，拆解成多個明確的編程模塊。
這是以後程序員們應該具備的核心競爭力，也就是編程思維。
總的來看，可能會被AI替代的，仍然是這個職業裡面相對不那麼自身的從業者。
其實換個角度，他們即使不被AI替代，也會被更優秀的同類替代，被會使用AI的同類替代。
所以對於這一類人來說，他們與其擔心AI，不如先審視一下自己。
不過大家也不用過於擔心，縱觀人類歷史，新技術的出現固然會導致一部分人的工作被替代，但是同時也會催生出新的職業和崗位。
蒸汽機的出現使得小作坊難以為繼，催生了盧德運動。
『盧德分子』破壞工廠機器[9]
但是蒸汽機普及之後，失業的人們也找到了更適合自己的工作。從整體上來看，人類在技術進步之後，更有餘力去從事更加輕松的工作。
AI的出現同樣催生了新的職業和崗位，比如AI標註師。AIGC時代的標註師，除了要給樣本打標，還要自己創作內容給AI學習，引導AI修改回答，更要為AI創作的多個內容進行排序，以後的AI標註需求會更多樣化，更加復雜。
除了催生出新崗位，AI也會賦能一些崗位，從而改變一些職業。
比如程序員不再需要寫很多基礎的代碼，而是更多的需要利用AI去完成更大，更復雜的任務。
人均產能比原來提升了很多，但是技能更偏向於邏輯思維和問題拆解等能力。
同樣，數據分析師也不再需要去做基礎的數據整理、收集、整合等等工作，而是要更多的把精力放在數據的理解，業務目標的洞察上。
數據的整理、收集、整合，甚至建模的繁重工作，都可以由AI來完成，事實上，現在已經有不少工具支持以上功能了，比如Altair RapidMiner等產品，能夠解決預測、聚類和異常值檢測三大類問題，大大加快了模型的構建和驗證過程。
chatGPT的隱憂
chatGPT無疑會顛覆很多行業，比如搜索引擎。
New Bing搭載chatGPT以後，已經能解決信息來源和數據即時性兩大痛點，體驗完勝搜索引擎。
如果搜索引擎的商業模式被顛覆，那Google的核心收入——廣告，就不再有優勢了，競價排名等模式也將不復存在。
留給Google的時間不多了。
這裡，我能想到兩個問題：
就像應對爬蟲有robot.txt這種自律公約一樣，以後會不會出現AI學習材料的自律公約，比如有的藝術作品或者網頁、文字作品，不願意讓AI學習，那就要給出相應的標識，禁止AI學習和引用。
而由於信息高度歸納和抽象，人們會漸漸放棄搜索引擎時代自己篩選信息的復雜操作，而是選擇躺平，相信chatGPT的一切。
甚至在自己的認知與chatGPT沖突時，也全盤否定自己，接納chatGPT。
長此以往，人們的認知能力會下降，這已經不是信息繭房了，而是算法霸權。其權威無人能挑戰，其地位無人能撼動。
此外，由於算法的不可解釋性，難以用於金融的強監管行業的決策支撐； 由於訓練樣本過於龐大，參數過於復雜，也難以審核其訓練原材料的公允性； 甚至，由於RLHF的訓練有人參與，這些標註師的政治立場，有可能會影響chatGPT的立場，事實上，現在chatGPT就不是完全中立的，而是一個左翼的環保主義者。
結語
盡管存在種種缺陷和隱憂，chatGPT仍然是近年來AI圈，甚至科技圈裡最重磅的突破。
AI會取代一些工作崗位，會顛覆一些行業，但就像以前的技術革命一樣，也會催生出新的崗位和行業。
作為普通人，我們應當審視自己的日常工作，是否存在簡單重復的勞動，主動用AI替代這部分工作，把自己的精力投入到更有創造性和挑戰的工作當中去吧。
參考資料
[1]
中信建投: 從CHAT_GPT到生成式AI：人工智能新范式，重新定義生產力
[2]
中信建投: 從CHAT_GPT到生成式AI：人工智能新范式，重新定義生產力
[3]
AI作畫《太空歌劇院》拿下一等獎，AI是否將入侵藝術領域？: http://moyubao.net/news/5641/
[4]
萬字長文：AI產品經理視角的ChatGPT全解析: https://mp.weixin.qq.com/s/vHxi3-bk23QORNsIocIHeA
[5]
一文讀懂chatGPT模型原理《無公式》: https://mp.weixin.qq.com/s/N6gUVLDtAkJCZi-kStSS6w
[6]
Long Ouyang∗，JeffWu∗，Xu Jiang∗，Diogo Almeida∗，Carroll L. Wainwright∗，Pamela Mishkin∗，et al. (2022).: Training_language_models_to_follow_instructions_with_human_feedback
[7]
Long Ouyang∗，JeffWu∗，Xu Jiang∗，Diogo Almeida∗，Carroll L. Wainwright∗，Pamela Mishkin∗，et al. (2022).: Training_language_models_to_follow_instructions_with_human_feedback
[8]
藝術被技術『入侵』，人工智能作畫估值幾何？: https://www.jiemian.com/article/2523557.html
[9]
盧德運動：英國工人為生計砸毀象征進步的機器，誓死捍衛手工生產 : https://www.sohu.com/a/333582725_552814