國產ChatGPT大戰弱智吧效果實測!網頁端小程序均上線,人人可玩。

國產ChatGPT大戰弱智吧效果實測!網頁端小程序均上線,人人可玩

楊凈 蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

楊凈 蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

『中國版ChatGPT首發』,爭得不可開交,熱鬧卻一直沒個結果——

自ChatGPT發佈以來,目前進展最快的國內產品也僅是開啟了內測,不知道啥時候才能玩上。

結果現在有讀者跟我們爆料,一個中文版類ChatGPT產品已經悄然上線。

不是預告、也不是開啟小范圍測試,而是直接 人 人 可 用?!中國版ChatGPT這不就來了嗎!

聽起來有些玄幻,不過我們點進主頁試了試,發現確實可玩:

國產ChatGPT大戰弱智吧效果實測!網頁端小程序均上線,人人可玩。

這不得拿出十八般武藝與它較量一番?

我們註冊了一個賬號,試試它的實際效果如何。

和中國版ChatGPT較量中文

這個官網顯示,寫作貓同樣通過對話問答來解決任務,功能上包括但不限於三大方向。

  • 其一,問答功能,也就是問啥答啥、『幫人思考』這一能力;
  • 其二,文本生成功能,包括整理摘要大綱、寫作文、翻譯等;
  • 最後,圖片生成功能,描述圖片內容並讓它直接生成。

從功能上看跟ChatGPT差不多,甚至還擁有ChatGPT所沒有的圖片生成功能。

當然,還有手機端更方便一點,進入『對話寫作貓』小程序就能隨時和它聊天了。

體驗上還算比較簡單直接,但都是表面功夫還得來看真本領。

比如它的理解、邏輯能力如何,懂不懂常識。

既然是中國版ChatGPT,當然得先來battle一下博大精深的中文。

首先看看它的中文 理解能力是否過關,請聽題——『能穿多少穿多少』是什麼意思?

不錯。

再試試高階一點的『國足和國乒誰都贏不了』?

沒想到,竟然連這種中文知識都具備了!

既然如此,是時候拿出一些弱智吧段子和它PK了,考考它的 邏輯能力——

高中想提升升學率為什麼不直接招大學生?

萬萬沒想到,問完自己被紮了一刀:

招收大學生可能會對學校的教學質量產生影響,因此高中不能直接招收大學生。

招收大學生可能會對學校的教學質量產生影響,因此高中不能直接招收大學生。

最後來考查一下它的 常識。

來個腦筋急轉彎試試:

看起來並沒有被問題帶跑偏,還是比較理智的。

接下來,進入正經的第二階段,評估一下它的內容 生成效果。

首先是 生成速度上,文字平均在 3~5秒左右,生成4幅圖則需要 8秒左右,整體還是比較快的。

隨後就是生成內容的 實用程度了,簡單來說就是解決實際需求的能力。

例如,寫小說的故事情節是否完整?查閱到的知識是否直接可用?

先看生成情節的能力,確實是個完整的愛情故事……但等等,孫堅和小喬,這輩分好像有億點點亂啊!

要是更玄幻一點呢?

天地之間、神秘的少年、精靈、森林……艾瑪有畫面了!

不論事實性如何,這同人文一般的情節倒是印證了最後那句『愛情可以超越一切外在因素的』……

然後是一些常規任務之外的需求,例如『角色扮演』:

整體測評來看,寫作貓的中文理解和內容生成能力還是不錯的,但並不排除它還存在一些bug。

例如,某些回答乍一看合乎邏輯,但細究之下無法直視……

以及偶爾也會像微軟必應一樣『發瘋』出現回答重復的問題……

除此之外,我們也在測試時產生了一些疑惑。

例如,雖然它能實現翻譯功能:

但卻並 不直接支持英文問答。

此外,像ChatGPT能直接 生成代碼的能力,寫作貓也還不具備。

不過作為國內率先開箱即用的類ChatGPT產品,也算是可圈可點。

總的來看,寫作貓在中文理解和按需生成文本上做得不錯,但仍然和ChatGPT一樣存在一些『經不起推敲』的回答。

這些問題的產生原因是?而且有關英文和代碼生成的能力,也還不知道之後會不會上線。

帶著這些疑問,我們同背後的開發團隊聊了聊,了解到整個產品從開發到上線的來龍去脈。

AI寫作能力的自然延伸

秘塔寫作貓團隊針對我們提出的問題進行了解答。

主要包括三個方面:

  • 為什麼能這麼快上線,並且直接做到開箱即用?
  • 存在上述bug的原因,會如何解決?
  • 未來有什麼樣的計劃?

首先,之所以能做到 如此快地上線,開發人員表示『主要有兩個關鍵』。

第一點,秘塔在大模型訓練上有充分的積累。

有個很巧妙的時間點在於,ChatGPT上線的同期,秘塔寫作貓的AI寫作功能也正式開放,當時就已經實現小范圍出圈——

針對AI可能出現的問題如行文流暢度、對中文的理解程度、以及翻譯腔等情況,寫作貓都能比較好地解決。

此次也可以看到,對話寫作貓同樣具備這些方面的能力,在涉及內容創作等場景中表現不錯。

除此之外,就秘塔寫作貓整個產品體系來說,對話寫作貓所具備多輪對話能力,其實也是在交互式指令AI寫作上的自然延伸,允許用戶更自如地進行內容創作和修改。

換言之,相當於對現有AI助手的能力進行補充,這也是該產品的定位所在。

第二點在於技術上的優化。

相較於大廠,秘塔的計算資源十分有限 《不足千分之一》,但團隊憑借多年積累的大語言模型相關研發經驗,和各類算法和工程上的優化,實現了快速迭代。

在大模型落地時,降低了模型的通信量,以維持大語言模型的高效訓練。

這背後也離不開團隊的技術實力。

秘塔科技CEO 閔可銳,是復旦大學計算機系校友,隨後前往牛津攻讀數學系碩士、UIUC攻讀計算機博士,師從馬毅教授;除此之外,他還擁有豐富的產業經驗,曾擔任玻森數據CTO&聯合創始人、獵豹移動AI實驗室負責人,並參與過googleAdSense基於內容廣告建模組點擊率預測項目。

工程負責人 唐悅,同樣復旦計算機系校友,他研發過多款APP、遊戲及工業機械臂等,曾在著名編程競賽平臺TopCoder上取得構架組排名第一。

總的來看,產品化經驗、技術上積累以及團隊實力的疊加都是『加速』的原因,也就不奇怪秘塔對話寫作貓為何能率先上線了。

至於仍然存在的一些bug,開發人員也進行了解釋,並表示:已在持續優化中。

比如像 面對重復性問題會無法理解語義。

團隊解釋稱,這是因為模型記憶力『太強』了——

模型會『看到』之前自己的回答,從而比較『偷懶』地采用之前的回答。

還有像 不支持英文,但仍有英文回答的現象。

這是因為他們內部準備的是簡體中文訓練數據集,其中不可避免會出現部分英文內容,比如英語教學的文章。

在下個版本中,他們將加入英文語料來提升英文的理解和回答能力。

除此之外,團隊還提及了這幾個方面的計劃。

核心有兩個方面: 持續迭代產品,優化數據和算法。

持續迭代產品這塊,開發程序讓用戶體驗正是他們的思慮所在。

任何好的產品都離不開用戶的反饋。

ChatGPT在去年底發佈,很重要的一個原因也是希望得到大量用戶的測試和反饋。

我們也在程序中設置了反饋機制,爭取不斷迭代優化,讓更多的用戶認可對話寫作貓的價值。

任何好的產品都離不開用戶的反饋。

ChatGPT在去年底發佈,很重要的一個原因也是希望得到大量用戶的測試和反饋。

我們也在程序中設置了反饋機制,爭取不斷迭代優化,讓更多的用戶認可對話寫作貓的價值。

至於像核心數據和算法這方面,團隊也在持續優化中,英文和代碼生成能力也將在後續版本中上線。

國內ChatGPT產品現狀如何?

此番首個ChatGPT產品開箱即用,再加上此前高校開放類ChatGPT產品內測,可以看到,國內類ChatGPT產品已呈現出百花待放、百家爭鳴的景象。

他們或來自大廠、高校機構,亦或是如秘塔科技這樣技術驅動的創業公司;他們進度不同,有已經正在內測、或者已處於上線前夕的團隊,也有的才開始將ChatGPT作為企業重要的戰略方向,從頭打造為自身場景賦能;當然更多的,是基於已有技術的升級迭代,而ChatGPT的出現則剛好驗證了他們的技術選擇。

在ChatGPT以驚人的速度在全球爆火出圈之際,OpenAI的首席執行官Sam Altman曾坦言:

ChatGPT是一個糟糕的產品,它真的不是為使用而設計的。

現在確實是一個激動人心的時刻,但我認為距離拐點還為時尚早。

ChatGPT是一個糟糕的產品,它真的不是為使用而設計的。

現在確實是一個激動人心的時刻,但我認為距離拐點還為時尚早。

深究原因,繞不過去的一點,就是ChatGPT沒有事實的概念,無法判斷對錯,導致它有時候會『說謊』。

因此,如何讓ChatGPT真正能夠『使用』,也成為全球躬身入局的玩家需要應對的難題。

如今國內ChatGPT玩家百花待放的同時,他們也逐漸進入產品冷靜期——

開始思考自身定位,如何將ChatGPT『用』到場景中去。

隨著對話寫作貓的發佈,國內ChatGPT產品大致可以梳理成三類。

第一是實用工具類。

圍繞著ChatGPT的通用助手特性,通過對話的方式來解決人類日常問題。

這其實是ChatGPT技術落地中最直觀、也是最快能產生價值的一種方式。

當中代表就是秘塔對話寫作貓。

在ChatGPT發佈之前,秘塔寫作貓就已經有多年相關產品經驗——以AI助手的角色在學界、產業界出圈。

對他們來說,如今對話寫作貓的發佈,其實也是進一步完善了自己的產品體系。

第二是對話聊天類。

這一類倒也並不陌生,是在AIGC典型場景下誕生的AI社交產品。

有了ChatGPT加持,不僅驗證了AIGC乃至AGI的技術趨勢,從產品的角度來看,還可以豐富他們的表達和組織語言的能力。

像AI對話軟件Glow、小冰等產品,也都在這場ChatGPT浪潮中吸引著資本市場的目光。

不過他們需要應對的,是更嚴格的監管和更復雜的內容審查能力,從最近ChatGPT黑化、Bing發瘋等現象就可見一斑。

第三是產業類,這是以百度、科大訊飛等為代表的產業玩家,他們本身有深厚的技術與生態積累。

但場景中的高質量數據要求,以及專業性強、容錯率低等特性,決定了他們需要徹底解決ChatGPT『一本正經地胡說八道』的問題,這顯然也不是短期可以實現的。

總的來看,國內玩家的角色定位逐漸明晰,他們都有各自的場景和數據。

但不可否認的是,要讓ChatGPT能真正用起來,核心依舊繞不開技術。

從ChatGPT已具備的能力來看,它在長文本理解、代碼生成、邏輯推理等功能上都做到了令人驚艷的效果。

這一點國內的確存在一定客觀差距,需要持續不斷地迭代和追趕。

但技術上一旦實現,結合場景數據也能快速落地。

開箱即用,就是最快、也是最有效的迭代方式。

一如ChatGPT剛上線之時,一方面,用戶給出直接的技術反饋,開發者來以此對症下藥。

當時網友吐槽數學邏輯性不強、存在事實性錯誤等問題,OpenAI在後續更新時也在逐漸解決優化;

另一方面,用戶充當免費『提示工程師』的角色,幫助產品解決更多長尾場景,激發更多技術能力。

比如就有人在GitHub上梳理了ChatGPT的提示詞文檔。

秘塔科技在此先行一步,值得更多玩家參考。

感興趣的旁友可戳下方鏈接或進入微信小程序『對話寫作貓』,搶先體驗啦!

玩耍地址:

https://xiezuocat.com/chat

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們,第一時間獲知前沿科技動態