四月，我滿懷期待與渴望發(fā)布了關(guān)于 RAG 重塑智能客服行業(yè)的文章。那時(shí)，對(duì)未來充滿無限幻想。然而，歷經(jīng)幾個(gè)月的 AI 產(chǎn)品經(jīng)理之旅，如今的我與市場一同回歸理性。

這段時(shí)間，我見證了大模型的奇妙變化，看到了它的無限可能性，也掉入過它的 “坑”。雖有諸多問題，但不可否認(rèn)，大模型為工作帶來極大便捷，數(shù)據(jù)分析精準(zhǔn)高效、代碼編寫輕松省力、文章創(chuàng)作才華盡顯。從最初的滿心憧憬到探索中的迷茫困惑，再到如今的冷靜思考，我深刻體會(huì)到 AI 之路的波瀾起伏。

接下來就講述下我這段時(shí)間遇到的問題和我后續(xù)的思考：

一、技術(shù)日新月異的時(shí)代，速度意味著一切嗎？

1、第一階段

年初，市場一片火熱，大模型技術(shù)如同一顆璀璨的新星，吸引著眾人的目光。大家對(duì)其充滿狂熱，仿佛看到了未來的無限可能。我們也不例外，懷著激動(dòng)的心情測(cè)試了大模型在某個(gè)垂類領(lǐng)域問答的準(zhǔn)確率，結(jié)果在合格分?jǐn)?shù)上下波動(dòng)，但這足以讓我們看到希望，覺得這是一個(gè)可以給垂類行業(yè)帶來第二增長曲線的機(jī)遇，因?yàn)橥ㄓ么竽Ｐ蜔o法實(shí)現(xiàn)可用的準(zhǔn)確率。

1.1 垂類大模型訓(xùn)練

于是，我們開始思考如何提升問答準(zhǔn)確率這個(gè)關(guān)鍵參數(shù)?？v觀市面上的各種宣傳，各行各業(yè)都在宣稱自己是首個(gè)某某垂類大模型。

確實(shí)，以人的認(rèn)知方式類比，看過學(xué)過更多領(lǐng)域知識(shí)的人會(huì)成為專家，大模型似乎也遵循著這個(gè)邏輯。從 AI 的發(fā)展史來看，它是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的領(lǐng)域，像李飛飛教授的 imagenet 數(shù)據(jù)集，大模型也是因龐大的數(shù)據(jù)量而產(chǎn)生質(zhì)的突變。按照慣性思維，單獨(dú)訓(xùn)練垂類大模型似乎是個(gè)明確的方向。

而且，當(dāng)與各大大模型廠商合作時(shí)，可以要求他們訓(xùn)練的大模型達(dá)到特定的準(zhǔn)確率數(shù)值，在上半年，這看起來確實(shí)是個(gè)花錢就能達(dá)成目標(biāo)的事情。然而，故事往往不會(huì)一帆風(fēng)順。

1.2 垂類大模型+rag

除了垂類大模型的訓(xùn)練，我們還引入了 RAG（檢索增強(qiáng)生成）技術(shù)。

通用大模型存在一些問題，而 RAG 仿佛是舞臺(tái)上冉冉升起的新星，在第一階段，我們對(duì)它充滿期待，認(rèn)為它會(huì)給這個(gè)舞臺(tái)帶來無數(shù)激動(dòng)人心的時(shí)刻，灑滿鮮花。

考慮到后續(xù)商業(yè)化以及項(xiàng)目的自主性，我們毅然選擇了自研這條路。但沒想到，這條自研之路也是荊棘叢生。

從自有知識(shí)庫準(zhǔn)備好的 QA 對(duì)，到非結(jié)構(gòu)化文章的切片、子切片，再到向量化、相似度檢索、排序、重排序等幾個(gè)大模塊，我們艱難地建立起自己的 RAG 問答流程（ps：之所以叫艱難的建立起，是因?yàn)?，在另外一家公司我們使用的是選擇現(xiàn)有的LLM平臺(tái)來實(shí)現(xiàn)以上的流程，完全沒有自己從0-1建立起來時(shí)的諸多困擾）。

在這個(gè)過程中，我們的心情從最初的滿懷期待，逐漸變得焦慮和審慎，深刻體會(huì)到了 AI 探索之路的不易。但我們知道，只有不斷前行，才能在這片充滿挑戰(zhàn)的領(lǐng)域中找到屬于自己的成功之路。

補(bǔ)充說明：純大模型的缺陷

知識(shí)的局限性：知識(shí)更新緩慢和答案缺乏透明度。模型自身的知識(shí)完全源于它的訓(xùn)練數(shù)據(jù)，而現(xiàn)有的主流大模型（ChatGPT、文心一言、通義千問…）的訓(xùn)練集基本都是構(gòu)建于網(wǎng)絡(luò)公開的數(shù)據(jù)，對(duì)于一些實(shí)時(shí)性的、非公開的或離線的數(shù)據(jù)是無法獲取到的，這部分知識(shí)也就無從具備。

幻覺問題：所有的AI模型的底層原理都是基于數(shù)學(xué)概率，其模型輸出實(shí)質(zhì)上是一系列數(shù)值運(yùn)算，大模型也不例外，所以它有時(shí)候會(huì)一本正經(jīng)地胡說八道，尤其是在大模型自身不具備某一方面的知識(shí)或不擅長的場景。而這種幻覺問題的區(qū)分是比較困難的，因?yàn)樗笫褂谜咦陨砭邆湎鄳?yīng)領(lǐng)域的知識(shí)。

數(shù)據(jù)安全性：對(duì)于企業(yè)來說，數(shù)據(jù)安全至關(guān)重要，沒有企業(yè)愿意承擔(dān)數(shù)據(jù)泄露的風(fēng)險(xiǎn)，將自身的私域數(shù)據(jù)上傳第三方平臺(tái)進(jìn)行訓(xùn)練。這也導(dǎo)致完全依賴通用大模型自身能力的應(yīng)用方案不得不在數(shù)據(jù)安全和效果方面進(jìn)行取舍。

補(bǔ)充說明：不同rag構(gòu)建方式優(yōu)劣勢(shì)對(duì)比

在經(jīng)歷了一系列提升準(zhǔn)確率的操作后，我們確實(shí)看到了成果的提升。然而，正如生活中總是充滿意外，新的發(fā)展也接踵而至。此時(shí)，我們認(rèn)為自身的基礎(chǔ)技術(shù)能力已有了一定積累，于是懷揣著為企業(yè)帶來新發(fā)展的期望，著手打造一個(gè)能夠運(yùn)用這些能力并實(shí)現(xiàn)商業(yè)化可能性的產(chǎn)品。

在這個(gè)產(chǎn)品的發(fā)展過程中，我們迎來了重大的轉(zhuǎn)折點(diǎn)。我們深刻認(rèn)識(shí)到傳統(tǒng)程序構(gòu)建方式與算法工程化之間的巨大差異。傳統(tǒng)程序以跑起來為首要目標(biāo)，只要能夠順利運(yùn)行，便達(dá)成了基本要求。

但算法工程卻截然不同，它更像是一個(gè)個(gè)精心設(shè)計(jì)的實(shí)驗(yàn)，需要在每個(gè)小閉環(huán)中不斷地進(jìn)行測(cè)試、再測(cè)試。每一次的嘗試都是一次探索，每一次的調(diào)整都是為了更接近完美。

2、第二階段

2.1 回答不夠完整和有條理，且存在某些不適合垂類領(lǐng)域的偏向。

問題表現(xiàn)：由于產(chǎn)品的目標(biāo)是商業(yè)化，因此我們將我們的產(chǎn)品給客戶進(jìn)行試用，客戶反饋產(chǎn)品準(zhǔn)確率不行且回答不夠完整和有條理、且存在事實(shí)性錯(cuò)誤。

原因分析：

• 垂類大模型被訓(xùn)練成更偏向簡潔回答模式：訓(xùn)練前我們只關(guān)注問答準(zhǔn)確率，未確認(rèn)好期望的問答結(jié)構(gòu)和回答方式。如雖然我們知道 rag 問答知識(shí)準(zhǔn)備中雖注意到一個(gè)問題一個(gè)答案及數(shù)據(jù)多樣化，但在相似其他相似領(lǐng)域未獲得我們重視。

• 垂類大模型被訓(xùn)練成回答會(huì)有某些偏向的模式：訓(xùn)練所需數(shù)據(jù)確認(rèn)方式有問題，若放入有偏向性及后續(xù)需要不斷更新的數(shù)據(jù)，會(huì)導(dǎo)致問答結(jié)果有偏向性。比如在法律領(lǐng)域不同地區(qū)法律存在差異，你給大模型的數(shù)據(jù)偏向于北京的數(shù)據(jù)，后續(xù)回答就容易在不明確地區(qū)的情況下回答北京，導(dǎo)致存在實(shí)時(shí)性的誤差，因此后續(xù)要么確保數(shù)據(jù)沒有地區(qū)，在rag中使用這些地區(qū)的數(shù)據(jù)，要么不斷的訓(xùn)練防止以上的問題產(chǎn)生。

2.2 內(nèi)部知識(shí)庫+垂類大模型不如通用大模型+聯(lián)網(wǎng)搜索？

問題表現(xiàn)：測(cè)試結(jié)果顯示大半年努力不如通用大模型包裝出來的流程調(diào)用，即使在法律這樣對(duì)數(shù)據(jù)及時(shí)性有效性要求高的行業(yè)也如此。

思考困惑

• 讓人迷茫做這個(gè)東西的流程意義何在，也理解了為何媒體宣傳 AI 搜索有前景。

• 可能是我們的測(cè)試方式也要點(diǎn)問題，因?yàn)槭褂玫氖切〉哪Ｐ蛯?duì)比市場上的通用大模型。

2.3 回答的召回率不高

問題確認(rèn)：結(jié)果，我們從 0 – 1 剖析整個(gè)流程，發(fā)現(xiàn)文檔拆分未按要求進(jìn)行，導(dǎo)致無法召回效果一直不是很好。且由于我們是特定的行業(yè)，存在很多行業(yè)內(nèi)相似的詞匯，但是 embedding 模型轉(zhuǎn)換出來的向量相似度不高導(dǎo)致無法召回等等。

嘗試措施：測(cè)試不同的 embedding 模型、增加稀疏向量、使用不同重排序策略、利用上下文信息、對(duì) chunk 進(jìn)行不同拆分、擴(kuò)充問句、重新梳理整套流程然后進(jìn)行各個(gè)模塊的測(cè)試。

注意事項(xiàng)：

算法和工程同學(xué)進(jìn)行各種改動(dòng)時(shí)先使用 MVP 測(cè)試效果，避免按照原本工程思維，只關(guān)注是否可以跑起來，不管每個(gè)模塊跑的各種細(xì)節(jié)是否穩(wěn)定是否符合預(yù)期，從而導(dǎo)致發(fā)布后出現(xiàn)問題需大量的改動(dòng)。

技術(shù)日新月異的時(shí)代，實(shí)現(xiàn)速度雖重要，也要注重對(duì)實(shí)現(xiàn)效果的反復(fù)驗(yàn)證。

二、理性回歸，反思技術(shù)

1、《讓大象飛》引發(fā)共鳴，技術(shù)并非萬能

近期閱讀了《讓大象飛》這本書，其中的一些觀點(diǎn)讓我產(chǎn)生了強(qiáng)烈的共鳴。書中提到技術(shù)并沒有我們以為的那么重要，任何新的技術(shù)通常都會(huì)經(jīng)歷一個(gè) 25 年的接受和采用周期。這讓我深刻反思了在大模型創(chuàng)業(yè)過程中的經(jīng)歷。在追求技術(shù)創(chuàng)新的道路上，我們往往容易陷入對(duì)技術(shù)的過度熱愛，而忽略了其他重要的因素。

在公司內(nèi)部創(chuàng)業(yè)過程中，我們也曾陷入技術(shù)陷阱。在探索產(chǎn)品功能的算法方案時(shí)，花費(fèi)了將近一個(gè)月的時(shí)間，期間還換了人，但最終結(jié)果卻充滿戲劇性。這讓我意識(shí)到，技術(shù)并非萬能，不能僅僅依靠技術(shù)來推動(dòng)企業(yè)的發(fā)展。我們需要更加關(guān)注用戶需求、商業(yè)模式創(chuàng)新、設(shè)計(jì)創(chuàng)新，以及如何將技術(shù)與現(xiàn)有業(yè)務(wù)相結(jié)合，滿足商業(yè)上的需求。

2、用戶需求、商業(yè)模式與設(shè)計(jì)創(chuàng)新更受關(guān)注

在經(jīng)歷了大模型創(chuàng)業(yè)的波折后，我越發(fā)認(rèn)識(shí)到商業(yè)模式與設(shè)計(jì)創(chuàng)新的重要性。正如書中所說，采用新技術(shù)的動(dòng)力應(yīng)該來自商業(yè)上的需求，而不是相反。商業(yè)模式創(chuàng)新就像一座燈塔，引導(dǎo)企業(yè)駛向未知的、有利可圖的水域。

商業(yè)模式創(chuàng)新展示了公司如何為客戶提供價(jià)值，無論是開發(fā)新的收入流還是拓展分銷渠道都至關(guān)重要。它不僅僅是產(chǎn)品的創(chuàng)新，更是關(guān)于改變企業(yè)的本質(zhì)、收入流、市場以及客戶對(duì)價(jià)值的認(rèn)知。例如 Airbnb 以其共享經(jīng)濟(jì)模式顛覆了酒店行業(yè)，Spotify 的訂閱服務(wù)也顛覆了傳統(tǒng)音樂購買模式，這些都是商業(yè)模式創(chuàng)新的成功案例。

3、對(duì)于初創(chuàng)企業(yè)來說，先 “活下來” 是首要問題

雖然好的商業(yè)模式和設(shè)計(jì)模式很重要，但是在在創(chuàng)業(yè)早期，我們應(yīng)該更多地關(guān)心市場需求，因?yàn)閺谋举|(zhì)上來說商業(yè)模式無非就是用戶/客戶給你錢或者廣告商給你錢，而愿意給你錢的本質(zhì)是你能滿足他們的需求。

通過觀察世界，找出存在的問題，對(duì)現(xiàn)有技術(shù)做出調(diào)整以適應(yīng)目標(biāo)，測(cè)試市場來發(fā)現(xiàn)需求，探索可能的市場機(jī)會(huì)。只有這樣，我們才能避免落入 “技術(shù)陷阱”，實(shí)現(xiàn)企業(yè)的可持續(xù)發(fā)展。

三、未來展望，穩(wěn)步前行

1、對(duì)于自我：實(shí)踐出真知

目前的感受是實(shí)踐出真知，看了很多文章看了很多項(xiàng)目，直到自己實(shí)際去體驗(yàn)的時(shí)候才發(fā)現(xiàn)，哪哪都是坑，一個(gè)不留意都可能對(duì)最后的結(jié)果產(chǎn)生影響。

在 AI 的世界里，處處皆是挑戰(zhàn)。傳統(tǒng)的程序以運(yùn)行起來為首要目標(biāo)，而算法工程則如同一個(gè)個(gè)精心設(shè)計(jì)的實(shí)驗(yàn)。每一個(gè)小閉環(huán)都需要我們不斷地測(cè)試、再測(cè)試。一個(gè)細(xì)微的疏忽，都可能對(duì)最終結(jié)果產(chǎn)生重大影響。我們必須時(shí)刻保持警惕，以嚴(yán)謹(jǐn)?shù)膽B(tài)度對(duì)待每一個(gè)環(huán)節(jié)。

2、對(duì)于大模型：持續(xù)探索，在 AI 領(lǐng)域穩(wěn)步邁進(jìn)

過往我不斷的探索三維深度信息，思考它如何被人類記憶，如何影響其他信息的認(rèn)知。如今，AI 領(lǐng)域不斷拓展，語義 AI 之外，具身智能嶄露頭角。

具身智能強(qiáng)調(diào)智能體與真實(shí)世界的多模態(tài)交互，通過 “眼耳鼻舌身” 五根主動(dòng)獲取物理世界的真實(shí)反饋，推動(dòng)智能化向更高層次進(jìn)化。未來的 AI 產(chǎn)品有望從傳統(tǒng)的 2D 平面人工智能邁向 3D 空間、4D 時(shí)序的新領(lǐng)域。具身的虛擬數(shù)字人、AI 智能助理、人形機(jī)器人等，這些充滿想象力的發(fā)展方向令人期待。它們將實(shí)現(xiàn)多模態(tài)、主動(dòng)交互式的人工智能體，為人類生活帶來翻天覆地的變化。

最后，在這個(gè)充滿無限可能的時(shí)代，我們作為 AI 產(chǎn)品經(jīng)理，雖無法進(jìn)行金錢上的大規(guī)模投資，但我們可以將自身的資源投入到我們所向往的未來。正如一位我所喜愛投資人所言：“投資是什么？是將我的資源投給我想要的未來?！?盡管這其中存在風(fēng)險(xiǎn)，但如果有幸參與到那個(gè)令人激動(dòng)的未來之中，將是無比榮幸之事。

相關(guān)參考

書籍《讓大象飛》

大模型：豆包/智譜清言

文章：
https://mp.weixin.qq.com/s/tuOrnzmW3gzBbnlV31hmJg

本文由 @4T 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。 

題圖來自Unsplash，基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。