產品測試新時代:合成資料的應用潛力 

Humanizing AI: 第二篇

The author(s)
  • Colin Ho Ph.D., Innovation and Market Strategy & Understanding, US
  • Dr. Nikolai Reynolds Global Head of Product Testing, Innovation, Germany
Get in touch

醫療領域加速新藥研發、在金融業模擬詐欺交易情境,或是推動汽車產業的自駕車測試, 合成數據已在各個商業應用場景中證明其價值。益普索堅信合成數據將為市場研究開創嶄新局面,尤其在產品測試領域潛力無窮。不過,許多企業對於合成數據的品質或評估方式仍存有疑慮。

本報告中,我們的專家將針對生成與評估高品質合成資料提供建議,並深入探討合成資料在產品測試中的具體應用。

合成資料的生成與評估

在 AI 能夠生成反映真實世界資料的合成數據之前,必須先使用真實世界的資料來訓練 AI。正如益普索 Humanizing AI 系列首篇白皮書中所述, AI 本質上只是演算法,在接受訓練前並不具備智慧。它必須透過學習真實世界的資料,才能掌握我們所認知的「智慧」。

而評估合成數據的品質,方法同樣直觀。合成數值資料至少應在常見統計指標上反映真實世界資料的特徵。合成數據越接近真實人類資料,使用時的風險就越低,但始終存在一定風險,因為合成數據永遠無法在所有層面完美複製真實資料。

目前生成合成資料的方法主要分為兩大類:「大型語言模型」(LLMs) 與「非大型語言模型」(non-LLMs),前者主要處理文字資料,後者則以數值資料為主。本報告將對這兩種方法進行探討。

人類的參與仍不可或缺

人類對產品乃至於日常生活的反應,並非僅限於大腦中的事實或語義知識,身體的感官體驗也扮演著舉足輕重的角色。

本報告將呈現我們兩階段的研究成果,目的是評估在產品測試中,搭配合成資料使用時,最少需要多少真實受訪者樣本才能確保測試結果的可靠性。

200 位真實受訪者 vs. 50 位真實受訪者 + 150 筆合成樣本

如果 AI 沒有使用與您企業相關的真實世界資料進行訓練,就無法產生具備真實資料特性的合成數據。道理就是這麼簡單!

關鍵重點: 

1. 合成數據永遠無法取代人類
AI 無法單獨重現我們的產品體驗,因為這些體驗結合了五感、情緒、期待與情境脈絡。因此,我們的目標是透過合成數據來強化人類的回饋,而非取而代之。

2. 準確性取決於訓練資料的品質
合成數據的價值並非非黑即白 (好與壞),它的準確性受到多項因素影響,包括我們試圖複製的資料差異程度,以及用來訓練 AI 的真實樣本是否能代表目標族群。因此,使用合成數據應該採取策略性思考,權衡相關的風險與效益。

3. 當準確度達標,合成數據能為產品測試創造顯著價值
合成數據具備提升市場研究靈活性的潛力,尤其在如產品測試等資源密集的領域,更能發揮關鍵作用——不僅能有效降低研究成本、縮短時程,還能進一步強化子群組分析的深度。

The author(s)
  • Colin Ho Ph.D., Innovation and Market Strategy & Understanding, US
  • Dr. Nikolai Reynolds Global Head of Product Testing, Innovation, Germany