Zalety testowania produktów z wykorzystaniem syntetycznych danych
Kiedy badania są trudne do przeprowadzenia?
Czasem zdarza się, że tradycyjne badania rynku są:
- Zbyt kosztowne
- Zbyt czasochłonne
- Trudne do zrealizowania przy odpowiedniej liczbie uczestników
W takich sytuacjach firmy badawcze i ich klienci musieli do niedawna wybierać między przekroczeniem budżetu/ harmonogramu, a rezygnacją z projektu. Czasem kompromisem było ograniczenie zakresu badania, np. przez rezygnację z analizy mniejszych grup, w których zebranie wystarczającej liczby odpowiedzi było niemożliwe.
Dziś pojawia się nowe rozwiązanie: można zebrać część danych od prawdziwych respondentów, a następnie uzupełnić je danymi wygenerowanymi przez AI.
Jakość danych syntetycznych
Wiele firm wciąż podchodzi do syntetycznych danych z ostrożnością, często nie wiedząc, jak ocenić ich jakość. W publikacji "The Power of Product Testing With Synthetic Data" eksperci Ipsos dzielą się wskazówkami dotyczącymi następujących kwestii:
Jak tworzyć wartościowe dane syntetyczne
- Jak oceniać ich jakość
- Jak wykorzystać je w wymagających badaniach, np. testach sensorycznych nowych produktów
- Jak generować syntetyczne dane?
Chcąc uzyskać syntetyczne dane, które skutecznie imitują dane od „ludzkich” respondentów, musimy wyszkolić model sztucznej inteligencji (AI) w oparciu o te ostatnie.
Najważniejsza zasada: dane syntetyczne powinny odzwierciedlać rzeczywiste dane pod względem podstawowych miar statystycznych. Na przykład, jeśli prawdziwi respondenci oceniają produkt średnio na 5 przy 7-punktowej skali, dane syntetyczne również powinny cechować się średnią oceną 5.
Im bliższe prawdziwym danym są dane syntetyczne, tym bezpieczniej można je stosować. Ryzyka nigdy nie da się całkowicie wyeliminować, ale można je znacząco zmniejszyć.
Obecnie istnieją dwa główne podejścia do generowania danych syntetycznych:
1. Modele LLM (Duże Modele Językowe) – tworzące dane tekstowe
2. Inne modele – generujące dane liczbowe
Doświadczenie produktu jest z zasady ludzkie
W naszej publikacji przedstawiamy wyniki z dwóch fal badania przeprowadzonego w celu określenia minimalnej liczby prawdziwych (ludzkich) respondentów koniecznej do miarodajnej oceny produktu w typowym teście. Ta minimalna ludzka podstawa może być rozszerzona z użyciem danych syntetycznych, by zapewnić wiarygodne i jeszcze bardziej użyteczne wyniki. By zapoznać się z głównymi wnioskami z badania, zapraszamy do pobrania pomocnej infografiki.
Najważniejsze wnioski z badań
1. Dane syntetyczne nigdy nie zastąpią ludzi
AI nigdy samodzielnie (tj. bez udziału żadnych danych od realnych respondentów) nie odzwierciedli pełni doświadczeń produktowych, na które składają się doświadczenia zmysłowe, emocje, oczekiwania, a także kontekst. Z tego względu naszym celem jest wzbogacenie rzeczywistych danych danymi syntetycznymi, a nie całkowite ich zastąpienie.
2. Trafność pomiaru zależy od danych użytych do szkolenia
Miarodajność syntetycznych danych zależy od wielu czynników, takich jak wewnętrzne zróżnicowanie w danych, które próbujemy odtworzyć, czy reprezentatywność danych, na podstawie których szkolimy model AI, dla badanej populacji. Użycie syntetycznych danych powinno być decyzją przemyślaną, poprzedzoną analizą możliwego ryzyka i potencjalnych zysków.
3. Jeśli dane syntetyczne są dokładne, mogą usprawnić badanie produktów
Dane syntetyczne mogą usprawnić i ułatwić te typy badania rynku, które dzisiaj są szczególnie „zasobożerne". Pozwalają zmniejszyć koszty, oszczędzić czas, a dodatkowo zapewniają korzyść w postaci możliwości bardziej szczegółowej analizy wyników w podgrupach.