Korišćenje generativne veštačke inteligencije za istraživanje tržišta u ranoj fazi

Generativna veštačka inteligencija (AI), posebno veliki jezički modeli (LLMs), nudi obećavajući novi alat za istraživanje tržišta u ranoj fazi simuliranjem reakcija kupaca na koncepte proizvoda. Ovo može omogućiti kompanijama da donose zaključke slične onima koje bi dobile anketiranjem kupaca ili sprovođenjem fokus grupa, ali uz mnogo manje vremena i troškova. Iako LLMs mogu pružiti isplative i brze uvide, i dalje zahtevaju fino podešavanje (fine-tuning) sa vlasničkim podacima kako bi se dobile precizne procene preferencija. I uprkos njihovom potencijalu, LLMs bi trebalo da dopune, a ne da zamene ljudsko istraživanje, jer imaju poteškoća sa nijansiranom segmentacijom kupaca i dinamičnim tržišnim uslovima.

U ranim fazama inovacija, kompanije se suočavaju sa poznatom dilemom: Koje ideje zaslužuju dalje ulaganje? Tradicionalno rešenje, istraživanje tržišta usmereno na ljude, može pružiti vredne uvide — ali često može biti sporo, skupo i ograničenog obima. Sada, generativna AI nudi intrigantan novi alat: sintetičke kupce.

Veliki jezički modeli (LLMs), kao što su Chat GPT i Gemini, privukli su pažnju svojom sposobnošću da generišu sadržaj i ideje. Ali manje istražena granica je njihov potencijal da simuliraju reakcije kupaca na koncepte proizvoda i njegovih karakteristika. Naše istraživanje pokazuje da LLMs, ako se pažljivo koriste, mogu funkcionisati kao sintetičke fokus grupe, pružajući rane uvide o preferencijama kupaca za delić vremena i troškova u poređenju sa studijama koje uključuju ljude.

LLMs ne pomažu samo u stvaranju ideja za proizvode; oni ih takođe mogu testirati. Predstavljanjem konfiguracija proizvoda ovim modelima na strukturiran način, možemo proceniti „sintetičku“ spremnost za plaćanje (willingness-to-pay - WTP), uporediti alternative, pa čak i označiti ideje koje će verovatno propasti, sve pre angažovanja ijednog ljudskog ispitanika. Kroz nekoliko studija u stilu „conjoint“ analize u kategorijama kao što su pasta za zube, laptopovi i tableti, otkrili smo da LLMs, posebno kada su fino podešeni sa vlasničkim podacima, često daju procene preferencija izuzetno bliske onima kod stvarnih potrošača.

Primenjen u praksi, ovaj pristup nudi više od pukog povećanja efikasnosti u pogledu troškova ili vremena (iako su i ona značajna). Takođe može proširiti vrh levka inovacija, omogućavajući rigoroznije i skalabilno istraživanje ranih ideja.

Od generatora teksta do tržišnog simulatora

LLMs su obučeni na ogromnim skupovima podataka koji uključuju recenzije proizvoda, diskusije i obrasce ponašanja izražene prirodnim jezikom. To ih čini iznenađujuće veštim u odgovaranju na strukturirana pitanja o proizvodima zasnovana na izboru.

U našim studijama, koristili smo program da direktno postavljamo upite LLM modelima sa poređenjima proizvoda koja oponašaju ankete u istraživanju ljudskog tržišta. Na primer: „Da li biste kupili Colgate pastu za zube sa fluoridom za $2.99 ili verziju bez fluorida za $1.99?“ Ponavljanjem ovih upita kroz stotine nasumičnih konfiguracija proizvoda, generisali smo distribucije simuliranih odgovora kupaca. (Napomena: Koristili smo program koji je direktno slao upite LLM-u, a ne interfejs za chat.) Koristeći standardne metode „conjoint“ analize, zatim smo procenili WTP za različite karakteristike proizvoda.

Da bismo procenili odgovore LLM-a, takođe smo sproveli ove „conjoint“ studije sa ljudskim uzorcima. Rezultati? LLMs su proizveli realistične i usmereno tačne preferencije za mnoge poznate atribute. Na primer, sintetički kupci su vrednovali fluorid u pasti za zube i dodatnu RAM memoriju u laptopovima na načine koji su odražavali ljudske uzorke. Štaviše, distribucija simuliranih odgovora je obuhvatila važne kompromise između cene i karakteristika.

Važno je napomenuti da ovo nije bilo samo nekoliko pažljivo odabranih primera. U više kategorija proizvoda, LLMs su dosledno generisali rangiranje preferencija koje se poklapalo sa rezultatima dobijenim od ljudi. Kao alat za preliminarno testiranje, potencijal je jasan: LLMs mogu rano označiti slabe ideje i dati prioritet obećavajućim pravcima pre početka formalnog istraživanja.

Ali postoje ograničenja — i ona su važna

Uprkos ovim obećavajućim rezultatima, LLMs „sa police“ (off-the-shelf) nisu savršeni simulatori. Zapravo, oni imaju tendenciju da precenjuju interesovanje za nove ili neobične karakteristike. Kada smo testirali nove ukuse paste za zube kao što su „palačinka“ ili „krastavac“, sintetički potrošači LLM-a pokazali su daleko više entuzijazma nego stvarni ljudi. Bez utemeljenja u stvarnim potrošačima, generativna AI je zamišljala kupce koji naginju uzbuđenju i znatiželji, osobinama koje se ne pretvaraju uvek u prodaju.

Štaviše, LLMs imaju poteškoća sa segmentacijom kupaca. Kada im se postave upiti sa demografskim modifikatorima (npr. „vi ste kupac sa niskim primanjima“ ili „vi ste republikanac“), odgovori su se menjali, ali često na nedosledan ili preuveličan način. Čak i nakon finog podešavanja, LLM nije mogao pouzdano da reprodukuje nijansirane razlike u preferencijama između demografskih grupa koje su otkrila istraživanja sa ljudima.

Na primer, prilikom procene WTP za MacBook u poređenju sa Surface laptopom, LLM je preuveličao razlike u preferencijama između platnih razreda u odnosu na stvarne ljude. Tačno je pokazao da bi sintetički pojedinci koji su republikanci bili spremni da plate manje za brend Apple od onih koji su demokrate; međutim, pokazao je razliku od $625, dok je razlika u ljudskim uzorcima bila samo $72. Međutim, kada je fino podešen sa podacima kompanije, LLM je imao tendenciju da „usrednji“ svoja predviđanja, zamagljujući važnu heterogenost (npr. tvrdeći da su i demokrate i republikanci bili spremni da plate isti iznos za brend Apple).

Pored toga, LLMs su unapred obučeni, i bez dodatnih podataka za obuku koje pruža istraživač ili pristupa internetu, oni mogu otkriti statične preferencije i ne prilagođavati se dinamički trenutnim tržišnim uslovima, čime pružaju nebitne informacije.

Konačno, brzi razvojni ciklusi i često uvođenje novih LLM modela zahtevaju procenu osnovnih odgovora svake verzije LLM-a, što otežava njihovu upotrebu u procesu razvoja proizvoda.

Ukratko: Korišćenjem naših metodologija, LLMs trenutno mogu aproksimirati prosečne tržišne signale, ali ne i uvide specifične za segment. Za bilo šta izvan detekcije trendova na visokom nivou u ranoj fazi, istraživanje sa ljudima ostaje suštinski važno.

Moć vlasničkih podataka

Jedno od najubedljivijih otkrića u našem istraživanju je koliko bolje LLMs rade kada su fino podešeni sa sopstvenim istorijskim podacima o klijentima kompanije.

Konkretno, koristili smo prethodne ankete kupaca za fino podešavanje LLM-a. Fino podešavanje (Fine-tuning) podrazumeva prilagođavanje parametara modela na osnovu odgovora iz tih prošlih anketa. Ovaj proces poboljšava sposobnost LLM-a da simulira preferencije slične ljudskim, čak i za karakteristike koje ranije nije video.

Na primer, fino smo podesili LLM koristeći odgovore iz studije o pasti za zube sa standardnim ukusima (nana, cimet, jagoda). Zatim smo od njega tražili da proceni preferencije za nove ukuse (palačinka, krastavac). Fino podešen model je preokrenuo svoj raniji entuzijazam i dao WTP procene koje su bile u skladu sa odgovorima ljudi — uključujući i prepoznavanje da većina ljudi smatra „pastu za zube sa ukusom palačinke“ neprivlačnom.

Ovaj obrazac se ponovio u kategoriji tehnologije. Nakon finog podešavanja na osnovu prošlih anketa sa karakteristikama laptopova kao što su veličina ekrana i RAM, LLM je dao daleko preciznije WTP procene za potpuno novu karakteristiku, ugrađene projektore, nego što je to činio u svom osnovnom obliku.

Ali metoda finog podešavanja je funkcionisala samo u istoj kategoriji interesovanja. Kada smo modelu koji je bio fino podešen koristeći ankete o laptopovima postavili upit o tabletima, bliskoj ali različitoj kategoriji, on je radio lošije od modela „sa police“ (off-the-shelf).

Ključni zaključak: firme koje grade i fino podešavaju sopstvene interne „simulatore kupaca“ koristeći LLMs i istorijske podatke iz anketa mogu otključati oštrije uvide u ranoj fazi. Ovo stvara oblik konkurentske prednosti zasnovane na podacima: dve firme koje koriste isti osnovni LLM dobiće različite rezultate ako je jedna od njih obučila model na preferencijama sopstvenih kupaca.

Troškovi, brzina i prošireni levak inovacija

Tradicionalne „conjoint“ studije mogu koštati desetine hiljada dolara i zahtevati nedelje za dizajniranje, sprovođenje i analizu. Naše studije zasnovane na LLM modelima trajale su samo nekoliko sati, uz delić troškova. Bili smo u mogućnosti da generišemo hiljade simuliranih odgovora i brzo ponavljamo proces.

Ova brzina omogućava drugačiju vrstu inovacionog procesa. Umesto da razvijaju samo nekoliko ideja za testiranje, timovi sada mogu da istraže desetine, pa čak i stotine, ranih koncepata, koristeći sintetičke potrošače kao filter. Ovo proširuje vrh levka inovacija, dok sužava dno uz pomoć preciznijih podataka.

Na primer, kompanija za robu široke potrošnje mogla bi sintetički testirati 40 novih varijacija proizvoda, a zatim sprovesti ankete sa ljudima na 5 najperspektivnijih. Ovo smanjuje rasipanje i osigurava da je ljudska pažnja usmerena tamo gde je najvažnije.

Dopuna, a ne zamena

Primamljivo je zamisliti budućnost u kojoj sintetički kupci u potpunosti zamenjuju istraživanje sa ljudima. Ta budućnost još nije stigla, a možda nikada i neće.

Iako LLMs mogu generisati kredibilne uvide u prvoj fazi, i dalje im nedostaju nijanse, emocionalna inteligencija i varijabilnost stvarnih ljudi. Što je još važnije, oni odražavaju postojeće podatke i ponašanje i stoga nasleđuju sve njihove pristrasnosti i slepe tačke.

Ako se koriste odgovorno, LLMs bi trebalo da dopune, a ne da zamene, istraživanje tržišta. Naše studije pokazuju da se mogu primeniti rano u životnom ciklusu razvoja proizvoda, kada je cilj istraživanje i određivanje prioriteta, a ne validacija ili segmentacija.

Štaviše, marketinški stručnjaci moraju ulagati u interno prikupljanje podataka i upravljanje njima kako bi maksimizirali vrednost ovih alata. Fino podešen model izgrađen na godinama pažljivo strukturiranih podataka iz anketa daleko je korisniji od onog koji se oslanja samo na obuku sa interneta.

Budućnost istraživanja tržišta?

Generativna AI preoblikuje način na koji preduzeća dizajniraju, testiraju i lansiraju nove proizvode. Sintetički kupci nisu zamena za stvarne, ali bi mogli biti moćno novo sočivo za rane uvide.

Kombinovanjem LLM modela sa rigoroznim istraživačkim metodama, kompanije mogu brže da inoviraju, efikasnije filtriraju ideje i smanje rizik od skupih grešaka. Ne radi se o borbi čoveka protiv mašine, već o korišćenju mašina za efikasnije slušanje, kako bi ljudi mogli da donose bolje odluke.

Kako se ova oblast razvija, jedna stvar je jasna: firme koje nauče da kombinuju sintetičke i ljudske uvide predvodiće sledeći talas inovacija usmerenih na kupca.