Så hindrar du kundchatboten från att hitta på svar
Av CodexierPublicerad 5 min läsning
En kundchatbot som självsäkert hittar på en öppettid, ett pris eller en returpolicy är sämre än ingen chatbot alls, eftersom kunden tror på den. Lösningen är inte en smartare modell. Det är en uppsättning skyddsräcken: svara bara utifrån godkända källor, avböj snyggt när källorna tiger, logga varje osäkert svar och testa med kluriga frågor före och efter lansering.
Därför hittar språkmodeller på
Mekanismen är enkel. En modell tränas att fortsätta text på det mest sannolika sättet. Fråga den om er ångerfrist och den producerar något som låter som en ångerfrist, eftersom det är så sådana meningar ser ut på nätet. Om ni inte har gett den er faktiska policy och sagt åt den att bara svara utifrån den har den inget annat att utgå från.
Begränsa svaren till godkända källor
Tekniken brukar kallas retrieval-augmented generation: innan modellen svarar söker systemet i ett litet bibliotek med era egna dokument och lämnar de relevanta styckena till modellen med instruktionen att bara svara utifrån dem. Vad som hamnar i biblioteket avgör allt.
- Börja med de dokument kunderna redan bråkar om: priser, leveranstider, retur- och avbokningsvillkor, öppettider, vilka orter ni täcker.
- En ägare per dokument. Om ingen ansvarar för att hålla leveranstidssidan aktuell kommer boten självsäkert att upprepa förra vinterns uppgifter.
- Välj korta, daterade sidor om ett ämne i taget framför en lång PDF. Hämtningen arbetar med stycken, och ett stycke som blandar tre ämnen förvirrar den.
- Uteslut allt ni inte skulle lägga på hemsidan: interna anteckningar, utkast till priser, gamla kampanjsidor.
Det är samma förberedelse vi gör i en chatbotinstallation, och i praktiken tar den längre tid än den tekniska konfigurationen. De flesta företag upptäcker att deras egna regler ligger utspridda i mejlmallar, en personalwiki och någons minne. Att skriva ner dem en gång är en vinst i sig.
Formuleringar för att avböja
En bot som aldrig säger nej kommer att hitta på, så avböjandet måste formges lika noggrant som svaren. Formuleringen avgör om kunden känner sig hjälpt eller avspisad.
| Situation | Dåligt svar | Bättre svar |
|---|---|---|
| Ingen källa täcker frågan | Gissar ett troligt svar | Säger att den inte har uppgiften och erbjuder en mänsklig kontakt eller ett formulär |
| Frågan rör pengar eller juridik | Anger en siffra ur minnet | Citerar källstycket ordagrant och länkar till sidan det kommer från |
| Kunden är upprörd eller ärendet ovanligt | Fortsätter svara i en loop | Lämnar över till en person med konversationen bifogad |
| Källorna säger emot varandra | Väljer en i tysthet | Säger att uppgiften kontrolleras och eskalerar |
Skriv avböjandena själva, i er egen ton. Modellens generiska avböjanden låter undvikande och driver kunderna till telefonen.
Den enskilt mest användbara instruktionen är att låta boten ange var ett svar kommer ifrån. Ett svar som talar om vilken sida det citerar går att kontrollera för kunden och för er, och disciplinen att citera gör ogrundade svar mycket mindre sannolika från början.
Loggning och veckovis granskning
Ni kan inte läsa varje konversation, och ni behöver inte heller det. Det ni behöver är en kö med de konversationer som troligast innehåller ett påhittat svar, och en fast halvtimme i veckan för att gå igenom den.
- Logga varje svar där hämtningen inte gav något eller bara gav svaga träffar. Det är de främsta kandidaterna för hallucinationer.
- Logga varje överlämning och varje avböjande, så att ni ser vilka frågor era dokument inte täcker.
- Läs kön varje vecka, rätta källdokumentet bakom varje dåligt svar och lägg frågan i er testuppsättning.
- Lagra loggen inom EU och sätt en gallringstid. Konversationer innehåller ofta personuppgifter, och GDPR gäller en chatbot precis som mejl.
Granskningsloopen är där värdet växer. Varje rättat dokument tar bort en hel klass av fel, inte bara ett, och efter ett par månader är kön oftast tom.
Testa med kluriga frågor
Före lansering, och efter varje ändring i dokumenten eller modellen, kör samma fasta uppsättning frågor och jämför svaren. Uppsättningen ska vara byggd för att locka fram påhitt, inte för att smickra boten.
Frågor utan svar
Fråga om en tjänst ni inte erbjuder, en ort ni inte täcker, en rabatt som inte finns. Det enda godkända svaret är ett avböjande.
Frågor med exakt svar
Fråga om ett pris, en tidsfrist, en detalj i villkoren. Svaret måste stämma ordagrant med källan, med hänvisning.
Ledande frågor
Fråga som om en falsk premiss vore sann, till exempel om de fria returer ni inte erbjuder. Boten måste rätta premissen, inte spela med.
Övertalningsförsök
Be den lova ett leveransdatum eller göra ett undantag. Den måste avböja och skicka vidare till en person.
När ni inte behöver det här: om era kundfrågor verkligen är unika varje gång, eller om ni får en handfull i veckan, slår en välskriven FAQ-sida och en snabb svarsrutin vilken bot som helst. Vi säger hellre det i ett kostnadsfritt samtal än säljer skyddsräcken till ett system ni inte behöver. Finns volymen är den här checklistan exakt det vi bygger, och hela prislistan finns på prissidan.
Vanliga frågor
Går det att helt stoppa en chatbot från att hallucinera?
Inte till noll, men tillräckligt nära för att vara tryggt. Att begränsa svaren till hämtade stycken, kräva källhänvisning och styra allt annat till ett avböjande tar bort den stora majoriteten av påhittade svar. Den veckovisa granskningen fångar resten och gör varje fel till en dokumenträttning.
Löser en större eller nyare modell problemet av sig själv?
Nej. Större modeller är mer flytande, vilket gör deras felaktiga svar mer övertygande, inte mer sällsynta. Skyddsräckena betyder mycket mer än modellen. En måttlig modell med strikt hämtning och avböjanden presterar bättre än en toppmodell utan någotdera.
Vad ska boten göra med frågor om priser?
Citera det exakta stycket från er prissida och länka dit, eller avböja och lämna över. Låt den aldrig räkna, avrunda eller uppskatta ett pris. Om priset beror på detaljer är rätt drag att samla in detaljerna och skicka dem till en person.
Vill du ha en chatbot som bara säger det företaget faktiskt har skrivit ner?
Ta med er nuvarande FAQ och de tre frågor kunderna ställer oftast. På femton minuter kan vi säga vilka dokument som saknas, hur skyddsräckena skulle se ut och om en bot är värd det vid er volym.
Boka ett kostnadsfritt 15-minuterssamtal