Jak odstranit duplicity v zákaznických datech bez ztráty historie

Proč v zákaznických datech vznikají duplicity?

Duplicity v zákaznických datech mají obvykle procesní příčinu. Nejčastěji vznikají tehdy, když se tentýž kontakt vytváří na několika místech, chybí jeden spolehlivý identifikátor a ruční úpravy nemají jasná pravidla. Problém proto zpravidla není v jednotlivci, ale v nastavení procesu.

Ve firmách se duplicity objevují zejména v tomto pořadí pravděpodobnosti:

1. Více vstupních míst pro tentýž kontakt
   Lead přijde z webového formuláře, obchodník ho založí ručně do CRM, marketing importuje seznam z kampaně a účetnictví používá vlastní adresář.

2. Chybí jednoznačný identifikátor
   Jednou se porovnává podle názvu firmy, jindy podle e-mailu a jindy podle telefonu. Systém pak nedokáže spolehlivě rozhodnout, zda jde o tentýž záznam.

3. Nejednotný formát údajů
   Jan Novák a Jan Novak, +420 900 123 456 a 900 123 456, ABC s.r.o. a ABC jsou pro člověka podobné, ale tabulka nebo CRM je nemusí vždy vyhodnotit stejně.

4. Systémy spolu nekomunikují
   Pokud se CRM, web, e-shop nebo fakturační systém nepropojují, stejná data se přenášejí ručně a vznikají další kopie.

5. Nejsou nastavena pravidla sloučení a vlastnictví dat
   Tým neví, který záznam je hlavní, co se má při konfliktu ponechat a kdo odpovídá za kvalitu databáze.

U zákaznických dat je třeba vnímat duplicitu šířeji než jako 2 stejné řádky. Často jde o 2 či 3 částečně odlišné záznamy téže firmy nebo osoby, přičemž každý obsahuje jinou část pravdy. Proto duplicity neřešte jen mazáním, ale nejprve pochopte, proč vznikají.

Jak zjistíte, odkud duplicity přicházejí?

Zdroj duplicit určíte tak, že sledujete nejen duplicitní kontakty, ale i cestu, kterou se do firmy dostaly. Nejrychleji funguje mapování symptomů na příčiny: co se opakuje, ve kterém systému se to objevuje a po jaké události záznam vznikl.

Nejpraktičtější je jednoduchý diagnostický přehled:

Symptom	Pravděpodobná příčina	Co zkontrolovat jako první
Stejný e-mail se v CRM nachází vícekrát	Ruční zakládání nebo import bez kontroly duplicit	Historii vytvoření záznamu, zdroj leadu, uživatele
Táž firma je jednou s IČO a jednou bez IČO	Chybějí povinná pole nebo rozdílné formuláře	Povinná pole na webu a v CRM
Telefonní čísla mají různé formáty	Nejednotný zápis a chybějící normalizace	Formát při importu a ukládání
Marketing má jiný počet kontaktů než obchod	Oddělené databáze nebo špatné synchronizace	Tok dat mezi nástroji
Reporty v CRM a účetnictví nesedí	Rozdílné identifikátory mezi systémy	Propojení zákazníka mezi CRM a fakturací
Po kampani prudce stoupl počet kontaktů, ale ne počet reálných firem	Duplicitní sběr leadů z formulářů a kampaní	Zdrojové formuláře, importy CSV, automatické sync procesy

V této fázi se vyplatí prověřit i širší datový tok. Pokud každý tým pracuje s jiným seznamem, prvním signálem bývá chybějící centralizace firemních dat. Pokud se neshodují zákazníci mezi obchodem a fakturací, problém často nevzniká v kontaktech, ale ve slabém propojení CRM a účetního systému.

Výstupem diagnostiky nemá být jen seznam chybných řádků. Potřebujete vědět i to, který proces duplicity vyrábí, abyste je po vyčištění nevytvářeli znovu.

Jak odstraníte duplicity rychle vlastními silami?

K rychlému internímu čištění použijte 4 kroky: vytvořte kopii dat, sjednoťte formát, určete hlavní identifikátor a teprve potom hledejte shodu. U menší nebo středně velké databáze je to bezpečný postup, protože nejprve odhalíte skutečné duplicity a teprve následně rozhodnete, co smazat a co sloučit.

Postupujte v tomto pořadí:

1. Vytvořte pracovní kopii databáze
   Nikdy nečistěte jedinou produkční verzi. Exportujte kontakty do samostatného souboru nebo testovacího prostředí.

2. Sjednoťte formát polí
   Před porovnáváním upravte alespoň tato pole:

   • e-mail na jednotný zápis,
   • telefon do jednoho formátu včetně předvolby,
   • název firmy bez zbytečných mezer a variant typu s.r.o. vs sro,
   • jméno a příjmení do samostatných polí, pokud jsou dnes v jednom sloupci.

3. Vyberte primární identifikátor podle typu kontaktu

   Typ záznamu	Nejspolehlivější klíč	Poznámka
   Firma	IČO	Nejlepší pro přesné párování firem
   Osobní kontakt	E-mail	Funguje, pokud je vyplněn konzistentně
   Kontakt bez e-mailu	Telefon + jméno nebo firma	Vhodné spíš pro podezření než automatické mazání
   Historická data	Kombinace více polí	Vyžaduje ruční kontrolu

4. Nejprve duplicity jen označte, potom čistěte
   V Excelu je bezpečnější nejprve zvýraznit duplicitní hodnoty a zkontrolovat je. Teprve potom použijte odstranění duplicit podle konkrétních sloupců. Microsoft u tohoto postupu zároveň upozorňuje, že odstranění je trvalé a před zásahem je vhodné pracovat s kopií dat Microsoft Support.

5. Rozdělte nález na dvě skupiny

   • přesná duplicita: stejný kontakt, stejná pole, jeden záznam může jít pryč,
   • pravděpodobná duplicita: stejný zákazník, ale každý záznam obsahuje jinou část údajů, tady ještě nemažte.

Rychlé čištění vlastními silami funguje u jednorázového uklizení exportu. Přestává stačit tehdy, když se nové duplicity tvoří každý týden přes formuláře, importy a manuální zakládání. V takovém případě už neřešíte kvalitu jednoho souboru, ale kvalitu celého procesu.

Jak sloučíte duplicitní záznamy bez ztráty historie a důležitých údajů?

Duplicitní záznamy nemažte naslepo. Pokud každý z nich obsahuje jinou část informací, správný postup je sloučení do jednoho hlavního záznamu podle předem určených pravidel. Cílem není menší počet řádků, ale jeden spolehlivý profil zákazníka s historií, obchodními aktivitami a vazbami na další procesy.

Vyberte hlavní záznam

Jako master záznam ponechte ten, který má:

• nejvíc vyplněných polí,
• aktuálnější aktivitu,
• přiřazeného obchodníka nebo vazby na obchodní případy,
• správné identifikátory, například IČO nebo ověřený e-mail.

Určete prioritu pro každé pole

Ne každé pole má pocházet ze stejného zdroje. Například:

• název firmy z oficiálního firemního záznamu,
• e-mail z naposledy ověřené komunikace,
• telefon z posledního úspěšného kontaktu,
• poznámky, štítky a historie ze všech relevantních záznamů.

Zkontrolujte vazby mimo kontakt

Před sloučením ověřte, zda se na záznam vážou:

• obchodní příležitosti,
• zakázky,
• servisní požadavky,
• faktury nebo objednávky,
• marketingové souhlasy a segmentace.

Zapisujte si merge pravidla

Pokud jednou rozhodnete, že při konfliktu má přednost IČO před názvem firmy nebo novější e-mail před starším, nenechávejte pravidlo jen v hlavě jednoho člověka. Sepište ho a používejte stejně při každém dalším čištění.

Největší chyba při sloučení nastává tehdy, když firma odstraní druhý záznam, ale ztratí část historie nebo vazby na další systém. Databáze pak vypadá čistěji, ale obchodně je slabší. Dobrý výsledek není 1 řádek místo 2, ale 1 řádek, který skutečně reprezentuje kompletního zákazníka.

Kdy už nestačí Excel a vyplatí se CRM nebo automatizace na míru?

Excel stačí na jednorázové uklizení menší databáze. Pokud se duplicity vracejí z webu, marketingu, obchodu, e-shopu nebo účetnictví, problém už není v tabulce, ale v architektuře dat. Tehdy se vyplatí řešení, které kontroluje duplicity při vzniku záznamu, ne až při pozdním manuálním čištění.

Profesionální řešení dává smysl zejména tehdy, když se u vás děje alespoň jedno z tohoto:

• kontakty vznikají z několika kanálů současně,
• obchodníci zakládají firmy a osoby ručně bez validace,
• CRM a další systémy používají rozdílné identifikátory,
• pravidelně importujete CSV nebo data z kampaní,
• databáze roste rychleji, než ji tým stíhá čistit.

V takovém případě je rozumnější nastavit CRM na míru, které pracuje s vašimi procesy, ne proti nim. Pro firmy to typicky znamená:

1. jeden zákaznický model pro obchod, marketing a operativu,
2. validaci polí už při vytvoření záznamu,
3. kontrolu duplicitního e-mailu, telefonu nebo IČO při ukládání,
4. pravidla pro automatické sloučení nebo označení podezřelých shod,
5. auditní stopu, kdo a proč záznam vytvořil nebo spojil.

Pokud se duplicity rodí hlavně při přepisování údajů mezi nástroji, řešením bývají i automatizační řešení, která přenášejí data bez ručního kopírování. Právě tady dokážeme v BeCode postavit kombinaci CRM, webových formulářů, integrací a AI automatizací tak, aby data vznikla jednou, ověřila se hned na vstupu a dál se už bezpečně používala.

Největší výhodou profesionálního řešení není jednorázové vyčištění starých chyb. Výhodou je to, že nové chyby přestanou vznikat v takovém objemu.

Jak zabráníte tomu, aby se duplicity vracely?

Prevence duplicit stojí na jednoduchém principu: zákaznický záznam má vznikat jednou, kontrolovaně a ve stejném formátu, bez ručního přepisování mezi systémy. Když nastavíte vstupní validace, jasné identifikátory a pravidelný audit, databáze se přestane kazit rychleji, než ji tým stíhá opravovat.

Použijte tento krátký checklist:

• Vyberte jeden hlavní identifikátor pro firmy i pro osoby. Ideálně IČO pro firmu a e-mail pro osobní kontakt.
• Nastavte povinná pole tam, kde kontakt vzniká. Pokud chybí klíčový údaj, záznam nemá postoupit dál.
• Ověřujte duplicitu při ukládání nového kontaktu, ne až při měsíčním čištění.
• Sjednoťte vstupní formuláře a importy. Dobré výsledky přináší už správně nastavený automatizovaný sběr leadů z webu.
• Pravidelně kontrolujte nové záznamy. U rychle rostoucích databází týdně, u stabilnějších minimálně jednou za měsíc.
• Určete vlastníka kvality dat. Někdo ve firmě musí mít zodpovědnost za pravidla, audit a prioritizaci oprav.
• Zahrňte deduplikační pravidla už do návrhu systému. Pokud připravujete nové CRM, pomáhá myslet na to už při implementaci CRM systému.

Pokud má firma prevenci nastavenou dobře, čištění databáze se z krizové aktivity mění v rutinní kontrolu. To je cíl: méně ručních zásahů, přesnější reporty a víc důvěry v data, se kterými pracuje obchod i marketing.

Pokud už vidíte, že duplicity nevznikají v jednom souboru, ale v celém datovém toku mezi CRM, formuláři, obchodem a fakturací, v BeCode vám dokážeme navrhnout firemní CRM postavené kolem vašich procesů, aby se kontakty vytvářely, kontrolovaly a propojovaly správně od začátku.

Časté otázky

Stačí k hledání duplicit jen e-mailová adresa?

Samotný e-mail často nestačí. U osobních kontaktů bývá nejlepším prvním filtrem, ale u firem ho je třeba doplnit alespoň o IČO, telefon nebo název firmy. Pokud část databáze e-mail vůbec neobsahuje, spolehlivější je kombinovaný klíč podle typu záznamu a zdroje dat.

Dá se problém s duplicitami vyřešit i bez výměny celého CRM?

Ano, pokud je problém zejména ve formátu dat, importech nebo formulářích, často pomůže nastavení validačních pravidel, integrací a kontrol při ukládání. Výměna celého CRM je potřeba až tehdy, když současný systém nedokáže podpořit vaše procesy, identifikátory a pravidla sloučení záznamů.

Která pole se vyplatí validovat jako první?

Nejprve validujte pole, podle kterých zákazníka nejčastěji identifikujete a propojujete mezi systémy. U firem jde zejména o IČO a název firmy, u osob o e-mail a telefon. Hned potom řešte povinné zdroje leadů a vlastníka záznamu, abyste věděli, odkud kontakt přišel.