Polski
Datart, należący do grupy HP TRONIC, jest jednym z wiodących graczy zajmujących się sprzedażą detaliczną elektroniki użytkowej na terenach Czech i Słowacji. Datart jest z nami od 32 lat, posiada sieć sklepów stacjonarnych, równocześnie prowadząc sprzedaż online. Datart jest laureatem nagród takich jak Mastercard Merchant of the Year 2021 w kategorii elektrotechnika oraz Most Trusted Brand w 2020 i 2021 roku. W 2021 roku grupa HP TRONIC, w tym DATART, zwiększyła obroty o 15% osiągając 25,3 mld CZK. Zysk EBITDA wyniósł 942 mln CZK.
Po przeczytaniu tego artykułu zrozumiesz, że:
- zawsze jest powód do przeprowadzania testów
- wdrożenie testów należy wykonać precyzyjnie
- test A/B może być świetnym początkiem
- można osiągnąć zadowalające wyniki w stosunkowo krótkim czasie
- sporadycznie przeprowadzane testy potrafią zaskoczyć
Co było na początku: analityka, ciekawość, czy intuicja?
Kilku znaczących klientów zaczynało z Luigi’s Box na tych samych zasadach co Datart. Na początku, wdrożyli w swoim sklepie internetowym Luigi’s Box Analytics. Ponieważ analityka dostarczyła wielu istotnych informacji, pojawiło się pytanie, czy Luigi’s Box może być równie niezawodnym partnerem w kwestiach wyszukiwania i autouzupełniania dzięki narzędziom takim jak Luigi’s Box Search.
Datart wiedziało, jak bardzo ważnym narzędziem dla internetowych sklepów jest wyszukiwarka. Zaczęli zastanawiać się, co wpływa na jej prawidłowe lub nieprawidłowe działanie. Oprócz kwestii samych kosztów istnieje również kilka istotnych parametrów takich jak generowane przychody, współczynnik konwersji, liczba zrealizowanych zakupów oraz inne. Odpowiedzialne podejście bierze pod uwagę testowanie i weryfikację hipotez. Datart stawia na innowację, co uwidacznia się w kilku obszarach. Firmie Datart zależało przede wszystkim, na poprawie doświadczenia użytkownika, dlatego poszukiwano takich rozwiązań, które pomogą użytkownikom na stronie, równocześnie zwiększając zysk sklepu.
Podczas ulepszania swojego narzędzia wyszukiwania w pewnym momencie firma musiała jednak zweryfikować, czy rozwiązanie wyszukiwania proponowane przez firmę zewnętrzną nie będzie równie dobre, jeśli nie lepsze.
Przeprowadzenie testu to coś więcej niż tylko kilka kliknięć
Niezależnie od tego, co chcemy przetestować, należy pamiętać o tym że wszystko trzeba wcześniej przemyśleć. Metodologia, kwestia porównywanych wartości, możliwości, które daje przeprowadzany test oraz sposób przeprowadzenia ewaluacji są tutaj niezwykle istotne. Należy również pamiętać o zapleczu technicznym, trudnościach i wyzwaniach stawianych programistom oraz wszelkich technicznych niuansach oraz specyfikacjach. Test może przebiegać zarówno na integracji frontendowej, jak i backendowej. W przypadku Datartu chodziło o bardziej skomplikowaną i złożoną – integrację backendową. Większość klientów jest przygotowana do przeprowadzenia podobnych testów, zarówno jeśli chodzi o profesjonalne zaplecze jak i osobiste podejście, dlatego uporanie się z takim zadaniem zwykle nie wiąże się z żadnymi trudnościami.
Na szczęśćie Datart dysponuje zespołem specjalistów, którzy nie zbagatelizowali żadnego z tych aspektów i krok po kroku dostarczali nam niezbędnych informacji i specyfikacji dopasowując niezbędne wartości tak, aby komunikacja z naszym systemem poprzez API przebiegała bezproblemowo.
Przed samym uruchomieniem testu A/B należy jeszcze wykonać zestaw testów potrzebnych do wyeliminowania ewentualnych błędów, które mogłyby znacząco wpłynąć na wynik testu docelowego.
Dlaczego warto przeprowadzić test A/B?
Istnieje wiele sposobów wypróbowania lub testowania nowych narzędzi. Pierwszym z nich jest zastąpienie jednego rozwiązania innym i zbadanie, czy nowe rozwiązanie jest bardziej skuteczne. Takie podejście niesie jednak podstawowe ryzyko. W przypadku tak dużego klienta, jakim jest Datart, nawet niewielkie odchylenia w jednostkach procentowych mogą doprowadzić do znaczącego spadku zysków, a tego nie chce żadna firma.
Bezpieczniejszą opcją jest rozpoczęcie od zastosowania tzw. testu A/B w trybie offline. Dotychczasowe wyniki wyszukiwania, przez określony czas porównuje się z wynikami dostarczanymi przez testowane narzędzie. Świetnie opanowaliśmy tę metodę testowania i stosujemy ją od dawna, dzięki czemu znacznie eliminujemy ryzyko, w którym nowy sposób wyszukiwania konkretnej frazy wyświetli gorsze wyniki lub nie wyświetli ich wcale. Dzięki temu podejściu testowanie jest bezpieczne nawet dla bardziej znaczących klientów, w przypadku których nawet niewielkie odchylenie w wyszukiwaniu poszczególnych fraz może mieć znaczący wpływ na działanie firmy.
Po przeprowadzeniu testu A/B w trybie offline, klienci płynnie przechodzą do testu A/B online, czyli testu “na żywo”. Podstawą jest przyjęta metodologia, w której części odwiedzających przypisuje się jedną wersję narzędzia, a pozostałym drugą, tę nowszą. Następnie wybiera się stosunek wyświetlania jednego i drugiego rozwiązania, który może wynosić 50:50. Na samym początku najlepiej jednak zastosować proporcje 80:20, aby klient zyskał pewność, że testowany wariant jest lepszy lub podobny do pierwotnego rozwiązania. Wreszcie porównuje się oba wyniki i jeśli wartości wejściowe, na przykład liczba sesji, są znaczące, możemy przejść do oceny.
Wynik uzyskany krócej niż w przeciągu dwóch tygodni
W przypadku testowania wyjątkowych przypadków, lub testowania sklepu internetowego o małym natężeniu ruchu, test trwałby zbyt długo, ponieważ niska liczba odwiedzin byłaby niewystarczająca do przeprowadzenia pomiarów. W przypadku niskiej liczby odwiedzin na stronie nie da się po prostu określić, które z porównywanych rozwiązań wygrywa przeprowadzany test.
Niektórzy klienci decydują się na tygodniowy test, inni testują nowe narzędzia miesiącami. Biorąc pod uwagę ruch na stronie i liczbę konwersji, jesteśmy w stanie oszacować, jak długo potrwa dany test. Następnie sprawdzamy wynik poprzez znaczenie statystyczne, aby zniwelować ryzyko nieoczekiwanych rezultatów. Wszystkie te kroki za każdym razem ustala się z góry. Tak, aby termin rozpoczęcia i ukończenia testu, a także porównywane wartości i sposób oceny były jasne i przejrzyste. Zmiana zasad “w trakcie gry” jest niedopuszczalna.
W opisywanym przypadku posiadaliśmy wystarczająco dużo danych wejściowych, mieliśmy dobry timing i ewaluacja testu przebiegała prawidłowo. Test w Datart przeprowadzono w okresie od 1 do 12 września 2022 roku. W niecałe dwa tygodnie udało nam się zebrać niezbędne dane – dzięki którym mogliśmy dokonać oceny i wyłonić zwycięzcę.
Luigi’s Box zwyciężyło test A/B
Przeprowadzono test porównawczy A/B na czeskiej i słowackiej wersji sklepu internetowego. Obydwa testy różnią się w przypadku niektórych wartości, ponieważ rynki w tych krajach rządzą się innymi prawami, co przenosi się na charakter wyszukiwania.
W przypadku obydwu testowanych sklepów internetowych stosunek wynosił 50:50. Oznacza to, że 50% użytkowników skorzystało z oryginalnej wersji wyszukiwania, a 50% z Luigi’s Box Search.
Wyniki obydwu testów były znaczące w stosunku do przyjętej metodologii.
Główną metodą pomiarową był “Conversion rate” – współczynnik konwersji pochodzący z działań użytkowników wyszukiwania.
Po dokonaniu oceny testów stwierdziliśmy, że w porównaniu do oryginalnej wersji wyszukiwarki, Luigi’s Box Search okazała się zdecydowanie lepsza w przypadku obu wersji językowych sklepu.
Kolejne ciekawe spostrzeżenie: nasze rozwiązanie wyeliminowało nieprawidłowe wyniki i “brak wyników” z wyszukiwania dla niektórych z kategorii. Luigi’s Box może być niezawodnym pomocnikiem w rozwiązywaniu problemów z trafnością.
Wnioski
Wybrane metody porównawcze wykazały, że sztuczna inteligencja i uczenie maszynowe wykorzystane przez Luigi’s Box są w stanie zwiększyć współczynnik konwersji, w tym przypadku o 14-19%. W zależności od segmentu i statusu wyszukiwania, różnica we współczynniku konwersji może być jeszcze większa. Wraz ze wzrostem współczynnika konwersji wzrasta również sprzedaż – to właśnie chcemy osiągnąć. Po tak zadowalających wynikach testów nie dziwi fakt, że Datart zdecydowało się na Luigi’s Box Search, wykorzystując narzędzia wyszukiwania i autouzupełniania w obu testowanych sklepach.
Ten przykład jasno pokazuje, że lata badań i rozwoju technologicznego włożone w rozwój naszego narzędzia stanowią dla naszych klientów wysoką wartość dodaną.
