Jak wielu klientów korzysta z wyszukiwarki? Dowiedz się z naszego E-booka!

Datart: Jaka magia stoi za 19% wzrostem konwersji? Test A/B

Po ocenie testów stwierdziliśmy, że w porównaniu do oryginalnej wersji wyszukiwania, Wyszukiwarka Luigi's Box była ewidentnie lepsza na obu wersjach językowych e-sklepu.

Datart: Jaka magia stoi za 19% wzrostem konwersji? Test A/B

Datart, należący do grupy HP TRONIC, jest jednym z wiodących graczy w sprzedaży detalicznej elektroniki użytkowej w Czechach i na Słowacji. Niezależnie od tego, czy chodzi o sklepy stacjonarne, czy o sprzedaż za pośrednictwem e-sklepów, Datart jest z nami od 32 lat. Jest laureatem nagród Mastercard Merchant of the Year 2021 w kategorii elektrotechnika oraz Most Trusted Brand 2020 i 2021. W 2021 roku grupa HP TRONIC, w tym DATART, zwiększyła obroty o 15% do 24,1 mld CZK. Zysk EBITDA w wysokości 1,29 mld CZK.

W tym artykule dowiesz się, że:

  • zawsze jest powód do testowania
  • wdrożenie testu musi być perfekcyjne
  • test A/B może być świetnym początkiem
  • można pracować na znaczące wyniki w stosunkowo krótkim czasie
  • sporadyczne testy mogą zaskoczyć

Czy na początku była to analityka, ciekawość, czy intuicja?

Kilku wysoko postawionych klientów zaczynało z Luigi’s Box w tym samym miejscu co Datart. Na początku wdrożyli Luigi’s Box Analytics na swoim sklepie internetowym. Ponieważ analityka dostarczyła już wielu informacji, pojawiło się pytanie, czy Luigi’s Box może być równie niezawodnym partnerem w wyszukiwaniu lub autouzupełnianiu przy użyciu Wyszukiwarki Luigi’s Box, jak to było w przypadku analityki.

Datart zdaje sobie sprawę, jak ważna dla jego e-sklepów jest wyszukiwarka i co może wpłynąć na jej prawidłowe lub nieprawidłowe ustawienie. Konieczne są nie tylko koszty, ale także generowane przychody, współczynnik konwersji, liczba zrealizowanych zakupów czy inne metryki. Odpowiedzialne podejście z pewnością obejmuje testowanie i weryfikację hipotez. Datart wprowadza innowacje, co widać w kilku obszarach. Robi wszystko, aby poprawić doświadczenie użytkownika, i co zrozumiałe, szukają lepszych rozwiązań, które pomagają użytkownikom i zwiększają zysk jednocześnie.

Rozwijali swoje wyszukiwanie wewnętrznie i w pewnym momencie trzeba było zweryfikować, że wyszukiwanie zewnętrzne może być równie dobre, jeśli nie lepsze, niż wewnętrzne.

Wdrożenie testu to nie kilka kliknięć

Niezależnie od tego, co chcemy przetestować, kluczowe jest, aby mieć wszystko przemyślane wcześniej. Na przykład metodologia, porównywane wartości, wykonalność testu czy sposób ewaluacji. Z drugiej strony, techniczna realizacja, trudność i wymagania dla programistów lub wszelkie techniczne specjalizacje czy specyfikacje. Test może przebiegać zarówno na integracji frontendowej, jak i backendowej. W przypadku Datartu była to ta bardziej skomplikowana, ale bardziej złożona – integracja backendowa. Większość klientów jest profesjonalnie i osobiście przygotowana do przeprowadzenia podobnych testów, więc uporanie się z takimi zadaniami zwykle nie wiąże się z żadnymi komplikacjami.

Datart dysponuje jednak zespołem specjalistów, którzy nie zbagatelizowali żadnego aspektu i krok po kroku dostarczali informacje i specyfikacje… dopasowywali niezbędne wartości do poprawnej komunikacji z naszym systemem poprzez API.

Jeszcze przed uruchomieniem testu A/B należy wykonać zestaw testów, aby wyeliminować ewentualne błędy, które mogłyby znacząco wpłynąć na wynik takiego testu.

Dlaczego warto przeprowadzić test A/B?

Jest wiele sposobów, aby coś wypróbować lub przetestować. Pierwszą opcją jest zastąpienie jednego rozwiązania innym i zbadanie, czy nowe rozwiązanie jest bardziej skuteczne. Pojawia się tu jednak podstawowe ryzyko. Przy wielkości klienta, jakim jest Datart, nawet niewielkie odchylenie w jednostkach o niskim procencie może objawiać się znacznym spadkiem zysków, co jest niedopuszczalne dla każdej firmy.

Bezpieczniejszą opcją jest jednak najpierw zastosowanie tzw. offline’owego testu A/B. Dotychczasowe wyniki wyszukiwania, na przykład przez jakiś czas, są porównywane z wynikami oferowanymi przez testowane narzędzie. Opracowaliśmy tę metodę testowania i stosujemy ją od dawna, dzięki czemu zasadniczo eliminujemy ryzyko, że nowe wyszukiwanie na jakieś frazy wyświetli gorsze wyniki lub nie wyświetli ich wcale. Dzięki temu testowanie jest bezpieczniejsze nawet dla bardziej znaczących klientów, gdzie biorąc pod uwagę liczbę wyszukiwań poszczególnych fraz, nawet niewielkie odchylenie może mieć znaczący wpływ.

Po przeprowadzeniu testu A/B offline, klienci płynnie przechodzą do testu A/B online “na żywo”. Podstawą jest metodologia, w której niektórym odwiedzającym przypisuje się jedną wersję, a innym drugą. Wybierany jest stosunek wyświetlania jednego i drugiego rozwiązania, który może wynosić 50:50. Nadal jednak na początku np. tylko 80:20, aby klient miał pewność, że testowany wariant jest lepszy lub taki sam jak wariant pierwotny. Na koniec oba wyniki są względnie porównywane i jeśli wartości wejściowe, na przykład liczba sesji, były istotne, możemy przejść do oceny.

Wynik w mniej niż dwa tygodnie

Gdybyśmy mieli testować szczególne przypadki, lub gdybyśmy mieli e-sklep z małym ruchem, test trwałby zbyt długo, ponieważ niska liczba odwiedzin nie byłaby wystarczająco znacząca. Po prostu nie dałoby się określić, które z porównywanych rozwiązań jest zwycięzcą testu.

Niektórzy klienci testują przez tydzień, inni przez miesiące. Biorąc pod uwagę wielkość ruchu i liczbę konwersji, możemy oszacować, jak długo potrwa test. Następnie sprawdzimy wynik poprzez istotność statystyczną, aby zmniejszyć ryzyko nieoczekiwanego rezultatu. Wszystko zawsze jest z góry określone. Tak, aby początek i koniec testu, a także porównywane metryki i sposób oceny były jasne. Nie wolno zmieniać zasad “w trakcie gry”.

W tym przypadku mieliśmy wystarczająco dużo danych wejściowych. Dlatego był to dobry timing i ewaluacja testu. Test w Datart odbył się od 1 do 12 września 2022 roku. W niecałe dwa tygodnie udało się zebrać niezbędne dane – i można było ocenić test i wyłonić zwycięzcę.

Luigi’s Box jako zwycięzca testu A/B

Porównawczy test A/B został wdrożony na czeskiej i słowackiej wersji e-sklepu. Oba testy różnią się w niektórych wartościach, ponieważ każdy rynek w każdym kraju działa inaczej przy wyszukiwaniu.

Na obu testowanych e-sklepach stosunek rozmieszczenia wynosił 50:50. Gdzie 50% użytkowników otrzymało oryginalną wersję wyszukiwania, a 50% wersję z Luigi’s Box Search.

Wyniki obu testów były znaczące zgodnie z wybraną metodologią.

Główną metryką porównawczą był “Conversion rate” – współczynnik konwersji od użytkowników wyszukiwania.

Po ocenie testów stwierdziliśmy, że w porównaniu do oryginalnej wersji wyszukiwania, Wyszukiwarka Luigi’s Box była ewidentnie lepsza na obu wersjach językowych e-sklepu.

Na Słowackiej wersji strony, datart.sk, współczynnik konwersji naszego rozwiązania był wyższy o prawie 19% w porównaniu z zastosowanym oryginalnym rozwiązaniem.

Na Czeskiej wersji strony, datart.cz współczynnik konwersji naszego rozwiązania był wyższy o ok. 14% w porównaniu do zastosowanego oryginalnego rozwiązania.

Inną ciekawą informacją jest to, że nasze rozwiązanie wyeliminowało nieprawidłowe wyniki i wyszukiwania bez wyników dla niektórych kategorii. Luigi’s Box może być niezawodną odpowiedzią, jeśli rozwiązujesz podobny problem z trafnością.

Wnioski

Wybrane metryki wykazały, że sztuczna inteligencja i uczenie maszynowe wykorzystane przez Luigi’s Box mogły zwiększyć współczynnik konwersji, w tym przypadku o 14-19%. W zależności od segmentu i statusu wyszukiwania, różnica w współczynniku konwersji może być jeszcze większa. Wraz ze wzrostem współczynnika konwersji wzrosła oczywiście również sprzedaż – co jest stanem pożądanym. Po takich wynikach testów nie dziwi fakt, że Datart będzie używał Wyszukiwarki Luigi’s Box jako narzędzia do wyszukiwania i autouzupełniania na obu testowanych e-sklepach.

Ten przykład jasno pokazuje, że lata badań i rozwoju naszego narzędzia mają wysoką wartość dodaną dla klienta.

Jak nasi klienci korzystają z Luigi's Box

Jak Muziker i Luigi’s Box poprawiły rekomendacje produktów

Gotowi na inspirację? Przejrzyj nasze studium przypadku i dowiedz się, jak Muziker i Luigi's Box razem zrewolucjonizowali rekomendacje produktów online.

Przeczytaj studium przypadku

Diego odnotował wzrost konwersji o 28%

Diego jest znanym sprzedawcą podłóg w regionie Europy Środkowo-Wschodniej, który zdecydował się włączyć Luigi's Box do swojej działalności online i otrzymał doskonałe wyniki.

Przeczytaj studium przypadku

EXIsport cieszy się imponującym wzrostem CTR w rekomendatorze o ponad 50%

Testy wyraźnie pokazały, że rekomendator Luigi's Box otrzymuje znacznie lepsze wyniki niż ich własne rekomendatory. Co więcej, wdrażając go w Kategoriach, uzyskano dodatkowo cenne transakcje.

Przeczytaj studium przypadku

Datart: Jaka magia stoi za 19% wzrostem konwersji? Test A/B

Po ocenie testów stwierdziliśmy, że w porównaniu do oryginalnej wersji wyszukiwania, Wyszukiwarka Luigi's Box była ewidentnie lepsza na obu wersjach językowych e-sklepu.

Przeczytaj studium przypadku

Trafne porady dotyczące produktów mogą znacznie zwiększyć obroty

Rekomendator Luigi's Box oferuje szereg korzyści, które w wygodny sposób zwiększą obroty Twojego sklepu internetowego.

Przeczytaj studium przypadku
;