Testy syntetyczne offline: Szybka metoda poprawiająca wyniki wyszukiwania

Podczas konfigurowania wyszukiwania w witrynie można poprawiać zapytania pojedynczo lub przeprowadzać testy A/B. Jeśli jednak chcesz mieć 100% pewności, że wyszukiwanie zadziała tak, jak powinno, rozważ zastosowanie testów syntetycznych offline. Dlaczego? Ponieważ pozwalają one na bezpieczne testowanie zmian w trybie offline, szybko iterują algorytmy wyszukiwania i eliminują ryzyko utraty konwersji.

Każda firma e-commerce dąży do posiadania doskonałej funkcji wyszukiwania. Niestety, droga do niej nie jest prosta, gdyż wymaga doskonałych umiejętności obserwacyjnych, dobrej znajomości analityki wyszukiwania i systematycznego podejścia. Większość ludzi podąża jednak za swoimi przeczuciami, co nie jest najlepszym rozwiązaniem.

Potęga testów syntetycznych offline

Jedną z najlepszych metod poprawy wyników wyszukiwania jest testowanie syntetyczne offline. Offline, ponieważ nie potrzebujesz rzeczywistych użytkowników do testowania, a syntetyczne, ponieważ używasz tylko danych pomiarowych jako punktu odniesienia – na żywo użytkownicy mogą zachowywać się nieco inaczej. Zaletą tej metody jest to, że nie ryzykujesz negatywnego wpływu na współczynnik konwersji, uzyskujesz wyniki dość szybko i potrzebujesz tylko logów wyszukiwania (a dokładniej: zapytań, wyników i interakcji użytkowników z tymi wynikami).

Metoda działa w następujący sposób: skanujesz przeszłe wyszukiwania użytkowników i uruchamiasz je ponownie z nowym algorytmem rankingowym. Jeśli wiesz, jakie wyniki wyszukiwania zostały zwrócone w przeszłości i które z nich zostały kliknięte lub przekonwertowane, możesz porównać je z wynikami nowego algorytmu rankingowego.

Analiza wyników testów syntetycznych offline

Wyobraźmy sobie, że dla zapytania x stare wyszukiwanie zwróciło produkt X na pozycji 1. Oznacza to, że produkt X był elementem o najwyższej konwersji dla tego zapytania. Z nowym algorytmem, nowe wyszukiwanie dla zapytania x zwróciło produkt X na pozycji 10.

Czy wiesz, które wyszukiwanie było lepsze? Prawidłowa odpowiedź to: pierwotne wyszukiwanie.

Weźmy teraz trudniejszy przykład: zapytanie x zwraca produkt Y jako najlepszy wynik. Niektóre osoby klikają na niego. Wydaje się więc, że jest to trafne dopasowanie, jednak prawdziwy, najlepszy wynik X nie znajduje się wśród rezultatów. Nowe wyszukiwanie rozwiązuje ten problem, umieszczając produkt X na pierwszym miejscu, a produkt Y na drugim. W rzeczywistości to, co może wydawać się regresją, wcale nią nie jest, ponieważ wyniki dla zapytania x są lepsze.

Jak widać, często analiza tego, co jest lepsze, nie jest taka prosta i potrzebne są złożone modele, aby uzyskać wiarygodne i przydatne wyniki.

Istnieją różne modele ilościowe zaprojektowane do pomiaru jakości rankingu, takie jak znormalizowany zdyskontowany skumulowany zysk (NDCG), zdyskontowany skumulowany zysk, średni ranking wzajemny lub poprawność rankingu (precyzja, średnia średnia precyzja itp.).

Wszystkie te wskaźniki są często mierzone tylko w odniesieniu do wyników top-n, ponieważ to one mają największą szansę na bycie zauważonymi przez użytkowników. Istnieją jeszcze bardziej niezawodne i złożone modele oparte na ukrytych informacjach zwrotnych, które są lepiej dostosowane do modelowania jakości wyszukiwania. Każdy z tych wskaźników ma inną charakterystykę i modeluje różne aspekty jakości wyszukiwania, ale ostatecznie, niezależnie od tego, który wybierzesz, uzyskasz ilościową miarę wyszukiwania, której możesz użyć do porównania różnych algorytmów rankingowych.

Więcej niż tylko mierzenie zmian w jakości wyszukiwania

Testy syntetyczne offline pozwalają nie tylko zmierzyć zmianę jakości wyszukiwania – umożliwiają też zrozumienie przyczyn występowania różnic w wydajności. Jeśli testy zostaną przeprowadzone prawidłowo, można otrzymać bogate raporty i zestawienia wydajności poszczególnych historycznych zapytań z nowym rankingiem. Następnie możesz rozpocząć zadawanie pytań i zobaczyć dokładne zapytania, w których pomógł nowy ranking lub wręcz przeciwnie – pogorszył wyniki.

Z naszego doświadczenia wynika, że przeanalizowanie kilku zapytań, które miały największy wpływ na wyniki wyszukiwania, może pomóc w zidentyfikowaniu wzorców, w których nowy ranking ma gorsze wyniki. Następnie można skorygować założenia, zaktualizować algorytm rankingu i ponownie przeprowadzić test offline.

Najlepszym sposobem jest połączenie metod

Zaletą testów syntetycznych offline jest to, że ujawniają one ważne wnioski. Jeśli test syntetyczny offline wykaże, że nowe wyszukiwanie jest znacznie gorsze niż obecne, to z reguły będzie ono gorsze. Jeśli test syntetyczny offline wykaże, że nowe wyszukiwanie jest znacznie lepsze niż obecne, to faktycznie, na ogół będzie lepsze. Ale jak bardzo?

Tego ta metoda nie może ci powiedzieć, ponieważ nie reprezentuje zachowania w świecie rzeczywistym. Aby się tego dowiedzieć, należy przeprowadzić test A/B na żywo. Więc, następnym razem, gdy będziesz chciał coś poprawić, poruszaj się zgodnie z tymi krokami:

1. Znajdź zapytanie, które wymaga poprawy.
2. Zaktualizuj algorytm rankingowy.
3. Przeprowadź testy syntetyczne offline, aż będziesz mieć pewność, że nastąpiła poprawa.
4. Uruchom test A/B na żywo, aby to potwierdzić.
5. Sprawdzaj i powtarzaj.

Tak właśnie robimy to w Luigi’s Box i dzięki temu mamy know-how, któremu zaufaliście. Dobrą wiadomością jest to, że zintegrowaliśmy testy syntetyczne offline z Luigi’s Box, więc jeśli chcesz je wypróbować, nie musisz opracowywać ich samodzielnie.

Aby dowiedzieć się więcej o tej funkcji, skontaktuj się z naszymi przedstawicielami handlowymi.