Paginacja w Elasticsearch – Wszystko Co Musisz Wiedzieć

Podczas tworzenia witryny internetowej przy równoczesnym użyciu Elasticsearch, które pozwala na wyświetlanie przechowywanych danych, należy wziąć pod uwagę różnego rodzaju czynniki. Znaczna część informacji zawartych na stronie głównej może nie zostać wyświetlona przez bramę interfejsu API.

Właśnie dlatego tak ważna jest paginacja wyników, dzięki której klient za każdym razem jest w stanie uzyskać przewidywalną i możliwą do kontrolowania ilość zwróconych danych.

Jednak przed wyświetleniem wyników klientowi należy przeprowadzić paginację danych przechowywanych na serwerze. Większość rozwiązań obsługujących dane wyposażona jest w funkcje umożliwiające stronicowanie, filtrowanie i sortowanie danych.

Zanim zajmiemy się żądaniami wyszukiwania, konfiguracją wyszukiwarki i parametrami dotyczącymi rozmiaru danych, wyjaśnijmy najpierw podstawowe zagadnienia, a dopiero później przejdźmy do kwestii paginacji w Elasticsearch i sposobów jej działania.

Dlaczego warto korzystać z paginacji w Elasticsearch

Tworząc stronę internetową, której zadaniem jest wyświetlanie dużej ilości danych przechowywanych w Elasticsearch, możesz potrzebować tak dużej ilości informacji przechowywanych w indeksie, że brama interfejsu API nie będzie w stanie ich obsłużyć. W takim przypadku najlepszym rozwiązaniem jest paginacja wyników, dzięki której dane powracające do klienta będą za każdym razem przewidywalne.

Przed utworzeniem paginacji wyników dla klienta należy jednak dokonać paginacji danych przechowywanych na serwerze. Na szczęście większość platform do przechowywania danych, w tym Elasticsearch, wyposażono w rozmaite funkcje pozwalające użytkownikom na stronicowanie, filtrowanie i sortowanie danych.

Kluczowymi elementami determinującymi wybór odpowiedniej metody paginacji są struktura danych i poszczególne wymagania. Poniżej  przyjrzyjmy się różnym metodom paginacji, aby omówić ich sposób działania.

Paginacja strony internetowej (stronicowanie) to powszechnie znana technika wykorzystywana w uzyskiwaniu wyników na stronie. Ten domyślny mechanizm wyszukiwania w Elasticsearch wykorzystuje się do zbierania jak największej ilości danych. Podczas wysyłania zapytania do Elasticsearch, stosuje się wartości domyślne w celu odnalezienia dziesięciu pierwszych lub najistotniejszych dokumentów.

Dobrym pomysłem jest ograniczenie liczby prezentowanych stron do około pięciu. Dzięki temu użytkownicy są w stanie zorientować się, na jakiej znajdują się stronie, co ułatwia przechodzenie z jednej strony na drugą i umożliwia im wybranie konkretnej strony, na którą pierwotnie chcieli przejść. Istnieją trzy rodzaje paginacji, które warto znać:

• Paginacja oparta na kursorach
• Paginacja oparta na kluczach
• Paginacja oparta na przewijaniu

Ponieważ jednak naszym dzisiejszym tematem jest paginacja w Elasticsearch, skupimy się na trzech następujących zagadnieniach:

• Przewijanie
• Paginacja search_after
• Stronicowanie

W większości zastosowań na pierwszej stronie wyświetla się dziesięć wyników, przy czym użytkownicy są w stanie wyświetlić więcej treści za pomocą różnych dostępnych opcji takich jak: przycisk przejścia do następnej lub poprzedniej strony lub lista poszczególnych stron z możliwością przewijania strony w celu wyświetlenia dodatkowych treści. Poniżej przyjrzyjmy się każdej z poszczególnych metod.

Paginacja typowa dla Elasticsearch

Jak już wspomnieliśmy, tradycyjna paginacja jest domyślnym mechanizmem pozyskania kolejnych wyników wyszukiwania w Elasticsearch. Wysłanie zapytania do Elasticsearch powoduje zastosowanie domyślnych wartości w celu wyświetlenia pierwszych lub najbardziej dopasowanych dokumentów maksymalnie do 10 wyników.

Ta metoda paginacji wyznacza domyślny górny limit wyników wynoszący 10 000 dokumentów, tym samym paginacja nie pozwala na przesłanie większej ilości wyników niż 10 000 dokumentów. Jednak tak ustawioną konfigurację można zmienić przy użyciu komendy (index.max_result_window). Wielu programistów wprowadza tego typu zmiany, ale należy podkreślić, że może to generować problemy.

Żądanie wyszukiwania składa się z dwóch faz. Pierwsza faza realizująca początkowe żądanie to faza zapytania. Drugą fazę określa się jako fazę  pobierania.

Głęboka paginacja prowadzi do zwiększonego zużycia pamięci, co powoduje opóźnienia klastra i zakłóca jego ogólną wydajność. Korzystając z tego podejścia umożliwiasz dostęp do wszystkich stron. W teorii brzmi to dobrze, ale nawet Google stosuje limit liczby wyświetlanych stron.

Elasticsearch za każdym razem ponownie oblicza liczbę trafień podczas sortowania i przechowywania listy ocen i identyfikatorów w pamięci. Lepszym rozwiązaniem jest skupienie się na stworzeniu odpowiedniej oceny, filtrów i interfejsu użytkownika, aby maksymalnie zwiększyć zadowolenie z wyników wyświetlanych na pierwszej stronie.

Innymi słowy, pojedyncze żądanie i wynik na stronie powinny być wystarczające dla większości użytkowników.

Paginacja search_after

Paginacja search_after doskonale sprawdza się w przypadku zastosowań, w których nie musisz przeskakiwać ze strony na stronę lub gdy korzystasz z nieskończonego przewijania (ang. infinite scrolling). Paginacja search_after pozwala wskazać Elasticsearch, który wynik został wyświetlony jako ostatni, dzięki czemu łatwo zignoruje wszystkie poprzednie wyniki.

Zamiast przechowywania w pamięci całej listy ocen i identyfikatorów (score-ID) dla danego żądania i wykonania działań takich jak sortowanie w celu dostarczenia odpowiedniej strony z wynikami, metoda tego typu korzysta z zasobu rozstrzygającego na podstawie  poprzednich wyników zawartych w ostatnim żądaniu wyszukiwania.

Dzięki tej metodzie wyszukiwania można efektywnie wyświetlić wiele wyników. Metoda search_after umożliwia wyświetlenie ponad 10 000 wyników bez martwienia się o zużycie pamięci lub stosowanie wstępnie przeliczonych kategorii stron.

Paginacja oparta na przewijaniu i interfejs API Scroll

Możesz skorzystać również ze Scroll API w celu iteracji wielu dokumentów, które odpowiadają zapytaniu, a nawet iteracji  wszystkich pasujących dokumentów. Pomimo, że interfejs API nazywa się Scroll API, nie należy z niego korzystać w przypadku implementacji nieskończonego przewijania. Jednocześnie nie powinno się korzystać z interfejsu API do obsługi częstych zapytań ze strony użytkownika końcowego.

Ta operacja wyszukiwania może obsłużyć żądania przewijania, ale architektura interfejsu Scroll API jest całkowicie stanowa, co oznacza, że wszelkie aktualizacje indeksu są ignorowane w trakcie przewijania. Elasticsearch musi przechowywać zrzut obecnej wersji indeksu i utrzymywać go w trakcie przewijania, aby umożliwić korzystanie z danej funkcji.

Aktywnie aktualizowane indeksy mogą mieć trudność w zachowaniu początkowego kontekstu wyszukiwania. Z interfejsu Scroll API można korzystać w celu pozyskiwania szerokiego zbioru dokumentów w trakcie jednego zapytania.

Interfejs Scroll API wymaga identyfikatora przewijania (scroll_id) który można uzyskać, dodając określony argument przewijania w żądaniu zapytania.