Testy A/B służą dobraniu jak najlepszej wersji strony docelowej (landing page). Metoda ta polega na wyświetlaniu dwóch wersji strony i badaniu reakcji użytkowników. Zwykle jedna z wyświetlanych wersji jest oryginalna, a druga służy badaniu właściwemu. Zazwyczaj  testowana jest zmiana tylko jednego kluczowego elementu, który ma istotny wpływ na zachowanie użytkownika np. kolorystyka.

Cel i zalety testów A/B

Celem testów A/B jest wybranie takiej wersji strony, która zmaksymalizuje konwersję lub najbardziej przyciągnie zainteresowanie użytkowników. Metoda ta jest często stosowana w e-commerce w celu modyfikowania lejka sprzedaży.

Zalety stosowania testów A/B:

• Testowanie wpływu każdych zmian, nawet niewielkich
• Badanie dwóch zupełnie odmiennych wersji strony
• Sprawdzenie rezultatów w realnych warunkach, na reprezentatywnej grupie odbiorców (ruch kierowany jest zwykle w takim samym stopniu na obie strony)
• Jedna  z tańszych form testowania; niewielkie ryzyko straty, gdyż użytkownik jest przekierowany w odpowiednie miejsce, a badana jest tylko siła jego reakcji.
• Prosta interpretacja wyników
• Gdy poziom ruchu na stronie jest niski zastosowanie tej metody nie wprowadza dużej ingerencji, a ma wysoką skuteczność
• Metoda dobra nawet dla osób bez doświadczenia w przygotowywaniu landing pages
• W odróżnieniu od testów wielowymiarowych testy A/B dają jasny obraz sytuacji i pozwalają stopniowo wprowadzać zmiany.

Mimo wielu zalet, podkreśla się wielokrotnie, że testy A/B powinny być stosowane tylko w określonych warunkach. Mianowice, najlepiej sprawdzają się na stronach, które mają jasno określony cel konwersji: wzrost sprzedaży, ściągnięcie jakiegoś elementu, odtworzenie pliku, wypełnienie formularza rejestracji na stronie, pozostawienie danych kontaktowych. Wyżej wymienione cele muszą być mierzalne i określone przez konkretne wskaźniki. Z tego względu, niewiele jest stron, na których testy A/B powinny być stosowane.

Ograniczenia testów A/B

Ponadto, nawet jeżeli wyżej wymieniony warunek jest spełniony, testy A/B mają wiele innych ograniczeń, takich jak:

• brak możliwości testowania kilku zmiennych jednocześnie (wybór dokonywany jest pomiędzy dwiema wersjami, nie daje od razu optymalnego rozwiązania),
• brak określenia optymalnego czasu testu (czasem początkowe wyniki różnią się od ostatecznego); zakłada się, że im mniejsza grupa badanych, tym test powinien trwać dłużej, jednak nie więcej niż 30 dni,
• strony mogą być podwójnie indeksowane przez roboty wyszukiwarek, a przez to uznane za Duplicate Content, czyli skopiowany serwis,
• testy A/B dostarczają głównie ilościowych informacji, a nie badają motywów, dla których użytkownicy wolą jedną wersję od drugiej i nie uwzględnia działania czynników zewnętrznych,
• mogą być przeprowadzane tylko na istniejących stronach, a nie nadają się do projektowania.

Jak widać testy A/B jak każda metoda ma wady i zalety. Dlatego powinna być stosowana dodatkowo, jako jedna z metod, a nie jako jedyny sposób na optymalizację współczynnika konwersji.