Kontrolowane eksperymenty online. Praktyczny przewodnik po testach A/B - Helion
Tytuł oryginału: Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing
Tłumaczenie: Katarzyna Ellerik
ISBN: 978-83-289-0764-5
stron: 296, Format: ebook
Data wydania: 2024-06-18
Księgarnia: Helion
Cena książki: 47,40 zł (poprzednio: 79,00 zł)
Oszczędzasz: 40% (-31,60 zł)
Osoby które kupowały "Kontrolowane eksperymenty online. Praktyczny przewodnik po testach A/B", wybierały także:
- Wieczne opóźnienie. Zarządzanie projektami IT 58,33 zł, (14,00 zł -76%)
- Jest i Cypress. Kurs video. Testy jednostkowe i automatyczne w Angularze 148,98 zł, (59,59 zł -60%)
- Spring i Spring Boot. Kurs video. Testowanie aplikacji i bezpiecze 129,00 zł, (51,60 zł -60%)
- JUnit - testy jednostkowe. Kurs video. Automatyzacja procesu testowania w Javie 79,00 zł, (31,60 zł -60%)
- Testowanie automatyczne w .NET. Kurs video. Zastosowania frameworka nUnit 169,00 zł, (76,05 zł -55%)
Spis treści
Kontrolowane eksperymenty online. Praktyczny przewodnik po testach A/B eBook -- spis treści
Przedmowa
Podziękowania
CZĘŚĆ I . Zagadnienia wstępne dla wszystkich
Rozdział 1. Wstęp i motywacja
- Żargon kontrolowanych eksperymentów online
- Po co eksperymentować? Korelacja, sprawstwo i wiarygodność
- Niezbędne elementy przeprowadzania użytecznych eksperymentów kontrolowanych
- Zasady
- Poprawa z czasem
- Przykłady ciekawych kontrolowanych eksperymentów online
- Strategia, taktyka i ich związek z eksperymentami
- Dodatkowe źródła
Rozdział 2. Przeprowadzanie i analizowanie eksperymentów - kompleksowy przykład
- Kontekst przykładu
- Testowanie hipotezy - zdobycie wagi statystycznej
- Projektowanie eksperymentu
- Przeprowadzanie eksperymentu i pozyskanie danych
- Interpretowanie rezultatów
- Od rezultatów do decyzji
Rozdział 3. Prawo Twymana i wiarygodność eksperymentów
- Błędna interpretacja rezultatów statystycznych
- Przedziały ufności
- Zagrożenia dla wewnętrznej trafności
- Problemy z zewnętrzną trafnością
- Różnice segmentów
- Paradoks Simpsona
- Zachęcaj do zdrowego sceptycyzmu
Rozdział 4. Platforma i kultura eksperymentowania
- Modele dojrzałości eksperymentów
- Infrastruktura i narzędzia
CZĘŚĆ II . Wybrane zagadnienia dla wszystkich
Rozdział 5. Szybkość ma znaczenie. Całościowe studium przypadku
- Kluczowe założenie: lokalna aproksymacja liniowa
- Jak mierzyć wydajność strony?
- Projekt eksperymentu spowalniającego
- Różne elementy strony mają różny wpływ
- Ekstremalne wyniki
Rozdział 6. Wskaźniki organizacyjne
- Taksonomia wskaźników
- Formułowanie wskaźników - zasady i techniki
- Ocena wskaźników
- Ewolucja wskaźników
- Dodatkowe źródła
Rozdział 7. Wskaźniki dla eksperymentów i ogólne kryterium ewaluacji
- Od wskaźników biznesowych do wskaźników właściwych dla eksperymentów
- Łączenie kluczowych wskaźników w OKE
- Przykład: OKE dla wiadomości e-mail w Amazonie
- Przykład: OKE dla silnika wyszukiwarki Bing
- Prawo Goodharta, prawo Campbella i krytyka Lucasa
Rozdział 8. Pamięć instytucjonalna i metaanaliza
- Czym jest pamięć instytucjonalna?
- Dlaczego pamięć instytucjonalna jest pożyteczna?
Rozdział 9. Etyka w eksperymentach kontrolowanych
- Tło
- Zbieranie danych
- Kultura i procesy
CZĘŚĆ III . Techniki uzupełniające i alternatywne w stosunku do eksperymentów kontrolowanych
Rozdział 10. Techniki uzupełniające
- Przestrzeń technik uzupełniających
- Analiza oparta na logach
- Ludzka ocena
- Badania wrażeń użytkownika
- Grupy fokusowe
- Ankiety
- Zewnętrzne dane
- Wszystko razem
Rozdział 11. Obserwacyjne badania przyczynowe
- Gdy kontrolowane eksperymenty są niemożliwe
- Projekty w przyczynowych badaniach obserwacyjnych
- Pułapki
CZĘŚĆ IV. Zaawansowane zagadnienia związane z budowaniem platformy do eksperymentowania
Rozdział 12. Eksperymenty po stronie klienta
- Różnice między serwerem a klientem
- Implikacje w zakresie eksperymentów
- Podsumowanie
Rozdział 13. Instrumentacja
- Instrumentacja po stronie klienta a instrumentacja po stronie serwera
- Przetwarzanie logów z różnych źródeł
- Kultura instrumentacji
Rozdział 14. Wybór jednostki randomizacji
- Jednostka randomizacji i jednostka analizy
- Randomizacja na poziomie użytkownika
Rozdział 15. Zwiększanie ekspozycji eksperymentu - kompromis między szybkością, jakością i ryzykiem
- Czym jest faza rozbiegowa?
- Model rozbiegowy SQR
- Cztery etapy rozbiegu
- Faza porozbiegowa
Rozdział 16. Skalowanie analizy eksperymentów
- Przetwarzanie danych
- Obliczenia na danych
- Podsumowanie rezultatów i wizualizacje
CZĘŚĆ V. Zaawansowane zagadnienia dotyczące analizy eksperymentów
Rozdział 17. Statystyka kontrolowanych eksperymentów online
- Test t Studenta
- Wartość p i przedział ufności
- Założenie normalności rozkładu
- Błędy typu I i II oraz moc
- Tendencyjność
- Wielokrotne testowanie
- Metaanaliza Fishera
Rozdział 18. Szacowanie wariancji i poprawa czułości - problemy i rozwiązania
- Częste problemy
- Zwiększanie czułości
- Wariancja innych statystyk
Rozdział 19. Testy A/A
- Po co robić testy A/A?
- Jak przeprowadzać testy A/A?
- Gdy test A/A daje negatywny wynik
Rozdział 20. Objęcie eksperymentem i poprawa czułości
- Przykłady objęcia eksperymentem
- Przykład liczbowy (Kohavi, Longbotham i inni, 2009)
- Optymalne i konserwatywne objęcie eksperymentem
- Ogólny efekt eksperymentalny
- Wiarygodne objęcie eksperymentem
- Częste problemy
- Otwarte kwestie
Rozdział 21. Błąd niedopasowania proporcji próby oraz inne wskaźniki ochronne
- Błąd niedopasowania proporcji próbki
- Analizowanie problemów SRM
Rozdział 22. Wyciek informacji i zakłócenia między wariantami
- Przykłady
- Propozycje praktycznych rozwiązań
- Wykrywanie i monitorowanie zakłóceń
Rozdział 23. Mierzenie długofalowego efektu eksperymentalnego
- Czym są efekty długofalowe?
- Powody, dla których efekt eksperymentalny może się różnić krótko- i długofalowo
- Po co mierzyć efekt długofalowy?
- Długotrwałe eksperymenty
- Alternatywne metody długoterminowych eksperymentów