Moc testu

W określonej sytuacji wybór poziomu istotności cc zależy od szkodliwości popełnienia błędu pierwszego rodzaju i od innych względów (program uprawnienia budowlane na komputer). Dla ilustracji przyjmijmy, że a wynosi 1,2%. Ustalenie liczby prób przesądza również liczbę wyników, które można uznać za dowodzące słuszności hipotezy alternatywnej. Przy 20 parach będzie ich 12392. Jeśli chodzi o ryzyko cc popełnienia pomyłki wskutek przypadku, nie stanowi żadnej różnicy, jaki to zbiór 12392 możliwych wyników uznamy za krytyczny, tzn. za dowodzący rzeczywistego działania (lub ogólniej, za zaprzeczający hipotezie zerowej, że przyczyną obserwowanych wyników jest tylko przypadek) (program uprawnienia budowlane na ANDROID).

Wybór zbioru krytycznego ma jednak zasadniczy wpływ na wartość ryzyka 13 odrzucenia wyników zgodnych z rzeczywistością. Dobierając jak najlepiej zbiór krytyczny minimalizujemy wartość (3, byłoby bowiem czymś niepożądanym, gdybyśmy nic spostrzegli rzeczywiście występujących prawidłowości. W związku z powyższym statystycy wprowadzili wielkość zwaną mocą testu. Jeżeli podstawą testu jakiejś szczególnej hipotezy alternatywnej jest zbiór krytyczny minimalizujący (3 (dla ustalonej wartości cc i ustalonej liczby doświadczeń), to test taki zwiemy najmocniejszym (uprawnienia budowlane). Zbiór krytyczny powinien składać się z tych wyników, dla których stosunek ma wartość największą. W rozważanym przykładzie każdy z 2 możliwych wyników jest jednakowo prawdopodobny na podstawie hipotezy zerowej, natomiast przypadek 20 wyników dodatnich z 20 jest bardziej prawdopodobny :d jakiegokolwiek innego, jeśli lek jest naprawdę skuteczny (program egzamin ustny). Potem następują kolejno: 19 wyników z 20, 18 z 20 itd.

Rola statystyki

Przy większej niż jedna liczbie hipotez alternatywnych może nie istnieć Ukiś jeden zbiór krytyczny, który prowadziłby do testu najmocniejszego względem wszystkich możliwości alternatywnych. Gdy zbiór taki istnieje, test otrzymany na jego podstawie zwiemy jednostajnie najmocniejszym. Istnieje też odmienne podejście do sprawdzania hipotez, oparte na innych koncepcjach filozoficznych (opinie o programie). Na szczęście wyniki obu tych metod rzadko różnią się w praktyce.

Jak wykazano powyżej, statystyka nie zastępuje sądu, lecz tylko stwarza dla niego podstawę, umożliwiając ocenę prawdopodobieństwa różnych rodzajów błędu. Badacz musi sam zdecydować, jaki poziom istotności będzie mógł przyjąć. Nie może on uchylić się od odpowiedzialności za tę decyzję zasłaniając się jakimś umownym poziomem istotności, np. 0,05. Zagadnienia są różne i mają różne oparcie w uprzednio zdobytej wiedzy. Tylko doświadczony badacz wie, jakie są rozsądne hipotezy alternatywne, jaką rolę odgrywają na tle uprzedniej wiedzy, jakie są konsekwencje błędów rozmaitych rodzajów, jakie byłyby koszty dalszych doświadczeń i czy te doświadczenia byłyby na tyle pozbawione błędów systematycznych, że spowodowałyby wzrost dokładności.

Konieczność dania odpowiedzi na te pytania wskazuje, jak niesłuszne byłoby wymaganie, żeby nieobeznany z badaną dziedziną statystyk analizował tablice przedstawionych mu wyników jako zagadnienie abstrakcyjne. Statystyk może dawać bezcenne wskazówki co do planowania doświadczenia i właściwych metod analizowania wyników, przeważnie jednak brak mu wystarczającej znajomości tematu, by sam potrafił odpowiedzieć na wyżej wymienione pytania, chociaż jest w pełni świadomy ich wagi (segregator aktów prawnych).

Ponadto znajomość 50 stronic wyższej matematyki nie ochroni doświadczenia przed ukrytą tendencyjnością. Godny uwagi przykład takiej sytuacji zdarzył się przy sprawdzaniu skuteczności pewnego typu leczenia. Doświadczenie przygotowano pieczołowicie dobierając losowo grupę kontrolną, stosując środki mylące i starając się, by zarówno badający lekarze, jak i sami chorzy nie wiedzieli, który z nich jest osobnikiem badanym, a który kontrolnym (promocja 3 w 1).