Ostrzeżenie

W praktyce eksperymentator na ogół spodziewa się, że jego doświadczenie podlega kontroli statystycznej. Gdy jest on rozsądny, powtórzy swoje pomiary, zaznaczy ich wyniki w kolejności otrzymywania i zbada wykres pod kątem braku kontroli statystycznej. Prawdopodobnie dobrze jest przyzwyczaić się do stałego sprawdzania, czy nie występuje trend (program uprawnienia budowlane na komputer).

Istnieje tak wiele odmian bardziej subtelnych anomalii, że gdyby zawsze sprawdzać występowanie każdej z nich, to ogólna liczba cech, którą bylibyśmy skłonni uznać za dowodzącą nieprawidłowości, stanowiłaby znaczny ułamek wszystkich możliwych w tym przypadku cech (przynajmniej, gdy liczba obserwacji jest nieznaczna). Jest więc zrozumiałe, że sprawdzamy występowanie tylko tych zjawisk, których istnienie zdaje się sugerować sam wygląd wykresu. Jest to jednak logicznie nieuzasadnione, zwłaszcza jeśli liczba cech wykresu, które uznamy za podejrzane, stanowi nieznaczną część wszelkich możliwych nieprawidłowości (program uprawnienia budowlane na ANDROID).

Przypuśćmy, że w pewnym punkcie zdaje się występować uskok. Zastosowano test t i okazało się, że wynik taki (lub jeszcze bardziej dziwny) zdarzy się przypadkowo tylko jeden raz na dwadzieścia. Ale podobne uskoki mogą wystąpić i w innych miejscach, również jeden raz na dwadzieścia, a więc ryzyko cc szukania nieprawidłowości, których naprawdę nie ma, jest znacznie większe niż 1/20, gdyż liczba podobnych anomalii jest znaczna (uprawnienia budowlane).

Jakie jest wyjście z tej kłopotliwej sytuacji? Można by używać dla każdego testu dostatecznie małej wartości a tak, ażeby niewielki był wypadkowy zbiór krytyczny, tzn. zbiór nieprawidłowości wszelkich rodzajów. Zmniejsza to jednak czułość badania. Być może najlepszy sposób polega na wykorzystaniu pierwszego zbioru pomiarów dla wskazania możliwych anomalii, dalsze pomiary zaś pozwolą sprawdzić ich rzeczywistą obecność (program egzamin ustny). Jeśli na przykład dziesięć początkowych punktów wskazuje na obecność trendu, ale jest to w rzeczywistości wynikiem rozrzutu losowego, to w pełni uzasadnione będzie zastosowanie do następnych dziesięciu punktów testu sprawdzającego występowanie trendu. Do tej drugiej dziesiątki nie należy jednak stosować żadnego innego testu, chyba jako wstępne badanie przed trzecią dziesiątką itd.

Zbiór krytyczny

Może właściwe też będzie inne ostrzeżenie. Nawet jeśli sprawdzamy obecność jednego rodzaju anomalii, to użycie kilku różnych testów poszerza nieco zbiór krytyczny i zwiększa wobec tego ryzyko cc. Dzieje się tak, ponieważ tym różnym testom nie odpowiadają dokładnie takie same zbiory krytyczne, nawet jeśli pokrywają się one w przeważającej części. Innymi słowy, testy nie sprawdzają dokładnie tego samego zjawiska i użycie kilku z nich, każdego o ryzyku cc = 0,05, wykaże nieprawidłowości częściej niż jeden raz na 20 przypadków nawet wówczas, gdy te nieprawidłowości nic będą istniały w rzeczywistości (opinie o programie).

Niektórzy specjaliści z dziedziny kontroli jakości zapewniają, że przy pierwszym przeprowadzaniu jakiegoś doświadczenia czy postępowania, praktycznie na pewno nie podlega ono kontroli statystycznej. Dlatego też używa się wykresów kontrolnych i innych testów nie tyle dla wykazania braku tej kontroli, ile raczej dla wykrycia natury nieprawidłowości (segregator aktów prawnych).

Często błąd wyniku doświadczenia można rozłożyć na składniki. Otóż dokładność ostatecznej wartości może zależeć od starannego wprowadzania różnorodnych poprawek, z których każda w znany sposób odbija się na wyniku. Z doświadczenia lub na podstawie oszacowania można znać składniki zmian (odchyleń standardowych), których wystąpienia się spodziewamy (promocja 3 w 1). Wówczas udaje się zsumować te znane zmiany, co pozwala otrzymywać wahania wyniku ostatecznego.