Статистика будується на простій передумові: ви не можете виміряти все, тому ви вимірюєте її частину. Ви берете вибірку. Ви обчислюєте середнє значення. Ви стверджуєте, що воно є всією сукупністю. Але ось у чому каверза. Це середнє значення ніколи не буває абсолютно точним.
Різниця між оцінкою, отриманої з вибірки, і справжнім параметром генеральної сукупності називається помилкою вибірки. Це розрив між тим, що ви думаєте, що знаєте і тим, що насправді є істиною. Цей розрив існує, тому що вибірка – це лише частка сукупності. Це не весь пиріг цілком. Це лише шматочок. І шматочки рідко ідеально збігаються з цілим.
Чому виникає помилка вибірки
Уявіть старшу школу з 1000 учнями. Якщо ви запитаєте лише десяти учнів про їх улюблену страву в їдальні, ваш результат, швидше за все, буде спотворений. Можливо, ці десять учнів люблять піцу. Вся школа може віддавати перевагу салатам. Розбіжність між «перевагою піци», виявленим у вашому опитуванні, і реальними уподобаннями школи є помилка вибірки.
Це не є помилкою. Це не баг. Це математична неминучість. Помилка вибірки виникає щоразу, коли ви оцінюєте параметр з урахуванням підмножини даних. Вона зникає лише тоді, коли ви вимірюєте всю сукупність цілком. Перепис населення має нульову помилку вибірки, тому що включено абсолютно всі одиниці даних. Коли ви включаєте всіх, оцінка стає істиною.
Але у нас рідко є час чи гроші для перепису мільйонів людей. Тому ми використовуємо вибірку. І ми живемо із цією помилкою.
Що робить помилку вибірки більшою чи меншою?
Не всі помилки вибірки однакові. Деякі дослідження точніші, ніж інші. Розмір цього розриву визначають кілька чинників.
Розмір вибірки
Це найочевидніший чинник. Існує зворотна залежність між розміром вибірки та помилкою вибірки. Велика вибірка призводить до меншої помилки. Якщо ви опитаєте 1000 чоловік замість 10, ваша оцінка буде ближчою до справжнього середнього значення сукупності. У міру того, як розмір вибірки наближається до розміру всієї сукупності, стандартна помилка прагне нуля. Вона ніколи не досягає нуля, якщо у вас немає даних про всю сукупність.
Мінливість сукупності
Якщо всі члени сукупності мають однакове значення, вибірка будь-якого розміру буде ідеальною. Помилки не буде. Але реальні сукупності складні. Вони варіюються. Чим більша мінливість значень у сукупності, тим вища ймовірність того, що ваша вибірка буде нерепрезентативною. Висока мінливість означає велику помилку вибірки.
Як методи вибірки змінюють справу
Те, як ви вибираєте свою вибірку, має значення. Сам метод може посилювати чи зменшувати помилку.
Стратифікована вибірка може допомогти. Цей метод поділяє сукупність на однорідні підгрупи (страти) і вибирає елементи з кожної. Якщо ви хочете відобразити думки в країні, ви можете стратифікувати за віком чи регіоном. Забезпечуючи представленість кожної підгрупи, ви знижуєте вплив високої мінливості. Це призводить до зменшення помилки вибірки.
Кластерна вибірка відрізняється від неї. Тут ви поділяєте сукупність на кластери (наприклад, міські квартали) і випадково вибираєте цілі кластери для опитування. Це дешевше та простіше. Але це може призвести до більшої помилки вибірки. Чому? Тому що кластери можуть не рівномірно охоплювати різноманітність сукупності. Ви можете вибрати кластери, які дуже схожі один на одного. Вибірка стає менш репрезентативною. Помилка зростає.
Вимірювання невизначеності
Як ми кількісно оцінюємо цей розрив? Ми використовуємо стандартну помилку.
Стандартна помилка – це міра того, наскільки оцінка, як очікується, відрізнятиметься від істинного параметра. Вона аналогічна стандартному відхилення всіх можливих вибірок. Щоб розрахувати оцінку стандартної помилки, потрібно взяти стандартне відхилення вибірки та розділити його на квадратний корінь із розміру вибірки.
«Стандартна помилка забезпечує кількісний захід того, наскільки оцінка, як очікується, відрізнятиметься від справжнього параметра генеральної сукупності.»
На основі стандартної помилки виводиться довірчий інтервал (або похибка). Довірчий інтервал надає діапазон. Він каже вам, що дійсний параметр, ймовірно, знаходиться в межах певного інтервалу. Довірчий інтервал не дає фіксованого значення для помилки вибірки. Натомість він залежить від рівня довіри. Рівень довіри 95% означає, що, якщо ви повторите дослідження 100 разів, справжній параметр потрапить у ваш довірчий інтервал 95 разів.
Інший вид помилки
Помилка вибірки – це лише половина історії. Вона відрізняється від несистематичної помилки (помилки, не пов’язаної з вибіркою).
Несистематична помилка включає й інші неточності. Вона не викликана тим фактом, що ви взяли підмножину даних. Вона спричинена недосконалими методами. Ці помилки знижують точність так само сильно, як помилка вибірки. Але ви не можете виправити їх, збільшивши розмір вибірки.
Несистематичні помилки поділяються на дві категорії:
* Систематичні помилки: Вони зміщують результати в одному напрямку.
* Випадкові помилки: Вони спотворюють результати випадковим чином, але зазвичай компенсують один одного з часом.
Поширені джерела несистематичних помилок включають:
* Помилка покриття: Пропуски, дублікати або неправильна класифікація одиниць вибірки.
* Зміщення відбору: Створення нерандомізованої вибірки, яка не є репрезентативною.
* Методологічні недоліки: Погано спроектовані опитування.
* Помилки при обробці даних: Помилки при введенні або розрахунку даних.
* Неправильна інтерпретація: Неправильне читання результатів.
Підсумок
Помилка вибірки – це ціна наукової роботи без виміру всього. Це ціна виведення (інференції). Ви можете керувати нею. Ви можете зменшити її, збільшивши розмір вибірки. Ви можете зменшити її, вибравши найкращі методи вибірки, такі як стратифікація. Ви можете кількісно оцінити її за допомогою стандартної помилки та довірчого інтервалу.
Але ви не можете повністю усунути її. Не якщо ви не виміряєте всіх. І навіть у цьому випадку вам доведеться турбуватися про несистематичну помилку. Дані ніколи не бувають чистими. Вони завжди є наближенням. І це нормально. Поки ви розумієте цей розрив, ви можете ним управляти. Питання не в тому, чи ваші дані ідеальні. Питання в тому, наскільки велике цей розрив. І чи готові ви миритися з ним.
