Что это
Чтобы понять, посолен ли суп, не нужно съедать всю кастрюлю — достаточно хорошо перемешать и попробовать ложку. Выборка в статистике — это такая ложка: мы опрашиваем часть людей и по ним судим обо всех. Главное — чтобы суп был перемешан, то есть выборка была случайной.
Зачем это нужно
На выборках держится почти вся современная проверка решений: компании вроде Гугла и Нетфликса сравнивают версии сайтов на случайных группах пользователей, медики испытывают лекарства на выборках пациентов, заводы проверяют не каждую деталь, а случайные. Данные для обучения искусственного интеллекта — тоже выборка, и если она смещённая, модель будет ошибаться. ИИ обработает любой массив, но понять, честно ли собраны данные и можно ли им доверять, — работа человека.
Как это работает
Выборка должна быть случайной: у каждого жителя одинаковый шанс попасть в опрос. Если спрашивать только в одном месте, например у парка, где собираются велосипедисты, оценка получится смещённой — она будет всё время уходить в одну сторону. У случайной выборки ошибка другая: оценки прыгают то выше, то ниже правды. И чем больше людей опрошено, тем меньше эти прыжки.
Немного истории
В тридцатые годы прошлого века американский журнал «Литерари дайджест» разослал анкеты миллионам людей, собрал больше двух миллионов ответов и уверенно предсказал проигрыш Франклина Рузвельта на выборах. А Рузвельт победил с огромным перевесом. Журнал брал адреса в основном из телефонных книг и списков владельцев автомобилей, то есть опрашивал более обеспеченных людей, а Джордж Гэллап по гораздо меньшей, но продуманной выборке назвал победителя верно.
Формула: оценка доли
Если из эн опрошенных людей ответили «за» какое-то количество, естественно предположить, что во всём городе доля такая же. Поэтому оценка доли пэ с крышечкой равна числу ответов «за», делённому на эн. Здесь пэ с крышечкой — оценка доли, число от нуля до единицы или проценты, а эн — размер выборки, сколько человек опросили. Крышечка напоминает, что это не точная правда, а оценка. Если опросить больше людей, оценка будет ближе к настоящей доле — при условии, что выборка случайная.
p̂ = «за» / np̂ — оценка доли, —
«за» — число ответивших «за», чел.
n — размер выборки, чел.
Формула: погрешность
Насколько сильно оценка может прыгать, зависит от размера выборки, но не прямо, а через корень. Погрешность примерно равна единице, делённой на корень из эн. Здесь эн — размер выборки, а погрешность обычно пишут в процентах. Корень означает, что выборку нужно увеличить вчетверо, чтобы погрешность уменьшилась только вдвое. Именно поэтому при двадцати опрошенных разброс оценок огромный, а при двухстах уже гораздо скромнее.
погрешность ≈ 1 / √nn — размер выборки, чел.
1/√n — примерная погрешность оценки доли, доля или %
Что будем делать на практике
А теперь давай попробуем выполнить практическое задание. Перед тобой город из четырёхсот жителей, и всех спрашивают, за ли они новую велодорожку; настоящая доля от тебя скрыта. Сейчас выбран размер выборки двадцать и место — весь город случайно, а опросов ещё не было. Проведи три случайных опроса по двадцать человек, потом переключи размер на двести и проведи ещё три, а затем один опрос только у парка. Сравни, где оценки разбросаны сильнее, и подумай, чем ошибка опроса у парка отличается от ошибки маленькой случайной выборки. Если что-то осталось непонятным — ничего страшного, спроси меня о чём угодно, я отвечу. Не переживай.