Сгруппировались как проверить пп
По какому принципу группировать запросы в Яндекс.Директе? 1 ключ на 1 группу(SKAG) или по смыслу?
Добрый день. В данной статье поделюсь логикой группировки и сегментации ключевых слов в контекстной рекламе. Какие важные нюансы нужно учесть? Использовать ли до сих пор группировку 1 ключ на 1 объявление? Почему так много хейта вокруг нее? И как все это дело автоматизировать?
Глобальной целью нашей работы будет получение максимального CTR и минимальной цены клика для каждого ключевого слова.
Чтобы сделать правильную группировку ключевых слов нужно учесть следующие важные моменты:
Т.е. при группировке нам нужно соблюсти баланс между «качеством», «трудозатратами» и «управляемостью».
Я бы предложил разбить всю работу на два этапа:
1. Сегментация ключевых слов по отношению к той или иной ЦА;
2. Максимальное повышение релевантности объявлений под каждое ключевое слово. При этом учитывая времязатраты и «мало показов».
Здесь нет какого-то уникального принципа, от ниши к ниши конечно будет разница в сегментации, но она будет не существенной.
В целом на первом этапе проработке семантике я разделяю на 4 больших сегмента:
1. Ищут непосредственно товар/услугу
Наиболее интересная и часто именно ее прорабатывают клиенты, так как содержащиеся в ней ЦА наиболее близки к покупке.
К тому же здесь часто достаточно просто мультилендинга на конструкторе для закрытия в лида. Не нужно особо вкладываться в многостраничные сайты, копирайт, длинные воронки.
Допустим у нас ниша юридические услуги. И в этот сегмент будут попадать такие запросы как «юридические услуги москва», «адвокат по уголовным делам», «адвокат по семейным делам делам», «адвокат 228» и прочая степень детолизации интереса.
Главное, что всех их объединяет непостредственный интерес к нашей услуге. Ну а дальше мы их разбиваем на сегменты по уже более конкретным ЦА в зависимости от объема ключевых слов. Тут все сугубо индивидуально. Есть узкие ниши где и 5 запросов с частотой от 50 в месяц хватит для решения выделить запросы в отдельный сегмент. Как и писал выше про трудозатраты, всегда оценивайте кол-во выделяемых ЦА, так как под каждую из них нужно будет создавать связку: разрабатывать оффер, объявление и посадочную страницу.
2. Ищут информацию о товаре/услуге
С информационным трафиком работают реже, так как тут уже требуется создание как дополнительных затрат на контент, сайт и более сложные воронки.
Ведь действительно, не стоит ожидать, что человек, зашедший на сайт по запросу аля «как настроить контекстную рекламу», сделает у вас заказ на ее настройку.
Данные воронки обычно используются для повышения авторитетности и формирования уже своих аудиторий, на которые дальше уже можно настраивать ретаргетинг и вести на продающие посадочные страницы.
3. Ищут боль, которую закрывает товар/услуга
Очень интересные запросы в плане отдачи. Часто с них можно получать конверсии. Но с ними нужно работать отдельно, более тщательно следить за поведенческими факторами. Поэтому я обычно их держу в стороне от основных ключей.
Самое крутое в этой группе запросов то, что их обычно может проработать только человек погруженный в данную нишу. Поэтому по ним часто удается получать более дешевую цену клика, чем по основным всем понятным ключам.
К тому здесь вы уже начинаете разговаривать с человеком как эксперт, т.е. ваш статус в этот момент в его глазах выше. Поэтому часто и конверсия по таким запросам хорошая.
4. Ищут близкую к нам тему
С данной группой ключевых слов практически не работаю. Так как сильно далеко стоят эти люди от принятия решения о покупке вашего товара/услуге.
Т.е. это аудитория которая потенциально может заинтересоваться вашим товаром. И вы начинаете с ней работать заранее, до того как она пошла непосредственно искать ваш товар/услугу в поиске.
Допустим так можно начинать работать по продаже обоев по запросам «черновая отделка квартиры», «детская для ребенка». Т.е. уже понятно что в скором будущем людям понадобятся обои и можно пробовать их закрывать допустим на скачивание каталога обоев.
После того как мы получили сегменты ключевых слов, под которые написаны уникальные объявления и разработаны страницы. Остается еще один важный момент оптимизации РК. Уникализация 1-х заголовков.
Данная работа позвонляет уже уникализировать объявления не просто по отношению к ЦА, а по отношению к поисковому запросу. Для этого обычно используют распределение запросов по группам как 1 ключ на 1 группу и в ней 1 уникальное объявление для данного ключа.
В поисковой выдачи что человек забил в запрос, то он и видит в объявлении, оно максимально жирное/подсвечиваемое для него.
Неоспоримый плюс группировки 1 ключа в 1 группу заключается в релевантности объявления ключевому слову
ФОНЕТИЧЕСКИЙ РАЗБОР СЛОВА «СГРУППИРОВАЛИСЬ»
!Комментарий
См. тж. инфинитив сгруппироваться, от которого образовано слово «сгруппировались».
1) Транскрипция слова «сгруппиров а́ лись»: [згруп❜ирʌв а́ л❜ис❜].
15 букв, 13 звуков
ПРАВИЛА ПРОИЗНОШЕНИЯ 1
§ 5. Гласные [и], [ы] как под ударением, так и в безударных слогах произносятся в соответствии с написанием. Они обозначаются на письме буквами и и ы.
§ 9. Гласный [у] как под ударением, так и в безударных слогах произносится в соответствии с написанием. Он обозначается на письме буквами у и ю.
§ 32. В 1-м предударном слоге после твердых согласных, кроме гласных [ы] и [у], и в начале слова, кроме гласных [и] и [у] (о них см. §§ 5—13), произносится гласный [а]. Гласный [а] в этом положении на письме обозначается буквой я или о.
Гласный [а] 1-го предударного слога несколько отличается от ударного [а]: при его произношении нижняя челюсть опушена меньше, раствор рта уже, задняя часть спинки языка немного приподнята. Поэтому при более точной транскрипции эти звуки следует различать, например, для обозначения безударного [о] употреблять знак Λ, сохранив букву а для ударного [а]: [вΛд а́ ] (вод а́ ). В настоящем словаре-справочнике буква а употребляется для обозначения как безударного [а] (точнее [Λ], так и, [а] ударного.
Гласный [а] 1-го предударного слога несколько отличается от ударного [а]: при его произношении нижняя челюсть опушена меньше, раствор рта уже, задняя часть спинки языка немного приподнята. Поэтому при более точной транскрипции эти звуки следует различать, например, для обозначения безударного [о] употреблять знак Λ, сохранив букву а для ударного [а]: [вΛд а́ ] (вод а́ ). В настоящем словаре-справочнике буква а употребляется для обозначения как безударного [а] (точнее [Λ], так и, [а] ударного.
§ 66. Следующие согласные бывают как твердыми, так и мягкими: [л] и [б], [ф] и [в], [т] и [д], [с] и [з], [м], [р], [л], [н]. Для каждого из этих согласных в русской графике имеется соответствующая буква. Мягкость этих согласных на конце слова обозначается буквой ь. Ср. топ и топь (произносится [топ ❜ ]), экон о́ м и экон о́ мь (произносится [экан о́ м ❜ ]), уд а́ р и уд а́ рь (произносится [уд а́ р ❜ ]), был и быль (произносится [был ❜ ]). Так же обозначается мягкость этих согласных перед согласными: уголк а́ и угольк а́ (произносится [угал ❜ к а́ ]), б а́ нку и б а́ ньку (произносится [б а́ н ❜ ку]), р е́ дко и р е́ дька (произносится [р е́ т ❜ къ]).
Примеры на различение твердых и мягких согласных: топ и топь (произносится [топ ❜ ]), б о́ дро и бёдра (произносится [б ❜ о́ дръ]), граф а́ и граф я́ (произносится [граф ❜ а́ ]), вал и вял (произносится [в ❜ ал]), плот и плоть (произносится [плот ❜ ]), стыд а́ и стыд я́ (произносится [стыд ❜ а́ ]), ос и ось (произносится [ос ❜ ]); гроз а́ и гроз я́ (произносится [граз ❜ а́ ]), вол и вёл (произносится [в ❜ ол]), гроб и грёб (произносится [гр ❜ оп]), стал и сталь (произносится [стал ❜ ]), нос и нёс (произносится [н ❜ ос]), лук и люк (произносится [л ❜ ук]), г о́ рка и г о́ рько (произносится [г о́ р ❜ къ]).
§ 86. На месте глухих согласных перед звонкими (кроме [в]) произносятся соответствующие звонкие. Таким образом, на месте с произносится [з], на месте т — [д], на месте к — [г] и т. д. Например:
[пр о́ з ❜ бъ] (пр о́ сьба), [каз ❜ б а́ ] (косьб а́ ), [збыт ❜ ] (сбыть), [збыт] (сбыт), [згар е́ л] (сгор е́ л), [з-гор ы́ ] (с гор ы́ ), [зз а́ ди] (сз а́ ди), [мълад ❜ б а́ ] (молотьб а́ ), [адгад а́ т ❜ ] (отгад а́ ть), [ о́ дбыл] ( о́ тбыл), [аддал а́ ] (отдал а́ ), [т о́ д-жы э ] (тот же), [г-жы э н е́ ] (к жен е́ ), [т а́ гжы э ] (т а́ кже), [вагз а́ л] (вокз а́ л), [ани е гд о́ т] (анекд о́ т), [эгз а́ м ❜ т] (экз а́ мен), [г-гар е́ ] (к гор е́ ).
1 Орфоэпический словарь русского языка: Произношение, ударение, грамматические формы / С.Н. Борунова, В.Л. Воронцова, Н.А. Еськова; Под ред. Р.И. Аванесова. — 4-е изд., стер. — М.: Рус. яз., 1988. — 704 с..
Объясняем p-значения для начинающих Data Scientist’ов
Я помню, когда я проходил свою первую зарубежную стажировку в CERN в качестве практиканта, большинство людей все еще говорили об открытии бозона Хиггса после подтверждения того, что он соответствует порогу «пять сигм» (что означает наличие p-значения 0,0000003).
Тогда я ничего не знал о p-значении, проверке гипотез или даже статистической значимости.
Я решил загуглить слово — «p-значение», и то, что я нашел в Википедии, заставило меня еще больше запутаться…
При проверке статистических гипотез p-значение или значение вероятности для данной статистической модели — это вероятность того, что при истинности нулевой гипотезы статистическая сводка (например, абсолютное значение выборочной средней разницы между двумя сравниваемыми группами) будет больше или равна фактическим наблюдаемым результатам.
— Wikipedia
Хорошая работа, Википедия.
Ладно. Я не понял, что на самом деле означает р-значение.
Углубившись в область науки о данных, я наконец начал понимать смысл p-значения и то, где его можно использовать как часть инструментов принятия решений в определенных экспериментах.
Поэтому я решил объяснить р-значение в этой статье, а также то, как его можно использовать при проверке гипотез, чтобы дать вам лучшее и интуитивное понимание р-значений.
Также мы не можем пропустить фундаментальное понимание других концепций и определение p-значения, я обещаю, что сделаю это объяснение интуитивно понятным, не подвергая вас всеми техническими терминами, с которыми я столкнулся.
Всего в этой статье четыре раздела, чтобы дать вам полную картину от построения проверки гипотезы до понимания р-значения и использования его в процессе принятия решений. Я настоятельно рекомендую вам пройтись по всем из них, чтобы получить подробное понимание р-значений:
1. Проверка гипотез
Прежде чем мы поговорим о том, что означает р-значение, давайте начнем с разбора проверки гипотез, где р-значение используется для определения статистической значимости наших результатов.
Наша конечная цель — определить статистическую значимость наших результатов.
И статистическая значимость построена на этих 3 простых идеях:
Другими словами, мы создадим утверждение (нулевая гипотеза) и используем пример данных, чтобы проверить, является ли утверждение действительным. Если утверждение не соответствует действительности, мы выберем альтернативную гипотезу. Все очень просто.
Чтобы узнать, является ли утверждение обоснованным или нет, мы будем использовать p-значение для взвешивания силы доказательств, чтобы увидеть, является ли оно статистически значимым. Если доказательства подтверждают альтернативную гипотезу, то мы отвергнем нулевую гипотезу и примем альтернативную гипотезу. Это будет объяснено в следующем разделе.
Давайте воспользуемся примером, чтобы сделать эту концепцию более ясной, и этот пример будет использоваться на протяжении всей этой статьи для других концепций.
Пример. Предположим, что в пиццерии заявлено, что время их доставки составляет в среднем 30 минут или меньше, но вы думаете, что оно больше чем заявленное. Таким образом, вы проводите проверку гипотезы и случайным образом выбираете время доставки для проверки утверждения:
Одним из распространенных способов проверки гипотез является использование Z-критерия. Здесь мы не будем вдаваться в подробности, так как хотим лучше понять, что происходит на поверхности, прежде чем погрузиться глубже.
2. Нормальное распределение
Нормальное распределение — это функция плотности вероятности, используемая для просмотра распределения данных.
Нормальное распределение имеет два параметра — среднее (μ) и стандартное отклонение, также называемое сигма (σ).
Среднее — это центральная тенденция распределения. Оно определяет местоположение пика для нормальных распределений. Стандартное отклонение — это мера изменчивости. Оно определяет, насколько далеко от среднего значения склонны падать значения.
Нормальное распределение обычно связано с правилом 68-95-99.7 (изображение выше).
Классно. Теперь вы можете задаться вопросом: «Как нормальное распределение относится к нашей предыдущей проверке гипотез?»
Поскольку мы использовали Z-тест для проверки нашей гипотезы, нам нужно вычислить Z-баллы (которые будут использоваться в нашей тестовой статистике), которые представляют собой число стандартных отклонений от среднего значения точки данных. В нашем случае каждая точка данных — это время доставки пиццы, которое мы получили.
Обратите внимание, что когда мы рассчитали все Z-баллы для каждого времени доставки пиццы и построили стандартную кривую нормального распределения, как показано ниже, единица измерения на оси X изменится с минут на единицу стандартного отклонения, так как мы стандартизировали переменную, вычитая среднее и деля его на стандартное отклонение (см. формулу выше).
Изучение стандартной кривой нормального распределения полезно, потому что мы можем сравнить результаты теста с ”нормальной» популяцией со стандартизированной единицей в стандартном отклонении, особенно когда у нас есть переменная, которая поставляется с различными единицами.
Z-оценка может сказать нам, где лежат общие данные по сравнению со средней популяцией.
Мне нравится, как Уилл Кёрсен выразился: чем выше или ниже Z-показатель, тем менее вероятным будет случайный результат и тем более вероятным будет значимый результат.
Но насколько высокий (или низкий) показатель считается достаточно убедительным, чтобы количественно оценить, насколько значимы наши результаты?
Кульминация
Здесь нам нужен последний элемент для решения головоломки — p-значение, и проверить, являются ли наши результаты статистически значимыми на основе уровня значимости (также известного как альфа), который мы установили перед началом нашего эксперимента.
3. Что такое P-значение?
Наконец… Здесь мы говорим о р-значении!
Все предыдущие объяснения предназначены для того, чтобы подготовить почву и привести нас к этому P-значению. Нам нужен предыдущий контекст и шаги, чтобы понять это таинственное (на самом деле не столь таинственное) р-значение и то, как оно может привести к нашим решениям для проверки гипотезы.
Если вы зашли так далеко, продолжайте читать. Потому что этот раздел — самая захватывающая часть из всех!
Вместо того чтобы объяснять p-значения, используя определение, данное Википедией (извини Википедия), давайте объясним это в нашем контексте — время доставки пиццы!
Напомним, что мы произвольно отобрали некоторые сроки доставки пиццы, и цель состоит в том, чтобы проверить, превышает ли время доставки 30 минут. Если окончательные доказательства подтверждают утверждение пиццерии (среднее время доставки составляет 30 минут или меньше), то мы не будем отвергать нулевую гипотезу. В противном случае мы опровергаем нулевую гипотезу.
Поэтому задача p-значения — ответить на этот вопрос:
Если я живу в мире, где время доставки пиццы составляет 30 минут или меньше (нулевая гипотеза верна), насколько неожиданными являются мои доказательства в реальной жизни?
Р-значение отвечает на этот вопрос числом — вероятностью.
Чем ниже значение p, тем более неожиданными являются доказательства, тем более нелепой выглядит наша нулевая гипотеза.
И что мы делаем, когда чувствуем себя нелепо с нашей нулевой гипотезой? Мы отвергаем ее и выбираем нашу альтернативную гипотезу.
Если р-значение ниже заданного уровня значимости (люди называют его альфа, я называю это порогом нелепости — не спрашивайте, почему, мне просто легче понять), тогда мы отвергаем нулевую гипотезу.
Теперь мы понимаем, что означает p-значение. Давайте применим это в нашем случае.
P-значение в расчете времени доставки пиццы
Теперь, когда мы собрали несколько выборочных данных о времени доставки, мы выполнили расчет и обнаружили, что среднее время доставки больше на 10 минут с p-значением 0,03.
Это означает, что в мире, где время доставки пиццы составляет 30 минут или меньше (нулевая гипотеза верна), есть 3% шанс, что мы увидим, что среднее время доставки, по крайней мере, на 10 минут больше, из-за случайного шума.
Чем меньше p-значение, тем более значимым будет результат, потому что он с меньшей вероятностью будет вызван шумом.
В нашем случае большинство людей неправильно понимают р-значение:
Р-значение 0,03 означает, что есть 3% (вероятность в процентах), что результат обусловлен случайностью — что не соответствует действительности.
Р-значение ничего не *доказывает*. Это просто способ использовать неожиданность в качестве основы для принятия разумного решения.
— Кэсси Козырков
Вот как мы можем использовать p-значение 0,03, чтобы помочь нам принять разумное решение (ВАЖНО):
По моему мнению, p-значения используются в качестве инструмента для оспаривания нашего первоначального убеждения (нулевая гипотеза), когда результат является статистически значимым. В тот момент, когда мы чувствуем себя нелепо с нашим собственным убеждением (при условии, что р-значение показывает, что результат статистически значим), мы отбрасываем наше первоначальное убеждение (отвергаем нулевую гипотезу) и принимаем разумное решение.
4. Статистическая значимость
Наконец, это последний этап, когда мы собираем все вместе и проверяем, является ли результат статистически значимым.
Недостаточно иметь только р-значение, нам нужно установить порог (уровень значимости — альфа). Альфа всегда должна быть установлена перед экспериментом, чтобы избежать смещения. Если наблюдаемое р-значение ниже, чем альфа, то мы заключаем, что результат является статистически значимым.
Основное правило — установить альфа равным 0,05 или 0,01 (опять же, значение зависит от вашей задачи).
Как упоминалось ранее, предположим, что мы установили альфа равным 0,05, прежде чем мы начали эксперимент, полученный результат является статистически значимым, поскольку р-значение 0,03 ниже, чем альфа.
Для справки ниже приведены основные этапы всего эксперимента:
Если вы хотите узнать больше о статистической значимости, не стесняйтесь посмотреть эту статью — Объяснение статистической значимости, написанная Уиллом Керсеном.
Последующие размышления
Здесь много чего нужно переваривать, не так ли?
Я не могу отрицать, что p-значения по своей сути сбивают с толку многих людей, и мне потребовалось довольно много времени, чтобы по-настоящему понять и оценить значение p-значений и то, как они могут быть применены в рамках нашего процесса принятия решений в качестве специалистов по данным.
Но не слишком полагайтесь на p-значения, поскольку они помогают только в небольшой части всего процесса принятия решений.
Я надеюсь, что мое объяснение p-значений стало интуитивно понятным и полезным в вашем понимании того, что в действительности означают p-значения и как их можно использовать при проверке ваших гипотез.
Сам по себе расчет р-значений прост. Трудная часть возникает, когда мы хотим интерпретировать p-значения в проверке гипотез. Надеюсь, что теперь трудная часть станет для вас немного легче.
Если вы хотите узнать больше о статистике, я настоятельно рекомендую вам прочитать эту книгу (которую я сейчас читаю!) — Практическая статистика для специалистов по данным, специально написанная для data scientists, чтобы разобраться с фундаментальными концепциями статистики.
Узнайте подробности, как получить востребованную профессию с нуля или Level Up по навыкам и зарплате, пройдя платные онлайн-курсы SkillFactory:
Объясняем p-значения для начинающих Data Scientist’ов
Я помню, когда я проходил свою первую зарубежную стажировку в CERN в качестве практиканта, большинство людей все еще говорили об открытии бозона Хиггса после подтверждения того, что он соответствует порогу «пять сигм» (что означает наличие p-значения 0,0000003).
Тогда я ничего не знал о p-значении, проверке гипотез или даже статистической значимости.
Я решил загуглить слово — «p-значение», и то, что я нашел в Википедии, заставило меня еще больше запутаться…
При проверке статистических гипотез p-значение или значение вероятности для данной статистической модели — это вероятность того, что при истинности нулевой гипотезы статистическая сводка (например, абсолютное значение выборочной средней разницы между двумя сравниваемыми группами) будет больше или равна фактическим наблюдаемым результатам.
— Wikipedia
Хорошая работа, Википедия.
Ладно. Я не понял, что на самом деле означает р-значение.
Углубившись в область науки о данных, я наконец начал понимать смысл p-значения и то, где его можно использовать как часть инструментов принятия решений в определенных экспериментах.
Поэтому я решил объяснить р-значение в этой статье, а также то, как его можно использовать при проверке гипотез, чтобы дать вам лучшее и интуитивное понимание р-значений.
Также мы не можем пропустить фундаментальное понимание других концепций и определение p-значения, я обещаю, что сделаю это объяснение интуитивно понятным, не подвергая вас всеми техническими терминами, с которыми я столкнулся.
Всего в этой статье четыре раздела, чтобы дать вам полную картину от построения проверки гипотезы до понимания р-значения и использования его в процессе принятия решений. Я настоятельно рекомендую вам пройтись по всем из них, чтобы получить подробное понимание р-значений:
1. Проверка гипотез
Прежде чем мы поговорим о том, что означает р-значение, давайте начнем с разбора проверки гипотез, где р-значение используется для определения статистической значимости наших результатов.
Наша конечная цель — определить статистическую значимость наших результатов.
И статистическая значимость построена на этих 3 простых идеях:
Другими словами, мы создадим утверждение (нулевая гипотеза) и используем пример данных, чтобы проверить, является ли утверждение действительным. Если утверждение не соответствует действительности, мы выберем альтернативную гипотезу. Все очень просто.
Чтобы узнать, является ли утверждение обоснованным или нет, мы будем использовать p-значение для взвешивания силы доказательств, чтобы увидеть, является ли оно статистически значимым. Если доказательства подтверждают альтернативную гипотезу, то мы отвергнем нулевую гипотезу и примем альтернативную гипотезу. Это будет объяснено в следующем разделе.
Давайте воспользуемся примером, чтобы сделать эту концепцию более ясной, и этот пример будет использоваться на протяжении всей этой статьи для других концепций.
Пример. Предположим, что в пиццерии заявлено, что время их доставки составляет в среднем 30 минут или меньше, но вы думаете, что оно больше чем заявленное. Таким образом, вы проводите проверку гипотезы и случайным образом выбираете время доставки для проверки утверждения:
Одним из распространенных способов проверки гипотез является использование Z-критерия. Здесь мы не будем вдаваться в подробности, так как хотим лучше понять, что происходит на поверхности, прежде чем погрузиться глубже.
2. Нормальное распределение
Нормальное распределение — это функция плотности вероятности, используемая для просмотра распределения данных.
Нормальное распределение имеет два параметра — среднее (μ) и стандартное отклонение, также называемое сигма (σ).
Среднее — это центральная тенденция распределения. Оно определяет местоположение пика для нормальных распределений. Стандартное отклонение — это мера изменчивости. Оно определяет, насколько далеко от среднего значения склонны падать значения.
Нормальное распределение обычно связано с правилом 68-95-99.7 (изображение выше).
Классно. Теперь вы можете задаться вопросом: «Как нормальное распределение относится к нашей предыдущей проверке гипотез?»
Поскольку мы использовали Z-тест для проверки нашей гипотезы, нам нужно вычислить Z-баллы (которые будут использоваться в нашей тестовой статистике), которые представляют собой число стандартных отклонений от среднего значения точки данных. В нашем случае каждая точка данных — это время доставки пиццы, которое мы получили.
Обратите внимание, что когда мы рассчитали все Z-баллы для каждого времени доставки пиццы и построили стандартную кривую нормального распределения, как показано ниже, единица измерения на оси X изменится с минут на единицу стандартного отклонения, так как мы стандартизировали переменную, вычитая среднее и деля его на стандартное отклонение (см. формулу выше).
Изучение стандартной кривой нормального распределения полезно, потому что мы можем сравнить результаты теста с ”нормальной» популяцией со стандартизированной единицей в стандартном отклонении, особенно когда у нас есть переменная, которая поставляется с различными единицами.
Z-оценка может сказать нам, где лежат общие данные по сравнению со средней популяцией.
Мне нравится, как Уилл Кёрсен выразился: чем выше или ниже Z-показатель, тем менее вероятным будет случайный результат и тем более вероятным будет значимый результат.
Но насколько высокий (или низкий) показатель считается достаточно убедительным, чтобы количественно оценить, насколько значимы наши результаты?
Кульминация
Здесь нам нужен последний элемент для решения головоломки — p-значение, и проверить, являются ли наши результаты статистически значимыми на основе уровня значимости (также известного как альфа), который мы установили перед началом нашего эксперимента.
3. Что такое P-значение?
Наконец… Здесь мы говорим о р-значении!
Все предыдущие объяснения предназначены для того, чтобы подготовить почву и привести нас к этому P-значению. Нам нужен предыдущий контекст и шаги, чтобы понять это таинственное (на самом деле не столь таинственное) р-значение и то, как оно может привести к нашим решениям для проверки гипотезы.
Если вы зашли так далеко, продолжайте читать. Потому что этот раздел — самая захватывающая часть из всех!
Вместо того чтобы объяснять p-значения, используя определение, данное Википедией (извини Википедия), давайте объясним это в нашем контексте — время доставки пиццы!
Напомним, что мы произвольно отобрали некоторые сроки доставки пиццы, и цель состоит в том, чтобы проверить, превышает ли время доставки 30 минут. Если окончательные доказательства подтверждают утверждение пиццерии (среднее время доставки составляет 30 минут или меньше), то мы не будем отвергать нулевую гипотезу. В противном случае мы опровергаем нулевую гипотезу.
Поэтому задача p-значения — ответить на этот вопрос:
Если я живу в мире, где время доставки пиццы составляет 30 минут или меньше (нулевая гипотеза верна), насколько неожиданными являются мои доказательства в реальной жизни?
Р-значение отвечает на этот вопрос числом — вероятностью.
Чем ниже значение p, тем более неожиданными являются доказательства, тем более нелепой выглядит наша нулевая гипотеза.
И что мы делаем, когда чувствуем себя нелепо с нашей нулевой гипотезой? Мы отвергаем ее и выбираем нашу альтернативную гипотезу.
Если р-значение ниже заданного уровня значимости (люди называют его альфа, я называю это порогом нелепости — не спрашивайте, почему, мне просто легче понять), тогда мы отвергаем нулевую гипотезу.
Теперь мы понимаем, что означает p-значение. Давайте применим это в нашем случае.
P-значение в расчете времени доставки пиццы
Теперь, когда мы собрали несколько выборочных данных о времени доставки, мы выполнили расчет и обнаружили, что среднее время доставки больше на 10 минут с p-значением 0,03.
Это означает, что в мире, где время доставки пиццы составляет 30 минут или меньше (нулевая гипотеза верна), есть 3% шанс, что мы увидим, что среднее время доставки, по крайней мере, на 10 минут больше, из-за случайного шума.
Чем меньше p-значение, тем более значимым будет результат, потому что он с меньшей вероятностью будет вызван шумом.
В нашем случае большинство людей неправильно понимают р-значение:
Р-значение 0,03 означает, что есть 3% (вероятность в процентах), что результат обусловлен случайностью — что не соответствует действительности.
Р-значение ничего не *доказывает*. Это просто способ использовать неожиданность в качестве основы для принятия разумного решения.
— Кэсси Козырков
Вот как мы можем использовать p-значение 0,03, чтобы помочь нам принять разумное решение (ВАЖНО):
По моему мнению, p-значения используются в качестве инструмента для оспаривания нашего первоначального убеждения (нулевая гипотеза), когда результат является статистически значимым. В тот момент, когда мы чувствуем себя нелепо с нашим собственным убеждением (при условии, что р-значение показывает, что результат статистически значим), мы отбрасываем наше первоначальное убеждение (отвергаем нулевую гипотезу) и принимаем разумное решение.
4. Статистическая значимость
Наконец, это последний этап, когда мы собираем все вместе и проверяем, является ли результат статистически значимым.
Недостаточно иметь только р-значение, нам нужно установить порог (уровень значимости — альфа). Альфа всегда должна быть установлена перед экспериментом, чтобы избежать смещения. Если наблюдаемое р-значение ниже, чем альфа, то мы заключаем, что результат является статистически значимым.
Основное правило — установить альфа равным 0,05 или 0,01 (опять же, значение зависит от вашей задачи).
Как упоминалось ранее, предположим, что мы установили альфа равным 0,05, прежде чем мы начали эксперимент, полученный результат является статистически значимым, поскольку р-значение 0,03 ниже, чем альфа.
Для справки ниже приведены основные этапы всего эксперимента:
Если вы хотите узнать больше о статистической значимости, не стесняйтесь посмотреть эту статью — Объяснение статистической значимости, написанная Уиллом Керсеном.
Последующие размышления
Здесь много чего нужно переваривать, не так ли?
Я не могу отрицать, что p-значения по своей сути сбивают с толку многих людей, и мне потребовалось довольно много времени, чтобы по-настоящему понять и оценить значение p-значений и то, как они могут быть применены в рамках нашего процесса принятия решений в качестве специалистов по данным.
Но не слишком полагайтесь на p-значения, поскольку они помогают только в небольшой части всего процесса принятия решений.
Я надеюсь, что мое объяснение p-значений стало интуитивно понятным и полезным в вашем понимании того, что в действительности означают p-значения и как их можно использовать при проверке ваших гипотез.
Сам по себе расчет р-значений прост. Трудная часть возникает, когда мы хотим интерпретировать p-значения в проверке гипотез. Надеюсь, что теперь трудная часть станет для вас немного легче.
Если вы хотите узнать больше о статистике, я настоятельно рекомендую вам прочитать эту книгу (которую я сейчас читаю!) — Практическая статистика для специалистов по данным, специально написанная для data scientists, чтобы разобраться с фундаментальными концепциями статистики.
Узнайте подробности, как получить востребованную профессию с нуля или Level Up по навыкам и зарплате, пройдя платные онлайн-курсы SkillFactory: