Рейтинг пользователя как считается
Рейтинг пользователей на сайте gastronom.ru
1. Общие принципы
Рейтинг пользователей — это оценка вклада каждого пользователя в развитие сайта. Под развитием мы прежде всего понимаем добавление качественных и интересных для пользователей материалов и сообщений.
Для каждого пользователя вычисляются два значения рейтинга:
а) общий рейтинг, учитывающий активность пользователя за всё время его активности на сайте;
б) текущий рейтинг, учитывающий активность пользователя за определённый период — неделя, месяц, год.
Общий рейтинг пользователя отображается в его профиле.
2. Пользователь получает баллы за различную активность на сайте:
Самое большое количество баллов (30) начисляется за победу (1 место) в конкурсе рецептов.
Обратите внимание: дополнительное премирование пользователей остаётся на усмотрение администраторов сайта. Не стоит настойчиво клянчить бонусы себе или наказание других пользователей лишением баллов, хотя допустимо обратить внимание администраторов на какую-либо пользовательскую активность — свою или чужую.
3. Редакция может штрафовать пользователей, лишая их набранных ранее баллов, за:
4. Статусы при наборе определенного количества баллов
Статус отображается в профиле пользователя. Смена статуса происходит автоматически.
5. Система поощрения пользователей при подсчете общего рейтинга на сайте gastronom.ru
Администрация сайта оставляет за собой право на любые изменения в системе поощрения по своему усмотрению.
6. Поощрение пользователей при подсчете текущего рейтинга на сайте gastronom.ru
Редакция сайта по своему усмотрению объявляет гонку баллов в течение календарной недели или календарного месяца. Пользователь, набравший за неделю или месяц наибольшее количество баллов (то есть лидер недели или месяца), получает поощрительный приз*. Обратите внимание, что при подсчёте результатов учитываются только баллы, набранные в конкретную неделю или месяц.
* В течение одного календарного года пользователь может получить только один приз (вне зависимости от того, сколько раз он становился лидером недели или месяца).
7. Прочее
В рейтинге оцениваются только те материалы, которые уже прошли модерацию (проверку администратором). Посмотреть лидеров рейтинга, рейтинг всех пользователей и архив рейтинга сайта можно на соответствующих страницах.
Расчет рейтинга пользователей
На данный момент занимаюсь разработки системы рейтинга пользователей, комментариев, статей и т.п. Поэтому возникла необходимость понять и воплотить сущность расчета этой величины.
Расчет рейтинга
В данной статье я коснусь только процесса голосования за пользователей и расчета приращений рейтинга, потому как другие рейтинги (например, комментариев или статей) могут быть аналогичным образом.
Приращение рейтинга пользователя при голосовании за него (“+”) складывается из двух составляющих:
Ниже я поясню, как рассчитываются эти части, а пока выберем параметр maxDeltaValue, значение которого является максимальным приращением рейтинга пользователя.
Примем, что первая часть приращения будет составлять 20% от максимального, а вторая — 80%. Т.е. основной вклад в приращение вносит именно Сила голоса голосующего пользователя.
В итоге имеем:
dРейтинг_а = f_1(Рейтинг_а) + f_2(Сила_б)
f_1 и f_2 — это некоторые функции, по которым рассчитываются составляющие приращения, зависящие от Рейтинга пользователя, за которого голосуют и Силы того, кто голосует соответственно.
Первая часть приращения
В этой части нужно выбрать убывающую функцию, чтобы значение данного приращения уменьшалось с ростом рейтинга пользователя. Это сделано, чтобы поддерживать новичков и рейтинги старичков не взлетали до небес (с этой точки зрения). Я выбрал экспонентциальную зависимость:
f_1® = a * exp(-b*R)
Указанная функция будет стремиться к 0 с ростом значения рейтинга. Максимальное значение функции будет достигаться в точке с нулевым рейтингом в диапазоне рейтингов от 0 до бесконечности. Это значение равно параметру a указанной функции. Коэффициент b отвечает за скорость убывания функции, его можно выбрать любым (я выбрал b=0.005 для большей плавности).
Т.к. мы предположили, что первая часть приращение вносит вклад в общее приращение до 20%, сл. параметр a = 0.2 * maxDeltaValue.
Вторая часть приращения
Здесь я использую возрастающую функцию. В данном случае — логарифм (натуральный). Сначала хотел использовать функцию, имеющую асимптоту.
Параметром функции является Сила пользователя (сила его голоса), которая, в моем случае, не является отдельной величиной, а выражается через рейтинг.
Сила также выражается логарифмической зависимостью, причем график функции такого логарифма должен проходить через точки:
Значение Силы будет зависеть от основания логарифма и параметра b, который также зависит от основания. Если брать десятичный логарифм, то b = 10. При натуральном логарифме — b равно экспоненте. N – абсолютное значение рейтинга, когда пользователь теряет Силу.
В своей задаче я выбрал десятичный логарифм и N = 10.
Вернемся к расчету второй части приращения:
f_2(S) = log(a*S + b)
Будем считать, что Сила пользователя изменяется от 0 до максимум 6 (значения больше 6 не рассматриваем). Сначала получим общую функцию логарифма, график которого проходит через точки (0;0) и (2; locMax), где locMax – некоторое условно максимальное значение.
Силу пользователя можно получить из его рейтинга с помощью указанной выше функции getSkill().
Итоговое приращение рейтинга пользователя равно сумме указанных выше двух частей. Стоит отметить, что эти части являются абсолютными значениями, то есть рассмотрено голосование в сторону “+”. Думаю, понятно, как это будет работать при голосовании в “-“.
Угасание рейтинга
Многими была предложена идея угасания рейтинга с течением времени. Я предлагаю ввести множество «несгораемых» значений рейтинга, достигнув которые, нельзя будет потерять со временем. «Сбить» с них можно будет уменьшением рейтинга другими пользователями.
Падение значения рейтинга со временем будет идти по экспонентам с различными скоростями угасания.
Что собой представляют рейтинги и рэнкинги и что лежит в их основе
Объясняем, как работать с различными рейтингами.
Зачем это нужно знать? Дело в том, что в международной практике все топы «самых-самых» делятся на рейтинги и рэнкинги. Однако в русском языке прижилось только слово «рейтинг», а упоминание «рэнкинга» едва ли встретишь в прессе.
Рейтинг (от английского «rate» — оценивать) — это некий числовой или порядковый показатель, который демонстрирует значимость или важность того или иного объекта.
В основе любого рейтинга лежит оценка. Оценка эта основывается либо на конкретном критерии, либо на определённой системе расчета.
Рэнкинг же произошел от английского «rank» и в дословном переводе означает ряд или шеренгу. Если основная задача рейтингов — это оценка объектов, то рэнкинги этой цели не преследуют. Они обычно основаны на нескольких критериях и при их составлении не используются какие-либо формулы.
Прямая задача рэнкинга — упорядочить информацию об объектах анализа. Рэнкинги не несут в себе оценки, но с их помощью можно без труда увидеть позицию объекта с точки зрения разных критериев.
Сопоставив и проанализировав некоторые критерии, можно прийти к интересным наблюдениям.
Так, например, компания X с наибольшей прибылью по данным рейтинга N может иметь наибольшую долю краткосрочных обязательств, исходя из рэнкинга Z. Можно сделать вывод, что чистая прибыль компании Х может оказаться существенно ниже, чем у других фирм, занимающих более низкие позиции в рейтинге N, так как рейтинг этот не учитывает задолженности, требующие краткосрочного погашения, и базируется только на показателе прибыли.
Сначала поговорим о рейтингах и возьмём, например, кредитные рейтинги компаний. Их составляют независимые рейтинговые агентства — Moody’s, Standard and Poor’s и Fitch Ratings.
Они используются для оценки кредитоспособности той или иной компании. Каково их практическое значение? С помощью такого рейтинга потенциальный инвестор ценных бумаг может понять, стоит ли ему покупать облигации фирмы, насколько надежной она является.
Условные обозначения: cтепень надежности компаний обозначается буквенно — от «А» до «С»: под «А» обозначаются наиболее платежеспособные, под «С» — наименее надежные.
Также принято считать, что облигации компании ниже уровня «ВВВ-» являются облигациями спекулятивного уровня. Они, с одной стороны, высокодоходные, и подразумевают высокий уровень риска с другой, — именно поэтому их зачастую называют неинвестиционными, ненадёжными и даже мусорными. Однако в зависимости от ситуации на рынке, такие виды акций также могут быть вполне полезными для инвесторов.
Например, резкие спады на рынке ценных бумаг могут спровоцировать падение цен на бумаги инвестиционного класса, тогда как неинвестиционные облигации могут приносить больший доход.
Теперь немного об объективности кредитных рейтингов.
В силу того, что любой рейтинг — это, прежде всего, «оценочная» история, без скандалов и здесь не обошлось. Если до начала 1970-х годов рейтинги облигаций финансировались инвесторами, заинтересованными в получении достоверной информации о положении компаний на рынке акций, то когда их начали оплачивать сами эмитенты ценных бумаг, это привело к обвинениям «большой тройки» агентств в необъективности и предвзятости.
Популярные рейтинги есть не только среди деловой аудитории, но и среди простых читателей и пользователей сети. Например, рейтинги Forbes.
Рейтинг лучших стран для ведения бизнеса уже не первый год публикуется на официальном сайте издания. Основные критерии для формирования данного рейтинга — уровень внутреннего валового продукта (GDP), а также:
В 2012 году лучшей страной для бизнеса была признана Новая Зеландия. Её ВВП на душу населения оказался наименьшим среди стран первой десятки, однако компенсировался самыми лучшими показателями в области защиты личных свобод граждан и интересов инвесторов. По данным на 2017 год наиболее перспективной страной для ведения бизнеса по версии Forbes оказалась Швеция, Новая Зеландия же занимает почётное второе место. Тройку замыкает Гонконг.
Кому пригодится рейтинг? Предпринимателям, заинтересованным в открытии бизнеса за рубежом. Но нужно учитывать, что он даёт только обобщенную оценку и ограниченное количество сопутствующих критериев.
Существуют также различные рейтинги компаний: например, совместный рейтинг частных компаний, оценённых на рынке в один миллиард долларов и выше (The Billion Dollar Startup Club), от The Wall Street Journal и Dow Jones. Рыночная капитализация стартапов может быть интересна потенциальным инвесторам для оценки привлекательности компании.
Этот рейтинг иллюстрирует динамику того, как разрастались сегодняшние компании-лидеры, с помощью инфографики с февраля 2014 года по данный момент.
В качестве основных показателей выступают последние данные по оценке компании в миллиардах долларов (капитализация). Также указываются её совокупный капитал и дата последней произведенной оценки.
Рассмотрим также российские бизнес-рейтинги: например, рейтинги крупных компаний, составленные Forbes и РБК.
И топ-200 крупнейших российских частных компаний Forbes, и рейтинг РБК 500 опираются на показатель выручки (в миллиардах рублей) за 2015 год в качестве основного параметра.
Однако рейтинг РБК учитывает при оценке в том числе и государственные компании. В то же самое время сопутствующими, но не учитывающимися, характеристиками для похожего рейтинга Forbes являются изменения за год, капитализация, местоположение штаб-квартиры и размер персонала частных компаний.
Интересным нюансом в рейтингах на основе выручки является тот факт, что некоторые компании из перечисленных — непубличные, а значит, данные об их отчётности закрыты. Как аналитики получают такого рода информацию? Если ни Федеральная служба государственной статистики, ни СПАРК («Система профессионального анализа рынков и компаний»), ни СКРИН («Система комплексного раскрытия информации об эмитентах и профессиональных участниках фондового рынка») данных не предоставляют, то существует несколько вариантов:
Примером удачного рейтинга непубличных компаний можно считать одноименный рейтинг Forbes («200 крупнейших непубличных компаний»). В основе его методологии по сбору данных лежат:
Составление таких рейтингов — более трудоёмкая работа, но не менее важная. Как отмечается в одном из аналитических отчётов Forbes, закрытые компании играют большую роль на экономическом рынке: это тёмные лошадки и никогда не знаешь, чего от них стоит ожидать.
В чём практический смысл рейтингов компаний? В большей степени это скорее занимательная статистика и возможность увидеть динамику развития той или иной фирмы. Практический же смысл такой информации может показаться достаточно туманным.
Что касается рэнкингов, то одним из весомых рэнкингов в бизнес-среде является рэнкинг агентов по операциям с недвижимостью The Thousand, создаваемый The Wall Street Journal совместно с Real Trends, частной консалтинговой коммуникационной компанией, специализирующейся на сборе и анализе информации о недвижимости.
Зачем нужен такой рэнкинг? Он прежде всего отмечает уровень профессионализма и повышает престижность представленных субъектов. Возможно, он может, в том числе, понадобиться тем, кто располагает средствами для покупки жилья или хочет продать или обменять жилье и потому ищет агента по недвижимости.
Тысячный рэнкинг делится на четыре категории по 250 пунктов в каждой:
Основой для рэнкинга стали данные национальных торговых сетей, государственных и местных ассоциаций риэлторов, участников рэнкинга прошлых лет и 900 крупнейших брокерских фирм в Соединенных Штатах.
Компании, оказавшиеся на первых строчках в каждой из категорий, зарекомендовали себя как профессионалы в области продажи недвижимости на территории США. Средний агент, упомянутый в The Thousand, продал 202 дома за год (против семи домов, проданных среднестатистическим), средняя команда — больше 433 домов.
Еще один рэнкинг The Wall Street Journal составляется совместно с британским изданием об образовании Times Higher Education.
Зачем он нужен? Рэнкинг помогает будущему студенту более чётко представить картину университетов, в которые он планирует подавать документы, и оценить «вуз мечты» с точки зрения наиболее важных для него характеристик, а не только основываясь на восторженных отзывах о престижности Лиги плюща.
Times Higher Education US College Ranking формирует список 100 американских университов и бизнес-школ в соответствии со следующими показателями:
Однако критерии для рэнкингов едва ли можно назвать объективными: кто доподлинно знает, как оценить окружающую среду (что важнее: свежий ли воздух или чистая вода?), оснащенность вуза новыми технологиями (что если в одном университете больше продукции Macintosh, а в другом — то же количество, но Microsoft) и так далее.
Все эти факторы все равно созданы искусственно и упрощают реальность до уровня сухих цифр: не важно, дают ли они оценку или же просто повод для размышлений.
Так или иначе, и рейтинги, и рэнкинги — это числовые показатели, за которыми всегда кроется гораздо большее, нежели набор арабских цифр. И если не забывать, что рейтинг — это всегда субъективная оценка, а рэнкинг — претензия на объективность, то чтение всех этих таблиц и списков может стать непростой аналитической задачкой.
Алгоритм для рейтинга комментариев, поощряющий хорошие аргументы
Сайты вроде Хабра, Пикабу, Реддита, и Hacker News имеют древовидные системы комментариев к постам. Зарегистрированные пользователи могут голосовать за комментарии. Сайты используют рейтинги комментариев двумя способами:
Дают какие-то плюшки авторам «хороших» комментариев. Например, в некоторых сабреддитах нужно иметь определенный рейтинг комментариев в данном сабреддите чтобы опубликовать пост.
Как считается рейтинг комментария?
На большинстве сайтов можно проголосовать «за» или «против» комментария. Далее в посте я рассматриваю только этот вариант. На Hacker News можно проголосовать только «за», но не «против». На Медиуме, в каком-то смысле, можно проголосовать «за» комментарий числом от 1 до 50 (также можно проголосовать и за посты; на самом деле, комментарии на Медиуме считаются мини-постами).
На большинстве сайтов рейтинг комментария считается как простая разница между голосами «за» и «против». Я не припомню ни одного сайта, который бы учитывал рейтинг голосующих пользователей. Реддит считает рейтинг комментариев по более хитрой формуле, суть которой в том, что помимо общей разницы голосов «за» и «против» еще учитывается однозначность поддержки: комментарий с 10 голосами «за» и 0 «против» получает рейтинг выше, чем комментарий со 100 голосами «за» и 80 «против».
Я предполагаю, что почти все пользователи голосуют «за» комментарии и «против» когда не согласны. Я пренебрегаю случаями, когда отдельные пользователи оценивают голосом «за» качество аргументов, даже если не согласны с ними (мне кажется, что такие случаи единичны). В TJournal пользователи оценивают комментарии по их юмористичности, но этот случай мне не интересен.
В чем проблема?
Оценка комментариев по грубой популярной поддержке приводит к следующим проблемам:
Результат: почти во всех сабреддитах, от посвященных технологиям вроде Java или Golang до посвященных политическим партиям, вере в Бога, и глобальному потеплению, царит монокультура. О предмете обсуждения можно или хорошо, или никак. Это же в какой-то степени относится и к Хабру, хотя в меньшей.
Вторичный эффект от монокультуризации сообществ: поляризация общества в целом и общее снижение уровня критического мышления. Люди разбредаются по сообществам где преобладает именно их точка зрения, окукливаются в своем пузыре, получают там постоянно подтверждение. Их точка зрения цементируются, они все меньше способны воспринимать аргументы за другие точки зрения.
Дискуссии не развиваются: на сайте в основном циркулирует лишь несколько аргументов по основным позициям. Чтобы получить больше плюсов, авторы стараются зарядить комментарии «главными» аргументами в поддержку своей позиции (часто сдабривая их эмоциями), аргументами которые получили больше всего плюсов в предыдущих обсуждениях. Люди, которые следят за дискуссиями вроде C++ против Rust, либерализм против социализма, «нескептиков» против «скептиков» ковида, могут заранее и с большой точностью предсказать, что именно и даже как будет написано в поддержку той или иной точки зрения. Новички в споре тоже видят только эти избитые аргументы и с большей вероятностью будут повторять их в потом.
Система располагает к разведению ботов чтобы голосовать за определенные точки зрения.
Ниже я предлагаю идею нового алгоритма для расчета рейтинга комментариев. Алгоритм должен затормозить перечисленные выше процессы (хотя едва ли остановить их полностью).
Переубеждающие комментарии
Идея алгоритма очень проста: сайт должен натренировать ML-систему которая будет оценивать, насколько неожиданно что пользователь проголосовал «за» или «против» определенного комментария. Неожиданный голос должен влиять на рейтинг комментария гораздо сильнее, чем ожидаемый голос.
Неожиданный (но настоящий) голос «за» скорее всего означает, что комментарий содержит интересные аргументы, возможно даже полностью переубеждающие голосующего. Такие комментарии достойны максимального внимания.
Неожиданный голос «против» скорее всего означает грубость.
Если комментарий не содержит явных признаков определенной дискуссионной позиции (таких комментариев большинство), или голосующий почти не голосовал раньше, или голосовал бессистемно, ни голос «за», ни голос «против» нельзя назвать ни неожиданным, ни ожидаемым. Такие голоса стоят в несколько раз меньше, чем неожиданные голоса.
Ожидаемые голоса стоят на порядок или даже два меньше, чем неожиданные.
Как оценить ожидаемость голоса?
Мне кажется, что такую оценку можно сделать даже при текущем доступном качестве sentiment analysis достаточно точной чтобы сделать в целом предложенную систему рейтинга скорее полезной, чем мусорной.
Как @mikhailianзаметил в комментарии, можно обойтись даже кластерным анализом голосов за комментарии внутри хабов, без sentiment analysis вовсе.
Какой же все-таки должна быть формула расчёта рейтинга?
Приступив к задаче разработки алгоритма-формулы расчета рейтинга объектов на сайте, пришел к тому, что задача порядком сложнее, чем может показаться на первый взгляд. Учитывая, что своих знаний явно не достаточно, решил обратиться к сообществу за советом. Собственно задача.
У объекта есть n критериев. Каждый из критериев оценивается по шкале [-5; 5] с шагом 1. Для удобства выполнения расчетов значения могут быть нормализованы к диапазону [-1; 1] с шагом 0,25. Вывод результирующих рейтингов должен выполняться в виде дробных чисел в том же диапазоне [-5; 5]. Оценка пользователя может принимать значение 0 (оценка по критерию не указана). Для каждого из объектов в момент выставления оценок необходимо рассчитывать среднее значение критерия, а так же общее значение рейтинга объекта на основании значений отдельных критериев. В результате выборки объектов они могут сравниваться (сортироваться) как по отдельным критериям, так и по общим рейтингам. При расчете общего рейтинга объекта для каждого из критериев должен использоваться свой весовой коэффициент. Формула должна быть стойка к малому количеству голосов. Формула должна возвращать сравнимые значения по отдельным критериям и общим рейтингам объектов для всех объектов системы.
Механизм расчета рейтинга.
Комментарий: содержит слишком много критериев, как то «оценка службы качества» или «коэффициент качества оценки». Если все их в частном случае принять за 1, то вызывает сомнение эффективность производной формулы
250 лучших фильмов.
Комментарий: такой параметр как «С – среднее значение рейтинга всех фильмов (сейчас: 7.3261)» в моем случае слабо себе представляю каким должен быть, т.к. система новая и на текущий момент статистики нет никакой.
Описание методики расчета «Народного рейтинга».
Комментарий: все то-же значение «C — средний по всем банкам балл засчитанных голосов с учётом фактора времени» с проблемой, как и в пункте выше.
High-Performance Liquidity Compensation Algorithm to Offset Variability in Very Small Sample Sizes.
Комментарий: выглядит вроде убедительно и выбор параметров описан доходчиво. Но в любом случае хотелось бы услышать мнение разбирающихся в вопросе.
В целом от минимального порога голосов за объект хотелось бы если не отказаться вообще, то установить его максимально низким, скажем = 3