Loading
Apple, приложения и сбои в алгоритмах

Apple, приложения и сбои в алгоритмах

29 октября и 18 декабря 2014 года что-то странное произошло с рейтингом лучших приложений на iTunes. Как после землетрясения, все приложения оказались перемешаны, а некоторые вообще вылетели из списка. Нестабильность этих двух дней продемонстрировала изменение положения, гораздо более существенное, чем обычно: многие приложения переместились на другие места, появилась некоторая неуверенность.

Если вы создаёте приложения для устройств на базе iOS, то вы знаете, что успех каждого из них зависит от того, какие ещё приложения находятся в рейтинге. Если вы пользуетесь приложениями для iPhone и iPad, то вы, наверняка, знаете, как сложно разработчикам убедить вас загрузить их приложение. У Apple есть специальный алгоритм, который выявляет лучшие приложения в каждой категории в своём iTunes App Store. Это очень похоже на чёрный ящик. Мы не знаем точно, как это работает, но многие считают, что ключевым фактором, влияющим на положение приложения в рейтинге, является количество загрузок за короткий период времени.
Если группа людей неожиданно загрузила ваше приложение, то его рейтинг сразу растёт, и, в результате, его видит и скачивают большее количество человек. Многие считают, что у лидеров рейтинга может быть несколько десятков тысяч скачиваний в день.

Алгоритм, заложенный в iTunes App Store, может как повысить рейтинг приложения, так и полностью его уничтожить. Если вам повезёт, вы выигрываете, если нет, то игра окончена.

Если подобные дни нестабильности заранее запланированы, то может быть стоит нас предупреждать? Сейчас существует более 9 млн зарегистрированных разработчиков, которые отправляют на iTunes около 1,2 млн приложений. Сбой в алгоритме на Уолл-стрит может привести к убыткам в несколько миллионов долларов. Во сколько обходятся эти сбои iTunes предпринимателям? Эти люди вкладывают много времени и ресурсов в развитие экосистемы Apple. Возможно, компании стоит задумываться об этом, когда она решает проводить эксперименты или А/В тесты?

Apple, приложения и сбои в алгоритмах
Алгоритмические сбои в рейтинге лучших приложений на iTunes в конце октября и середине декабря с точки зрения агрегированной волатильности

Хотя механизм работы этого алгоритма не вполне понятен, результаты его функционирования действительно впечатляют. В своей работе по алгоритмической прозрачности Ник Диакопаулос освещает способы отслеживания внутренней работы алгоритмических систем при помощи наблюдения за входящими данными и результатами.

Анализ этого типа данных даёт нам возможность привлечь к ответственности такие властные системы, как Apple с её алгоритмами.

Возможно, компания Apple не знает об этих сбоях? Может быть, у меня неверные данные? Судите сами. Я знаю ещё одного человека, который жалуется на странные колебания рейтинга, происходящих примерно в то же время, что и я.

ДРУГИЕ ТОЖЕ МАНИПУЛИРУЮТ СИСТЕМОЙ

Выгода того, что приложение занимает высшую строчку рейтинга iTunes, очевидна. А где есть выгода, там всегда есть люди, которые пытаются обыграть систему. Поскольку алгоритм, выводящий приложения в топ рейтинга, в значительной степени зависит от количества загрузок за короткий период времени, то практика бустинга стала довольно распространённой. Тщательно планируя рекламную кампанию и стимулируя загрузки, можно быстро набрать обороты и получить достаточное количество скачиваний за короткий период времени, чтобы вывести приложение на верхние строчки рейтинга. Этот механизм не сильно отличается от Google SEO, в котором достаточно подобрать правильные ключевые слова в нужное время, чтобы сделать ваш сайт более заметным.
На графике ниже показано размещение Beats Music и Soundcloud в рейтинге в марте-июне 2014 года. Чем выше поднимается кривая по оси Y, тем ниже рейтинг этого приложения. Красные вертикальные линии отмечают субботу и воскресение.
Обратите внимание, что положение Soundcloud остаётся относительно стабильным и лишь слегка колеблется в течение недели, а вот кривая Beats Music ведёт себя совершенно иначе. На протяжении марта и апреля рейтинг приложения неуклонно снижается до тех пор, пока оно вообще не вылетает из чарта. Затем в течении нескольких дней оно резко взлетает на пятое место и удерживает его на протяжении 10 дней, потом вновь резко исчезает. Это непохоже на естественное движение в рейтинге приложений, тем более что в это время не наблюдалось выпуска новых продуктов или обновлений.
Это явные признаки бустинга.
Apple, приложения и сбои в алгоритмах
Любопытно, что всего через несколько недель, 28 мая, компания Apple объявила о покупке Beats Music. Время проведения этой кампании прямо перед покупкой кажется подозрительным.
Возможно, они сделали это намеренно, чтобы их оценка M&A была выше, а может быть, это было всего лишь совпадением. Имея доступ к подобной информации, можно было бы призвать Beats Music к ответу.
Apple закрывает глаза на подобные манипуляции.

ТЕПЕРЬ ДАВАЙТЕ ОБРАТИМСЯ К ДАННЫМ

Весь последний год я собирала данные рейтинга iTunes, чтобы понять, как работает его алгоритм. Мы создали и загрузили на Betaworks много iOS приложений. Если бы у нас было больше информации о том, как они ранжируются, то наши решения были бы более обоснованными, особенно при запуске новых сервисов.
Каждый день мой материал попадал на RSS-каналы из различных чартов Apple, а результат сохранялся в базе данных MySQL. Для анализа я буду использовать данные, полученные в марте-мае 2014 года и августе 2014- январе 2015. Из-за этого на графике ниже вы увидите разрыв с июня по август.
Этот набор данных включает в себя 2358 приложений, которые входили в категорию лучших бесплатных приложений на iTunes за 273 дня. Некоторые из них постоянно находились на вершине рейтинга, другие же врывались в него всего на несколько дней.
Например, вот Топ-5 приложений, которые продержались в чарте наибольшее количество дней: LINE, Emoji Keyboard 2, Spotify Music, Vine и Pandora Radio. Список приложений, постоянно присутствующих в рейтинге, выглядит совершенно иначе: InstaCollage Pro, Clash of Clans, Shazam, SoundCloud и RetailMeNot Coupons. А вот самые нестабильные приложения, которые претерпевали самые крутые взлёты и падения: Game of War, NFL Mobile, Dunkin’ Donuts, LinkedIn и Bible.
А вот типичный график для приложений Tinder и Uber, показывающий их положение в чарте.

Apple, приложения и сбои в алгоритмах
Ранжирование Tinder и Uber в рейтинге лучших бесплатных приложений на iTunes.

Несколько замечаний:
• По итогам недели Tinder и Uber показывают противоположные результаты: пока одно приложение на вершине рейтинга, другое располагается в самом низу (Помните: чем выше кривая, тем ниже рейтинг).
• Рождество и День Благодарения — не лучшее время для свиданий с Tinder и поездок на такси с Uber.
• За последний год позиции Uber только укреплялись. Можно предположить, что после негативных отзывов в прессе и угроз о запрете его использования меньше людей будет пользоваться сервисом. Однако он всегда оставался в числе 50 лучших в чарте. Если Uber не платит за своё место в рейтинге, то число новых скачиваний этого приложения ничуть не уменьшается.
• Странная ситуация произошла в конце октября, когда Tinder существенно поднялся в чарте, и в середине декабря, когда оба приложения на один день исчезли из рейтинга. Это и были те самые сбои, о которых мы поговорим позже.
Давайте рассмотрим другой пример.
Apple, приложения и сбои в алгоритмах
Ранжирование популярных приложений для общения в социальных сетях и обмена сообщениями

На примере приложений для общения в соцсетях и обмена сообщениями можно проследить еженедельные колебания в чарте на фоне сохранения среднего рейтинга на протяжении всего времени. LINE, популярное приложение для обмена сообщениями, является исключением, поскольку за весну 2014 года оно продемонстрировало два больших скачка. В середине марта оно вошло в список лучших 50 приложений, а в течение следующих полутора месяцев медленно теряло свои позиции, чтобы в мае вновь вернуться в Топ-50. На это мог повлиять целый ряд факторов.
В середине марта LINE запустило сервис Premium Call, позволяющий пользователям приложения звонить тем, у кого не установлено приложение, по одинаковой цене независимо от того, где они находятся. Всплеск популярности приложения можно объяснить тем, что десятки тысяч пользователей захотели скачать его, чтобы воспользоваться новой функцией. Кроме того, команда по маркетингу приложения LINE применила стратегию бустинга, которая стимулировала загрузки, тем самым повышая рейтинг приложения.
Если мы упорядочим каждый временной ряд в соответствии со стандартной девиацией, то увидим согласованные еженедельные колебания приложений.
Apple, приложения и сбои в алгоритмах
Упорядоченное ранжирование популярных приложений для общения в соцсетях и обмена сообщениям

Viber, WhatsApp, Twitter и Facebook Messenger тесно связаны между собой с точки зрения недельных циклов, демонстрируя лучшие показатели в середине недели, а худшие — в понедельник. У Snapchat и Vine другие, более короткие циклы. Snapchat гораздо чаще используется по выходным, таким образом к понедельнику он попадает на верхние строчки чарта. Это довольно разумно: достаточно пользовательской информации за последние пару часов, чтобы посчитать, на каком месте рейтинга окажется приложение. Если приложение взлетает на вершину чарта по понедельникам, значит в воскресенье его гораздо чаще скачивали.
Таким образом, мы подошли к ещё одному приложению, которое часто скачивают по воскресеньям — Bible (Библия).
Apple, приложения и сбои в алгоритмах
Одно из самых популярных приложений Bible остаётся на верхних строчках чарта в течение всего года. Несмотря на это, некоторые периоды его существования гораздо более нестабильны, чем другие. Как вы видите на графике выше его рейтинг колеблется в соответствии с недельным циклом, где по понедельникам наблюдается самый высокий рейтинг, который означает большое количество загрузок в воскресенье. Неудивительно, что лучший рейтинг приложения наблюдался в Пасху, когда приложение заняло 24 место в чарте. Кроме того, в некоторые периоды мы можем наблюдать рост нестабильности: летом разница в количестве загрузок в воскресенье и в понедельник довольно существенна, меньше людей скачивают Библию в течение недели.

ИСПОЛЬЗОВАНИЕ КОРРЕЛЯЦИИ

Расчёт взаимосвязи между приложениями помогает нам сравнить особенности использования различных мобильных приложений. Корреляция — это мера взаимосвязи между двумя объектами. Чем выше корреляция между двумя приложениями, тем более схожие изменения происходят с их рейтингом в течение недели, тем темнее клетка в приведённой ниже таблице.
Apple, приложения и сбои в алгоритмах
В таблице ясно видно группы приложений с высокой корреляцией (тёмные ячейки таблицы). Диаграммы ниже показывают, почему приложения сгруппированы вместе.

Apple, приложения и сбои в алгоритмах
У приложений Dropbox, Google Drive, LinkedIn и Job Search очень похожие графики колебаний рейтинга.

Apple, приложения и сбои в алгоритмах
У Facebook, YouTube, Instagram и Pandora схожие колебания рейтинга

Apple, приложения и сбои в алгоритмах
Приложения, которые больше всего коррелируются с Библией

Игры — совсем другое дело.
Apple, приложения и сбои в алгоритмах
Взаимосвязанные игровые приложения: запущены примерно в одно время и демонстрируют похожие модели

СБОИ В АЛГОРИТМАХ

Теперь, когда мы ознакомились со всеми данными, давайте перейдём к самой головоломке.
Если мы рассмотрим рейтинг приложения за год, то сможем точно определить те дни, когда происходит что-то странное. И 29 октября, и 18 декабря наблюдалась значительная нестабильность, когда одни приложения вылетели из чарта, другие существенно улучшили свои позиции, а также многие новые приложения попали в рейтинг, но всего на один день. На следующий день порядок был восстановлен.
Apple, приложения и сбои в алгоритмах
Apple, приложения и сбои в алгоритмах
Я провела много часов над этими данными, рассматривая их с разных сторон и пытаясь найти хоть какие-то оправдания этим провалам. Может быть это связано с праздниками? Или с каким-то днём недели? Или это были масштабные одновременные маркетинговые акции? Но этому нет разумных объяснений.

Единственное объяснение этой внезапной нестабильности — это алгоритм.

Она видна особенно отчётливо, если сравнить с предыдущими месяцами.
Мы можем показать волатильность, взяв первую производную наши данных во времени и показав разницу между ней и соседними днями. Это значит, что если во вторник приложение занимало 20 место рейтинга, а в среду переместилось на 35, то его кривая на графике переместилась бы на 15 пунктов. На графике ниже отчётливо видно, насколько стабильная волатильность во всё время, кроме двух конкретных дней.
Apple, приложения и сбои в алгоритмах
Теперь давайте рассмотрим другой параметр — постоянство.
Apple, приложения и сбои в алгоритмах
Мы определяем постоянство количеством дней подряд, когда приложение входило в число лучших в чарте. Рисуя кривую постоянства всех приложений, мы получаем распределение Ципфа, которое также называют длинным хвостом или степенным законов и нередко упоминают в данных социальных систем.
Apple, приложения и сбои в алгоритмах
Если мы увеличим изображение, то увидим форму ступенчатой функции. Большое количество приложений появляются в чарте на 129 дней подряд. Это неестественно и подтверждает наш тезис о том, что здесь работает какая-то автоматическая схема. Мы видим большое количество приложений, которые неожиданно вылетели из рейтинга в одно и то же время. Я видела в прошлом, как подобное произошло с программой-роботом Twitter.
Как ни посмотри на эти два дня, но данные всё равно выглядят странно. Между 17 и 18 декабря почти не было приложений, у которых снизился рейтинг. У половины приложений он повысился, а остальные просто вылетели из чарта. Среди вылетевших оказались Dropbox, Amazon, Google Maps, LinkedIn, LINE, Twitter и WhatsApp, что совершенно нетипично для них.

Apple, приложения и сбои в алгоритмах
Сбой в алгоритме в рейтинге iTunes 18 декабря 2014 года

Их место на один день заняли 88 других приложений, среди которых Fandango Movies, Unroll Me, Bubble Witch 2 Saga, GIF Keyboard, Yahoo и Amex Mobile. Появилось довольно много игр, но это неудивительно. Рейтинг iTunes включает в себя около 20-40% игр. Из-за разбивки по категориям скачки, произошедшие 18 декабря, не очень заметны, хотя некоторое снижение рейтинга приложений для общения в социальных сетях (голубая линия).
Apple, приложения и сбои в алгоритмах

ЭТО ВАЖНО
Анализируя данные мы можем заглянуть в этот чудесный сад iTunes, обнесённый каменной стеной. Чем лучше мы понимаем внутренние механизмы функционирования чартов, тем более предсказуемыми они становятся, тем более правильные решения мы сможем принимать при создании, запуске и рекламировании приложений. Apple владеет этой экосистемой, и мы полностью в её распоряжении.
Тем не менее, чем больше сбоев и странностей мы видим в их алгоритме, тем меньше доверия у нас к этой системе. Вероятно, эту систему уже обыграли, но есть ощущение несправедливости, когда этим механизмом манипулируют прямо у нас под носом. Особенно без предупреждения.
Благодаря подобному анализу данных мы можем призвать Apple к ответу за её предвзятость и недостатки в работе алгоритма, который обладает довольно большой властью и решает, ко будет получать деньги, а кто проиграет.
Google проводит отличную работу, внося изменения в свой алгоритм поиска. Однако, поиск — это основной бизнес компании, которому далеко до Apple с её денежными коровами.
Почти незаметными.