SQLITE NOT INSTALLED
Ежедневно миллионы детей сталкиваются с негативными ситуациями в социальных сетях, которые при желании можно бы было предотвратить. Но почти весь этот вред — 99,98 процента — не устраняется существующим подходом подачи жалобы в соответствующие службы (администрация соцсетей или правоохранительные органы). У компаний, работающих в сфере социальных сетей, есть технологии и опыт, позволяющие понять и значительно уменьшить вред, причиняемый молодым людям, сохраняя при этом позитивные аспекты онлайн-общения. К сожалению, в последние годы руководители компаний, владеющих соцсетями, не берут на себя ответственность за вред, который причиняют и усиливают их цифровые сервисы. Вместо этого, похоже, их целью в сфере безопасности стало инвестирование в маркетинг и PR, а также попытка создать дискуссию, которая игнорирует или преуменьшает вред, причиняемый детям. Они не обеспечивают той прозрачности, которую родители и несовершеннолетние заслуживают. Вместо этого платформы создают несовершенные функции безопасности, которые создают лишь иллюзию/имитацию безопасности.
В наш век технологических чудес большинство взрослых почему-то смирились с тем, что для 13-летнего подростка доступ к социальным сетям означает, что вред, который он испытывает, — это плата за пользу, которую он получает от этих сервисов. Когда родители дают своим детям телефон, они должны понимать, насколько высока вероятность того, что их дети столкнутся с домогательствами разного рода, станут объектом ненависти, подвергнутся жестокой травле или столкнутся с потоком контента, который заставит их плохо относиться к своему телу. Родителям важно осознать, что сегодня детям не предоставляются эффективные инструменты для борьбы с тревожным контентом, для сообщения о неподобающем контакте или для управления своим временем/вниманием, независимо от того, насколько плохо для него обстоят дела.
Модерация контента необходима, но недостаточна. Это не тот способ, которым решаются подобные проблемы — как правило, подход большинства корпораций цифровой экосистемы к причинению вреда основан на том, что модерация контента должна соответствовать какому-то объективному определению этого термина. Реальный личный опыт людей – это главный фактор. Ведь сам человек не «воспринимает» факт преследования, а он его переживает, даже если независимый наблюдатель не сочтёт его содержание явно вредным. В одной известной отечественной соцсети, например, есть два примера кнопок-плацебо: «Не интересно» и «Пометить как спам». Но в течение многих лет клики по таким кнопкам попросту игнорируются системой, то есть нажатие на них не предотвратило рекомендации нежелательного материала.
Тем не менее, можно разработать инструменты, соответствующие сочетанию опыта, содержания и контекста. Эффективность этих инструментов безопасности следует оценивать с точки зрения снижения вреда, причиняемого людям. Важно устанавливать цели, исходя из этих категорий.
У программистов, разработчиков и инженеров, всегда были инструменты и методы, позволяющие значительно лучше понимать и снижать уровень угрозы (достаточно посмотреть на прогресс, которого они достигли в области защиты серверов и потребительских девайсов, а также борьбе со спамом). Это образ мышления, который определяет другой подход к работе, не требует значительных новых инвестиций в проверку контента или инфраструктуру. Разработка систем безопасности заключается в правильной стратегии, сборе нужной информации и создании системы, включающей эффективные механизмы обратной связи.
Ключевое различие между безопасностью и защищённостью заключается в том, что при проектировании с упором на второй фактор, обратная связь от пользователей является неотъемлемой частью проектирования всей архитектуры. При проектировании социальных систем создатели должны рассматривать безопасность, как учёт мнения людей и их реакции на происходящее в процессе функционирования. Если вдумчиво, целенаправленно провести опросы подростков о категориях вреда, то можно быстро найти конкретные примеры для каждой из упомянутых категорий:
1.) Нежелательные сексуальные домогательства — комментарии к постам или личные сообщения с намёками/просьбами об интимной близости, непристойные изображения — иногда от незнакомцев, иногда от людей из их социального круга.
2.) Для детей, которые становятся жертвами травли, это могут быть завуалированные комментарии, оскорбления, различные вариации уничижительных высказываний, комментарии, которые по контексту вызывают глубокое эмоциональное потрясение.
3.) Материал содержит фото или видеоматериал с жестокими сценами, где люди прыгают со зданий, попадают под машины, ударяются о борта бассейнов или друг о друга, при этом явно ломаются кости, но без кровавых сцен.
4.) Контент, провоцирующий расстройства пищевого поведения – например, изображения, которые провоцируют чрезмерное изменение конституции тела (с намёками на то, что человек слишком толстый или худой) – такие рекомендации, к сожалению, встречаются в обыденной жизни сотни и тысячи раз не только в интернете.
5.) Изображения, сопровождающиеся пояснениями (надписи, стихи, проза) и о том, как миру было бы лучше без тебя.
6.) Эпистолярные или графические описания унизительных/унижающих действий или переживаний (в том числе сексуальный контент без обнажения или с использованием карикатур), которые с энтузиазмом подают этот опыт, как позитивный.
Общим для всех этих примеров является то, что контент разработан таким образом, чтобы обходить модерацию. В видеороликах со сломанными костями не показано крови или жестокости. В видеороликах сексуального характера не показаны интимные части тела. Важно понимать и иметь в виду, что, если один фрагмент сам по себе не кажется слишком плохим, но может произойти непоправимое, когда ребёнку постоянно демонстрируются сотни или тысячи подобных фрагментов определённого типа.
Ключевое заблуждение здесь заключается в том, что вредные переживания затрагивают только уязвимых детей. Все мы в подростковом возрасте переживали моменты уязвимости: расставание, комментарий по поводу внешности, ссора с другом, конфликт с коллективом и т.п. При общении с детьми, пережившими подобное, или родителями детей, которые умерли, либо попали в больницу, становится ясно, что это может случиться с любым. Именно поэтому так важно создавать достаточно безопасные фильтры, которые бы отсеивали любой, потенциально неприемлемый для неустойчивой детской психики, контент.
Нынешний алгоритм рекомендаций в его нынешнем виде поощряет это и недостаточно хорошо справляется с разделением материала, который можно рекомендовать взрослым, но не следует рекомендовать подростку. Хуже того, современные алгоритмы замечают, когда человек проводит время за просмотром такого контента, и чрезвычайно эффективно рекомендуют похожий. Основные функции разрабатываются и оцениваются таким образом, чтобы пользователи проводили за ними время, чтобы вовлекать пользователей. Нет верхнего предела времени, проведённого несовершеннолетним за просмотром негатива, и нет возможности измерить, приносит ли это пользу или вред ребёнку. Наоборот, опросы показали, что подростки чувствуют себя бессильными перед рекомендациями, которые им подают в ленте.
Вред, причиняемый в интернете, может быть гораздо более значительным по трём причинам: устойчивость, распространение и масштаб. Хотя некоторые маркетологи стараются пропагандировать утверждения о том, что травля в школе равнозначна травле в интернете, или что изображения красоты в журналах и на телевидении — это то же самое, что бесконечный поток материалов, пропущенных через «фильтры красоты». Ситуация совершенно иная, когда кто-то делает человеку уничижительный комментарий, который слышат лишь несколько человек окружения, по сравнению с ситуацией, когда кто-то публикует материал подобного рода, но который может увидеть вся школа за считанные минуты.
Итак, что же разработчики и программисты могут сделать в этой ситуации? Первый шаг к уменьшению вреда — это понимание его с точки зрения человека, который его испытывает. Второй — это сбор и анализ данных, касающихся проблемы, которую необходимо решить. В процессе этого обнаружится множество способов его уменьшения и измерения эффективности этих изменений.
Такой подход необходим, но недостаточен, и к нему нужно подходить с осторожностью. Системы, которые в основном полагаются на принудительное исполнение, одновременно несут риски чрезмерного исполнения (удаление контента, который не должен быть удалён) и недостаточного исполнения (разрешение и распространение тех материалов, которые, наоборот, должны быть удалены). Если инструменты безопасности включают в себя принудительное исполнение, важно измерять как его, так и чрезмерное исполнение, поскольку измерение только одного из них неизбежно приводит к значительным проблемам.
Самое поразительное, что большинство ситуаций (включая самые серьёзные, даже криминального характера), объективно не нарушают политику в отношении контента — они, в основном, состоят из комплиментов. К таким случаям относятся, например, шантаж с использованием интимных фотографий или склонение несовершеннолетних к противоправным или интимным действиям. Многие способы завязать разговор могут быть контекстуальными: обсуждение школьных проблем, интересы, культура, сленг и т. д. То есть большая часть вреда, причиняемого подросткам в результате контактов и контента, не выиграет от резкого усиления модерации или проверки контента. Это прекрасная возможность для разработчика по внедрению инноваций, но тут необходимо понимание сочетания контактов/контента, пользовательского опыта/реакции, серьёзности/интенсивности и предпринятых действий.
При этом крайне важно иметь эффективную систему отчётности, под которой подразумеваются хорошо организованные механизмы обратной связи и ведения логов. Эффективность отчётности можно оценить, задав выборке пользователей следующие вопросы:
— Вы смогли сообщить нам, что произошло?
— Вы смогли сообщить нам, насколько серьёзным или тяжёлым было это событие?
— Удалось ли службе поддержки оказать вам помощь в решении возникшей проблемы?
Оказание немедленной помощи и поддержки имеет решающее значение для снижения вреда в случаях преследования, травли, попыток склонения к сексуальным действиям или членовредительству и других подобных ситуациях. Но есть нюансы: например, подростки не любят нажимать на слово «Сообщить», так как думают, что это может доставить неприятности им, их близким или друзьям. Поэтому лучше протестировать различные другие варианты. Возможно, что лучшим решением будет использовать формулировки, соответствующие тому, как подростки описывают проблемы, с которыми они сталкиваются.
Эффективная система информирования является одним из важнейших механизмов выявления — при правильной реализации она должна быть привлекательной для подростка и одновременно фиксировать множество сигналов, которые затем могут быть использованы другими системами для упреждающего выявления и предотвращения вреда. На каждом этапе этот подход создаёт высококачественный сигнал для всех остальных систем обеспечения целостности, который затем можно очень эффективно использовать для выявления аналогичных злоумышленников.
