В группах «ВКонтакте» появился специальный фильтр для выявления враждебных высказываний

Сейчас алгоритмы умеют определять прямые угрозы — пожелания смерти, обещания причинить вред здоровью и угрозы расправы. В будущем он сможет научиться распознавать и другие признаки нетерпимости, например, травлю по национальной или религиозной принадлежности.

Как отмечается в пресс-релизе, руководителям сообществ доступны отфильтрованные публикации с возможностью их восстановить, однако тестовый запуск показал, что отсеянные комментарии возвращают лишь в 1% случаев.

Тестирование фильтра было запущено в ноябре 2020 года. За этот период функцией уже воспользовались руководители свыше 10% всех сообществ «ВКонтакте» — это 13 млн публичных страниц, групп и мероприятий. Администраторы сообществ оценили работу нейросети — среди подключивших фильтр комментариев от него впоследствии отказались лишь 1,8%.

Для создания алгоритмов, которые хорошо понимают разговорную речь, использовалось большое количество текстов на русском языке, например, субтитры из фильмов, сериалов и видео. Нейросеть содержит в себе специальный механизм внимания, позволяющий принимать решения на основе важности слов и их комбинаций. Разработчики изучают логику принятия решений — это позволяет исправлять ошибки, учитывать контекст и эффективнее обучать алгоритмы. Сейчас нейросеть правильно определяет угрозы в 80% случаев, и команда продолжает работать над ее улучшением.