Спам-фільтр на основі RETVec ефективніше виявляє шкідливі листи.
Компанія Google представила RETVec (Resilient and Efficient Text Vectorizer) – новий багатомовний класифікатор тексту, за допомогою якого можна виявляти спам і потенційно шкідливі листи у Gmail.
RETVec навчений стійкості до маніпуляцій на рівні символів, включно зі вставками, видаленнями, друкарськими помилками, гомогліфами, заміною LEET тощо. Модель RETVec навчається на основі нового кодувальника символів, який може ефективно кодувати всі символи та слова UTF-8.
Опис проєкту на GitHub
Великі платформи, на кшталт Gmail і YouTube, використовують моделі класифікації тексту для виявлення фішингових атак, недоречних коментарів і спроб шахрайства. Однак зловмисники розробляють контрстратегії, щоб обходити захист. Поміж них – маніпуляції текстом, зокрема використання гомогліфів, ключових слів та невидимих символів. RETVec, який вже може працювати на понад 100 мовах, має допомогти у створенні стійкіших до відмови та ефективніших класифікаторів тексту і на сервері, і на пристрої користувача.
У Google заявили, що інтеграція RETVec у Gmail підвищила рівень виявлення спаму на 38% як порівняти з базовим, знизила рівень хибних спрацьовувань на 19,4 %, використовуючи на 83 % менше обчислювальних ресурсів. Крім того, компанія надала іншим розробникам відкритий доступ до RETVec.
