І блокування цих даних в режимі реального часу.
Нові інструменти безпеки, анонсовані Microsoft, вбудовуються в платформу для розроблення ШІ Azure AI Studio. Вони містять «prompt shields», призначення яких – виявлення і блокування так званих «атак з використанням підказок» – навмисних спроб змусити модель ШІ «поводитися» непередбачувано.
Microsoft також бореться з «indirect prompt injections» – шкідливими інструкціями, що їх хакери інтегрують в дані, на яких навчається велика мовна модель, в такий спосіб змушуючи її виконувати різноманітні незаконні дії, як-от крадіжка особистої інформації або атака на комп’ютерну систему.
Компанія наполегливо працює над підвищенням довіри як приватних, так і корпоративних клієнтів до своїх генеративних інструментів ШІ, тож на додачу обіцяє ще й впровадження функції попередження – якщо модель ШІ щось вигадує, або видає помилкові відповіді, користувач знатиме про це. У лютому, після розслідування інцидентів, пов’язаних з чатботом Copilot, який видавав дивні та шкідливі відповіді, компанія заявила, що користувачі навмисне намагалися обдурити Copilot і змусили його генерувати хибну інформацію.
