Искусственный интеллект (ИИ) становится все более популярным каналом утечек данных. Согласно данным исследования Harmonic Security, 8,5% запросов сотрудников компаний к ИИ-сервисам содержат конфиденциальные сведения, а нейросеть при подготовке ответов учитывает не только текущий запрос, но и более ранние, сохраненные в базе данных, в том числе от других пользователей сервиса. Компании встают перед выбором: не использовать этот инструмент и терять конкурентные преимущества или допустить использование ИИ и рисковать конфиденциальными данными? Заместитель генерального директора по инновационной деятельности «СерчИнформ» Алексей Парфентьев напоминает об уже случившихся кейсах использования ИИ конфиденциальных данных и пробует разобраться в этой дилемме
Персональные помощники
Количество обращений к ИИ-помощникам растет. Их используют для решения рутинных задач. Сотрудники с помощью ChatGPT и прочих генеративных ИИ-инструментов редактируют и создают изображения, пишут тексты, составляют планы, собирают прогнозы и пр. Преимущество ИИ-сервисов в том, что они быстро выдают готовое решение в нужном формате — диплом, пресс-релиз, оптимизированный программный код и т.п.
Чтобы получить максимально точный ответ, сотрудники «сгружают» в сервис корпоративную информацию: аналитику, документы, фрагменты кода, готовые программы, презентации и пр. По данным исследования Harmonic Security, сотрудники чаще всего загружают на обработку данные клиентов, информацию о сотрудниках, юридические и финансовые данные, данные для авторизации и конфиденциальный программный код. Так повышается качество ответа от ИИ, но страдает информационная безопасность компании.
Telegram-канал Forbes.Russia Канал о бизнесе, финансах, экономике и стиле жизни Подписаться
ИИ делится секретами
Компания Samsung, одной из первых встроившая ChatGPT в свои бизнес-процессы, может считаться пионером и по утечкам корпоративных секретов через этот канал.
Одним из первых в 2023 году ноу-хау слил специалист отдела по исследованию полупроводников. Загружая данные в корпоративную базу, он столкнулся с проблемой, связанной с исходным кодом вводимой информации. Менеджер поручил чат-боту исправить капризный код. Так наработки Samsung пополнили базу данных американской Open AI и оказались доступными другим пользователям ChatGPT. Корейская компания проанализировала последствия, ввела ограничения на размер запроса к ChatGPT и попросила сотрудников следить за тем, что они загружают и что спрашивают у ИИ. Но утечки продолжились.
Следующая случилась в отделе разработок. Сотрудник решил проверить через ChatGPT качество кода созданной программы. В итоге код стал доступен не только конкурентам, но и попал в СМИ. Это нанесло удар по репутации и Samsung, и ChatGPT. Но и тогда компания от ИИ-помощника не отказалась. Ему поручили составить протокол корпоративного совещания. И вновь (никогда не было, и вот опять) информация стала частью базы знаний системы ИИ.
Это стало последней каплей, и в мае 2023 года корейская компания ввела запрет на использование генеративного ИИ. А уже в июле того же года ее примеру последовали крупные мировые банки: Bank of America, Commonwealth Bank of Australia, Citigroup, Deutsche Bank, Goldman Sachs Group, Wells Fargo и JPMorgan Chase.
ИИ нарушает права доступа
По данным SkyPro, 65% компаний, пользовавшихся корпоративным чат-ботом Copilot, столкнулись с нарушением прав доступа. Загруженная в ИИ-помощник информация — целые документы ограниченного доступа и конфиденциальные данные из них — попадала в обучающую базу ИИ и становилась доступна всем пользователям корпоративного чат-бота. В общий доступ, в частности, попала конфиденциальная переписка топ-менеджеров. Разработчик пообещал выпустить обновления, которые должны были решить проблему. Однако в 2024 году ИИ-помощник для бухгалтерии Sage Copilot, получив запрос о выставленных счетах, вложил в ответ не только нужные сведения об этих документах, но и не входящие туда конфиденциальные данные клиентов компании, включая их учетные записи.
Корпоративные секреты из ИИ-сервиса могут утечь вовне: в глобальную сеть, к конкурентам, в СМИ. Или из-за нарушения прав доступа попасть не к тем сотрудникам внутри компании. В последнем случае не поможет даже локально установленный пакет программного обеспечения.
ИИ собирает пассивный след
Разработчики ИИ-помощников заранее предупреждают о том, что собирают данные пользователей. Рекомендуют не вводить ничего слишком личного и конфиденциального. Для тех, кто поспешил и жалеет об этом, некоторые сервисы (как ChatGPT) предоставляют инструменты для очистки истории чата. Но она удаляется не мгновенно. Одни сервисы обещают стереть ее за 72 часа, другие — в течение месяца.
Но не все пользователи знают, что, помимо «активного следа» — вводимой человеком информации, собирается и «пассивный след»: данные об IP-адресе, «железе» и ПО устройства, с которого подключился пользователь, его местоположение. Эти сведения, которые можно впоследствии выведать у ИИ, используются для целевых атак. Киберпреступники узнают о корпоративной IT-инфраструктуре жертвы и ее уязвимых местах.
ИИ крадет
ИИ-сервисы «заимствуют» человеческую интеллектуальную собственность и модифицируют ее. Контент, созданный человеком, может использоваться не только «для обучения» нейросети, но и для увеличения трафика и монетизации подобных проектов.
Например, ИИ от проекта Perplexity украл несколько авторских материалов Forbes. Статьи даже не сильно отредактировали. В одной из подделок осталась оригинальная иллюстрация из исходного материала. Редакция возмутилась, но в ответ на претензии вместо извинений получила благодарность от Perplexity за содействие в развитии ИИ-сервиса.
Разрешить нельзя отменить
Растут интерес и риски от применения технологий ИИ. Как действуют в данной ситуации регуляторы и пользователи?
Слишком быстрый вывод ChatGPT на рынок удивил как конкурентов, так и регуляторов в разных странах. Разработчиков попросили «притормозить», угрожая буквально концом света при бесконтрольном распространении ИИ. Вспомнить хотя бы меморандум-предупреждение Илона Маска. Регуляторы в Канаде, Италии, Германии инициировали расследования и проверки соответствия ChatGPT местному законодательству по защите персональных данных.
Законодатели постарались описать национальные стандарты «безопасного» ИИ. Первый серьезный шаг сделал Китай, где с января 2023 года вступил в силу закон о безопасном применении ИИ. Спустя полгода после этого в США президент Джо Байден подписал похожий указ. В Европе Регламент об ИИ приняли в 2024 году. Пока эти документы определяют общее направление, основа которого — подотчетность разработчиков, провайдеров ИИ-сервисов и пользователей перед национальными регуляторами. В России правила безопасной разработки и использования ИИ зафиксировали в обновленной в 2024 году Стратегии развития искусственного интеллекта.
В США в процессе создания национальных стандартов безопасной разработки и внедрения ИИ используют наработки коммерческих компаний, например платформу безопасного искусственного интеллекта Google (SAIF). SAIF помогает учесть риски ИИ: кражу моделей обучения, искажение информации, внедрение вредоносных данных и пр. Для решения этих же проблем используется государственная Платформа управления рисками искусственного интеллекта Национального института стандартов и технологий NIST.
Пользователи справляются с рисками ИИ собственными силами. Обмениваются советами по удалению истории ИИ-чатов. Компании внедряют регламенты по использованию (или запрету на использование ИИ) и системы контроля за исполнением этих регламентов. Применяют DCAP-системы (Data-Centric Audit and Protection), «запрещающие» сотрудникам использовать конфиденциальные документы на уровне доступа к файлам. И DLP-системы (Data Loss Prevention, софт для защиты компании от утечек), которые отслеживают попытки сотрудников обойти запреты, например ввести данные вручную или голосом.
«Красная кнопка» для «черного ящика»
Всемирная гонка ИИ только усиливается. В 2025 году китайский стартап выпускает на глобальный массовый рынок ИИ-помощника DeepSeek, успех которого привлек, по данным Bloomberg, на китайский рынок $1,3 трлн инвестиций. Илон Маск не сдается и считает лучшим ИИ свой проект Glok 3. Инвестиции в американские ИИ-проекты оцениваются в сотни миллиардов долларов. В России идет развитие сразу нескольких коммерческих и государственных нейросетей.
Одновременно возрастает ответственность разработчиков ИИ-решений, провайдеров ИИ-услуг и пользователей. Например, в КНР использование ИИ уже признается отягчающим обстоятельством. В России на законодательном уровне для субъектов критической информационной инфраструктуры (КИИ), использующих ИИ, уже обсуждается необходимость наличия «красной кнопки» — для аварийного отключения ИИ. Помимо этого, на значимых объектах КИИ, где задействован ИИ, целесообразно иметь «черный ящик» — базу, где будут храниться данные о решениях, принятых нейросетями. Эту информацию можно будет использовать при расследовании инцидентов. Уже созданы и актуализируются регламентирующие документы по обезличиванию данных, которые используются для обучения нейросетей.
Таким образом, организациям, использующим нейросети, для снижения рисков утечек данных и выполнения все более строгих норм законодательства придется гораздо жестче контролировать контент, который сотрудники отдают на обработку в ИИ-системы.
Мнение редакции может не совпадать с точкой зрения автора
Источник: www.forbes.ru
