AIセキュリティとは？業務活用に潜むリスクとその対策

多くの企業が生成AIの導入を急ぐ一方、情報システム部門はセキュリティ対策に追われています。経営層や事業部門の間で高まる「攻めのAI活用」への期待、生成AI活用がもたらした新たなセキュリティリスクから組織を守る責務。この板挟みで対応に追われる担当者も少なくないでしょう。

経営層は「AI活用」を号令しても、そのリスクを可視化するためのセキュリティ投資には消極的です。一方、従業員はIT部門の許可なくAIのSaaSを使い始めるなど、セキュリティ対策なしに気軽にAIを利用できる環境こそが、AI時代における新たな脅威です。

この状況を打開するのが「AIセキュリティ」という考え方です。AIセキュリティには大きくLLM※そのものに対するセキュリティと、その利活用にともなうセキュリティがあります。

※LLM（Large Language Models）：「大規模言語モデル」のことで、自然言語処理に特化した生成AIの一種

本記事では、AIセキュリティとは何か、求められる背景やインシデント事例、具体的な対策について解説します。

AIセキュリティとは、生成AIに関するセキュリティリスクとその対策のことです。普段使っているWebサービスやアプリと同様に、AIシステムにも脆弱性が存在し、悪意ある攻撃者がそれを悪用する可能性があります。

近年、AIが社会に深く浸透するにつれて、そのセキュリティ対策の重要性はますます高まっています。

国際的な非営利団体「OWASP（Open Worldwide Application Security Project）」は、生成AIの10大リスクとして「OWASP Top 10 for LLM」を挙げています。これは、大規模言語モデル（LLM）といった生成AIに特化した、10大セキュリティリスクをまとめたものです。

AIセキュリティにおけるリスクは、「生成AIそのものへのリスク」と「生成AIの利活用にともなうリスク」の2つのカテゴリに分類できます。

まずは、この2つのリスクについて解説します。

参照：https://genai.owasp.org/llm-top-10/

生成AIそのものへのリスク

生成AIそのものへのリスクとは、生成AIモデル自体やその開発・運用プロセスにおいて発生しうるリスクです。主なリスクとして、上記10項目のうち下記の6項目に分類できます。

• プロンプトインジェクション
• データとモデルの汚染
• サプライチェーン
• 不適切な出力処理
• ベクトルと埋め込みの弱点
• 無制限消費

たとえば、プロンプトインジェクションは悪意のあるプロンプトを入力することで、生成AIに不適切な回答を生成させるものです。いずれも生成AIモデルそのものへ影響するタイプの脅威であり、使用することで何らかのリスクが発生します。

生成AIの利活用にともなうリスク

生成AIの利活用にともなうリスクとは、生成AIサービスを利用する際に発生するリスクです。生成AIの利活用にともなうリスクとして、下記の4項目が挙げられます。

• 機密情報開示
• 過剰な代理権
• システムプロンプトリーク
• 誤情報

生成AIは、ユーザーが入力した情報を学習に利用することがあります。意図せず機密情報を入力してしまうと、それが外部に公開されてしまいかねません。

たとえば、機密性の高い社内会議の議事録を生成AIにアップロードして要約しようとした場合、その内容が学習データとして利用され、別のユーザーへの回答に一部含まれてしまう可能性があります。

また、システムプロンプトリークというリスクとは、AIを特定のタスクに回答させるための「設定情報」が、意図しない形で外部に漏れてしまうことです。この設定情報には、企業の機密情報や独自の資料などが含まれることがあり、流出した場合、大きな問題に発展する可能性があります。

本稿ではおもに、生成AIの利活用にともなうリスクについて解説していきます。

AIセキュリティが重要視されているのは、生成AIそのものが普及しているという理由だけではありません。ここでは、AIセキュリティが重要視されている背景を詳しくみていきます。

SaaS利用の拡大

AIセキュリティが重要視されている背景には、SaaS利用の拡大があります。

企業がSaaSを導入する動きは年々加速しており、総務省の「令和5年版情報通信白書」によると、すでに企業の約72%がSaaSを利用していると報告されています。これは2022年のデータであるため、現在はさらにこの割合が増えていると考えられるでしょう。

とくに、新型コロナウイルスの影響や多様な働き方の推進によるリモートワークの普及が、SaaS利用拡大を大きく後押ししました。

当然ながら、これらのSaaSにはChatGPTのような生成AIサービスも含まれています。多くの企業が業務効率化のために生成AIツールを導入し、それを社員が生成AIを利用しているつもりではなく、「クラウドサービスのひとつ」として日常的に利用するようになりました。

社内の機密情報や個人情報など、さまざまなデータがSaaSにアップロードされる機会が増えるにつれ、情報漏洩や不正利用といった新たなセキュリティリスクも増加しているのです。

参考：総務省「令和5年版情報通信白書」

次世代型ファイアウォールやSASEの限界

クラウドやSaaSの利用が拡大するにつれて、従来のセキュリティ対策だけでは不十分なケースが増えています。なかでも、次世代ファイアウォール（NGFW：Next-Generation Firewall）やSASE（Secure Access Service Edge）といった、クラウド時代に対応したセキュリティソリューションだけでは、生成AIのリスクに対しては限界が見え始めています。

たとえば、SASEソリューションはSaaSの利用を認可・制御する機能を持ちますが、その対象は事前に定義されたサービスに限られるのが一般的です。しかし、ChatGPTをはじめとする生成AIサービスは、非常に速いスピードで新しいサービスが生まれ、増え続けています。

結果として、NGFWやSASEがまだ識別・評価できていない新たな生成AIサービスを、従業員が自由に利用してしまうという事態が起こり得ます。これらのセキュリティ境界をすり抜けて、シャドーITとして生成AIが利用されるケースも少なくありません。

生成AIのセキュリティを確保するには、従来の境界防御だけでなく、より進化したアプローチが必要とされているのです。

シャドーITのリスク

セキュリティ対策を講じる上で、「シャドーIT」という問題も見過ごせません。シャドーITとは、従業員が会社の許可を得ていない端末やソフトウェア、SaaSなどを業務に使用することを指します。

帰宅後に個人所有のスマートフォンやPCから、会社で契約している生成AIアカウントにログインして業務を継続するといったケースは、シャドーITの一例です。

この場合、会社のセキュリティ対策が施されたネットワークの外で業務が行われるため、その通信内容を企業が監査したり、制御したりすることが極めて困難です。

シャドーIT環境で機密情報を含むデータを生成AIにアップロードした場合、そのデータが外部に漏洩したり、悪用されたりするリスクが高まります。

ここでは、実際に発生した生成AIやSaaS利用におけるセキュリティインシデントの事例をご紹介します。いずれもSaaS利用によるものであり、どの組織でも起こり得るインシデントといえるでしょう。

事例①生成AIによる情報漏洩

社外に出てはいけない情報をChatGPTに入力し、第三者へ情報が流出する可能性が生じた事例です。入力したデータは外部のAIサーバーに送信・保存されるため、実質として外部に流出したと捉えられます。

事例②不正アクセスによる情報持ち出し

自宅のPCから、元同僚の認証情報を使用して前職のデータベースにログインし、一部の社員しかアクセスできない機密性の高い情報を持ち出した事例です。

企業が休みとなる土日にアクセスを繰り返しており、単一アカウントからの多数アクセスが異常として検知され、インシデントが発覚しました。

生成AIを狙ったものではありませんが、SaaS利用によるリスクの一端であり、生成AIを利活用する上でも不正アクセス対策は必要となります。

事例③シャドーIT環境での情報漏洩

重要データを個人契約のクラウドサービスに保存していた対象者が、フィッシング詐欺の被害に遭い、保存されたデータが閲覧可能になってしまった事例です。

本来個人契約のクラウドサービスに保存してはならない情報を保存していたこと、そしてそのクラウドサービスが組織の許可していない「シャドーIT」であったことが大きな要因です。

悪意なく外部にデータを保存している場合にも、こうしたリスクがあることを理解した上で、情報の取り扱いに十分に注意する必要があります。

生成AIは業務の効率化や品質向上に役立つツールである一方、多くのセキュリティリスクが潜んでいます。

ここでは、AIセキュリティを高め、利活用を推進するための対策について解説していきます。

ガイドラインやポリシーの策定ならびに教育

経済産業省のAI事業者ガイドラインでは、AIの安全な利用に向けて、以下の項目に取り組むべきとされています。

これらを組織全体で実践するためには、明確なガイドラインやポリシーを策定し、従業員への教育を徹底することが不可欠です。

参考：AI事業者ガイドライン
https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/20240419_report.html

セキュリティ対策のための仕組みの導入

経済産業省のガイドラインでは、上記の原則に加え「セキュリティ対策の実施」が掲げられています。どれだけ厳格なポリシーを定めても、それを定着させ、監視する技術的な仕組みがなければ、安全な利用環境が整備されたとは言い難いでしょう。

企業全体でAIガイドラインやポリシーを策定し、外部環境の変化にともなうリスク分析を継続しつつ、それらが機能しているかを評価しながらAIを運用していくことが重要です。

生成AI時代においては、具体的にどのような仕組みを整える必要があるのかを次章でみていきます。

クラウドやSaaS、生成AIの利活用においては、従来のSASEやNGFWに加え、SWG（Secure Web Gateway）とCASB（Cloud Access Security Broker）が有効です。

それぞれの特徴はベンダーによって異なる場合もありますが、一例として以下にまとめています。

SWGやCASBを活用することで、SaaSの利用状況を把握したり、脅威を検出したりできます。

SWGとは

SWG（Secure Web Gateway）とは、企業や組織が利用する「インターネット経由のアクセス」を安全にするためのセキュリティソリューションです。Webアクセスを中継するプロキシ※の一種で、危険なサイトやコンテンツへのアクセスを遮断する機能を持ちます。

※プロキシ：利用者とインターネットの間に入り、中継や代理の役割をするサーバー

SWGが持つ主なセキュリティ機能は、以下の通りです。

生成AIの利用におけるセキュリティ対策

生成AIの利用においては、社員教育や告知で生成AIの利用ルールを定めることは可能ですが、それだけでは防げないリスクもあります。

プロンプトの文字列や添付されたファイルの内容を可視化して制御することが困難なのは、その一例です。たとえば、生成AIに議事録を作成してもらうために社内会議の録音データを添付することは、機密情報漏えいのリスクがあります。

通常はこうした操作の制御ができませんが、SWGであればプロンプトやファイルの内容を可視化できるため、機密情報アップロードを制御できます。

SWGでは、生成AIにアップロードする内容を精査した上で操作を制御できるため、情報漏洩対策に有効です。

CASBとは

CASB（Cloud Access Security Broker）とは、SaaS利用時のセキュリティを仲介・管理する仕組みです。数十種類の特定のSaaSアプリとAPI連携して利用でき、「誰が・どの端末から・どんな操作をしているか」を監視・制御し、一括管理する役割を持ちます。

CASBができること

CASBでは、API連携によって複数のSaaSでのアクティビティを一元監視し、異常を検知できます。利用するSaaSやユーザー数が多いほど、SaaSの監視は労力が大きく、異常を見落とすリスクも高くなるでしょう。

たとえ利用SaaSごとに担当者を決めて監視することで対応できたとしても、運用の属人化のようなリスクも発生します。

CASBであれば、利用するSaaSの監視を一元化でき、インシデントの兆候を未然に検知可能です。不審な行動があれば操作も制御できるため、シャドーIT対策も含めしっかりと情報漏洩リスクを低減できます。

SWGやCASBの導入によって、SaaSや生成AI利用時のセキュリティを向上させる効果が期待できます。しかしながら、それでも各部署からの問い合わせ対応や企業内のシステム運用など、IT部門は多忙を極めているのが現状ではないでしょうか。

ＪＢＣＣの「マネージドサービス for CASB Plus」は、運用付きのセキュリティサービスです。マルチクラウドの知見を持ったメンバーが、構築から運用までフルサポート。ゲートウェイ、クラウドアクセス、エンドポイント、ID認証などの複数のサービスを組み合わせたマネージドサービスの提供が可能です。

各種生成AIのリスクや利用状況を可視化できるため、リスクを未然に抑えられます。

「マネージドサービス for CASB Plus」については、下記のページで詳しく紹介しているため、ぜひチェックしてみてください。

本記事では、AIセキュリティの種類や重要性、具体的なリスクや対策について解説しました。

AIセキュリティは「生成AIそのものへのリスク」と「生成AIの利活用にともなうリスク」に分けられます。SaaSやシャドーITの普及により、機密情報の漏洩や不正アクセスなどのリスクが増加。これに対し、従来のNGFWやSASEといった対策だけでは不十分なケースも増えています。

AIセキュリティを強化するには、ガイドラインの策定に加え、SWGやCASBといったセキュリティソリューションを導入し、技術とルールの両面から安全な利用環境を整備することが重要です。

ＪＢＣＣでは、生成AIの活用に潜むリスクに対する包括的なアプローチが可能です。これからSaaSや生成AIの利用拡大を進めていきたい、現状のセキュリティ対策に懸念がある場合には、お気軽にＪＢＣＣにお問い合わせください。AIセキュリティに関するセミナー動画もご用意していますので、ぜひご覧になってください。

マネージドサービス for CASB Plus

各種生成AIサービスのリスク詳細や社員の利用状況を可視化しDLP機能で機密情報のキーワードを検出してアップロード遮断を行うことで、安全な利用を促進します。

詳細を見る

見逃し配信

クラウドセキュリティにおける検討すべきポイントとは？～AIをセキュアに活用するための有効なSWG/CASB対策について～

視聴する

解説動画

【インタビュー】レガシー組織から脱却！ゼロトラスト時代、本当に信用できるSASEの運用

視聴する

資料ダウンロード

ゼロトラスト時代のクラウドセキュリティ：SASE/CASB/SWGによる包括的アプローチ

資料をダウンロードする