企業のAIセキュリティ対策とは？生成AI利用の5大リスクと今すぐ行うべき対策7選

「生成AIを業務で使い始めたけれど、情報漏洩やなりすまし詐欺のニュースを見て不安になった」 「AIセキュリティ対策として、何から手をつければいいのか分からない」

このような悩みを抱える情報システム担当者やDX担当者の方は多いのではないでしょうか。

生成AIの導入スピードが加速する一方で、社内のルール整備や従業員への教育が追いついていない企業は少なくありません。

放置すれば、実際にトラブルが表面化してから慌てて対応に追われることになりかねません。

本記事では、AIセキュリティ対策の基本的な考え方から、生成AIの業務利用に潜む5つの代表的なリスク、実際に起きた事故事例、そして企業が今すぐ実行すべき7つの対策までを網羅的に解説します。

AIセキュリティ対策とは？2つの意味を整理

AIセキュリティという言葉には、実は2つの異なる意味があります。

ひとつは、生成AIモデルやAIアプリケーションそのものを不正アクセスや攻撃から守る「Security for AI」です。

プロンプトインジェクションのようなAI特有の攻撃への防御がここに含まれます。

もうひとつは、AIを活用してサイバーセキュリティの検知や対応を強化する「AI for Security」です。

大量のログを自動分析し、異常の兆候を素早く見つけ出すことで、事後対応から先回りの防御へと運用を変えていく取り組みを指します。

この2つを混同したまま社内で議論を進めると、必要な対策の一部を見落としてしまいます。

例えば、「AIを使ったセキュリティ対策ツールを導入したから安心」と考えていても、それは「AI for Security」への投資であり、社員が生成AIを使う際の情報漏洩リスクである「Security for AI」の課題は別途対応しなければ残ったままです。

「AIを守る対策」と「AIで守る対策」は別物だと理解した上で、次章からのリスクと対策を読み進めてください。

生成AIの業務利用に潜む5つのセキュリティリスク

生成AIの業務利用が広がるにつれて、企業が向き合うべきリスクも多様化しています。

中には、悪意のある第三者からの攻撃だけでなく、社員の何気ない使い方が原因で発生してしまうリスクも含まれます。

1.入力した機密情報の漏洩・学習利用

もっとも身近なリスクが情報漏洩です。

社員が業務効率化のつもりで顧客情報や社外秘の資料をそのままプロンプトに入力してしまい、その内容がAIサービス側の学習データとして扱われ、意図せず外部に流出してしまうケースが起きています。

会議の議事録を要約させようとして未公開の契約条件を入力したり、開発中の設計資料をそのまま貼り付けて仕様を確認したりする行為も、立派な情報漏洩の入口になり得ます。

悪意がなくても発生しうる点が、このリスクの怖さです。

特に、無料版のAIサービスは入力内容が学習データとして扱われる設定になっている場合があり、規約を確認せずに使い始めると、知らないうちに情報が外部に取り込まれてしまう危険があります。

2.シャドーAI(会社が把握していないAI利用)

情報システム部門の許可を得ないまま、現場の社員が個人の判断でAIツールを利用してしまう「シャドーAI」も大きな課題です。

会社として利用状況を把握できていないため、どこにどんな情報が入力されているかを追跡できず、管理の目が届かない領域でリスクが積み上がっていきます。

無料のAIツールを個人アカウントで使い始めるケースも多く、退職後もアカウントに情報が残り続けるといった二次的なリスクにもつながります。

禁止するだけでは現場が隠れて使い続けてしまうため、安全に使える公式ツールを用意し、そちらへ利用を誘導する発想も重要です。

3.プロンプトインジェクション等のAI特有の攻撃

プロンプトインジェクションは、巧妙に細工された入力によってAIの本来の制御を突破し、開発者が想定していない挙動を引き起こす攻撃手法です。

外部から埋め込まれた指示にAIが従ってしまうことで、機密情報の開示や不正な処理の実行につながるおそれがあります。

例えば、ウェブページやメールの文面に見えない形で不正な指示を仕込んでおき、それを要約させたAIが指示に従って別の情報を外部に送信してしまうといった手口も報告されています。

学習データを汚染して判断を狂わせる「データポイズニング」など、同様にAIの仕組みそのものを狙う攻撃も報告されており、生成AIを組み込んだサービスを提供する企業ほど警戒が必要です。

4.ハルシネーションによる誤情報の業務利用

AIは事実と異なる内容を、あたかも正しいかのように自然な文章で生成することがあります。

これがハルシネーション（幻覚）と呼ばれる現象です。

この誤情報に気づかないまま意思決定や対外発信に使ってしまうと、誤った判断や対外的な信用の毀損につながりかねません。

存在しない法律や統計を根拠として資料に盛り込んでしまったり、実在しない判例を引用してしまったりする事例も起きており、専門性の高い領域ほど注意が必要です。

AIの出力は「参考情報」として扱い、最終判断は人が行う姿勢が欠かせません。

5.ディープフェイク・なりすまし詐欺

音声や映像をAIで精巧に合成する「ディープフェイク」を悪用し、経営者や上司になりすまして送金を指示するなどの詐欺被害も報告されています。

本人そっくりの声や映像を使われると、電話やビデオ通話であっても真偽の判断が難しくなります。

複数人が参加するビデオ会議であっても、参加者全員がAIによる偽の映像だったという事例もあり、対面や声だけの確認では見抜けないケースが増えています。

重要な指示ほど、別の手段でも本人確認を行うといった運用ルールが有効です。

実際に起きたAI関連のセキュリティ事故事例

生成AIをめぐるセキュリティ事故は、決して他人事ではありません。

国内外の大企業でも実際に発生しており、業種や規模を問わずどの企業にも起こり得るリスクであることが、これらの事例からうかがえます。

サムスン電子では、エンジニアが社内のソースコードや会議の内容をChatGPTに入力して不具合の修正や議事録作成に使っていたことが判明し、機密情報の外部流出につながる懸念から、会社として生成AIの社内利用を禁止する対応を取ったことが報じられています。

香港にある多国籍企業の現地法人では、財務担当者がCFOや複数の同僚に扮したディープフェイクによるビデオ会議に参加させられ、指示に従って日本円で数十億円規模の資金を送金してしまう詐欺被害が発生しました。

参加者全員が偽の映像だったにもかかわらず、本物の会議と信じ込んでしまったことが被害を拡大させた要因とされています。

国内でも、経営者そっくりの偽音声による電話で、鉄道会社が1億円規模の送金をだまし取られた事件が報告されています。

また、AIサービス提供事業者側の不具合によって、利用者の会話履歴のタイトルや、一部の有料会員の支払い関連情報が、他の利用者から閲覧できる状態になっていたことが公表された例もあります。

さらに、大量のAIサービスのアカウント認証情報がダークウェブ上で売買されていたことも報告されており、盗まれた認証情報を使って過去の会話履歴にある機密情報へ不正アクセスされるリスクも指摘されています。

これらの事例が示すのは、情報漏洩やなりすまし詐欺は、特別な企業だけに起こる特殊な出来事ではないということです。

技術力の高い大企業であっても、社員一人ひとりの使い方や、サービス提供事業者側の不具合によって被害が発生し得ます。

だからこそ、ツールの選定や設定だけに頼るのではなく、次章で紹介するような組織的な対策を組み合わせて備えておく必要があります。

企業が行うべきAIセキュリティ対策7選

リスクを理解した上で、実際にどのような対策を講じればよいのかを具体的に見ていきましょう。

ここで紹介する7つの対策は、どれか1つだけを行えばよいというものではなく、組み合わせて実施することで初めて効果を発揮します。

1.AI利用ガイドライン・ルールの策定

どのような情報をAIに入力してよいか、どのツールの利用を許可するかといった基準を明文化したガイドラインの策定が第一歩です。

国が公表している指針を参考にしながら、自社の業務実態に即したルールに落とし込むことが求められます。

個人情報や取引先の機密情報など、入力を禁止する情報の範囲を具体的に例示しておくと、現場の社員も判断に迷わずに済みます。

2.学習オプトアウト設定・法人プランの利用

多くのAIサービスには、入力データを学習に利用されないようにする「オプトアウト設定」が用意されています。

また、無料の個人向けプランではなく、セキュリティが強化された法人向けプランを契約することで、データの取り扱いに関する保証が明確になり、情報漏洩のリスクを大きく下げることができます。

設定は各サービスの管理画面から行える場合が多いため、導入時に必ず確認し、社内で標準の設定として統一しておくとよいでしょう。

3.アクセス制御・ログ監視・DLPの導入

権限管理の不備は情報流出の大きな原因のひとつです。

特に厳格なデータ管理やコンプライアンスが求められる領域では確実な運用体制が欠かせません。

例えばPriv Tech株式会社様では、プライバシー同意管理データの集計・照合事務においてデータチェックや突合代行を活用し、高水準な法令順守と運用速度の短縮を同時に達成しています。

アクセス制御やDLPといった技術的対策に加え、管理プロセス自体を標準化・厳格化することでデータ漏洩を組織的に防ぎましょう。

誰がいつどのツールにアクセスし、どのような情報を入力したかを後から追跡できる状態にしておくことも、万一の際の原因調査を早めるうえで重要です。

こうした技術的な仕組みは、人によるチェックだけでは防ぎきれないヒューマンエラーの最後の砦としても機能します。

・参照事例:https://cast-er.com/case/department/priv-tech/

4.従業員へのセキュリティ教育

ルールを作るだけでは浸透しません。

機密情報を入力しないという原則や、ディープフェイクを使った詐欺の手口への注意喚起など、全社員が身につけるべき基本的なリテラシーを、継続的な研修を通じて浸透させる必要があります。

一度きりの説明会で終わらせず、実際のヒヤリハット事例を交えた定期的な研修にすることで、知識を実践的な行動につなげやすくなります。

新入社員研修や部署異動時のオリエンテーションに組み込むなど、節目のタイミングで繰り返し伝える工夫も効果的です。

5.利用ツールの規約・データ取扱いポリシーの確認

新しいAIツールを導入する際は、利用規約やプライバシーポリシーを確認し、入力データが学習に使われるのか、どこの国のサーバーで管理されるのかといった点を事前にチェックすることが欠かせません。

無料トライアルだからと安易に社内展開してしまうと、契約前の確認を怠ったことが後から情報の取り扱いに関するトラブルにつながる可能性があります。

導入前のチェックリストを用意し、部署ごとに個別判断させない体制も有効です。

6.インシデント発生時の対応フロー整備

どれだけ対策をしても、情報漏洩やなりすまし被害を完全にゼロにすることはできません。

実際に事故が起きた際に、誰にどう報告し、どのような手順で被害拡大を防ぐかをあらかじめ決めておくことで、初動の遅れによる被害拡大を防げます。

連絡フローを整備するだけでなく、実際に訓練として一度シミュレーションしておくと、いざという時に落ち着いて対応できます。

7.公的ガイドライン・支援機関の活用

総務省・経済産業省の「AI事業者ガイドライン」や、情報処理推進機構（IPA）が公開する実務者向けの資料など、公的機関が提供する指針や相談窓口を活用することで、自社だけでは気づきにくい抜け漏れを補うことができます。

自己流のルールだけでは経営層や取引先への説明力に欠けるため、こうした公的な根拠を示せることは、社内外への説明責任を果たすうえでも大きな助けになります。

セキュリティ対策を「作って終わり」にしないために

ガイドラインを策定し、ツールを導入しても、それだけで安心はできません。

多くの企業で、せっかく整備したルールが時間の経過とともに形だけのものになってしまうという課題が起きています。

ルールが形骸化する理由:運用する人手とノウハウの不足

ルールが形骸化してしまう大きな原因は、運用を継続するための人手とノウハウが社内に不足していることです。

例えば、年間100人規模の組織拡大を進める株式会社ユーザベース様では、ISMS認証を満たす高度なセキュリティ体制のもとでバックオフィス運用を維持・継続するために外部のアシスタントサービスを活用しています。

情シスやDX担当者の兼務による負担を減らしルールの放置を防ぐには、セキュリティ要件をクリアした外部プロ人材に運用やデータ管理を委託する体制づくりも効果的です。

新しいAIサービスや攻撃手口は次々と登場するため、一度作ったルールをそのままにしておくと、実態との乖離がどんどん広がっていきます。

・参照事例:https://cast-er.com/case/smes/uzabase/

例えば、策定当初は想定していなかった新しいAIツールを現場が使い始めても、ガイドラインが更新されないまま放置されてしまうと、ルール自体が形だけのものになってしまいます。

定期的な見直しの担当者を明確に決めておくこと、そして必要に応じて外部の専門知見も借りながら運用を続けることが、対策を「作って終わり」にしないための鍵になります。

生成AIのリスクと対策は一度学べば完成するものではなく、技術の進化に合わせて継続的にアップデートしていく前提で向き合うことが大切です。