生成AIで発生する7つのセキュリティリスク。すぐにできる対策と技術的な防止策を解説

「社内で生成AIを使い始めたものの、情報漏洩が起きないか不安」「どこまでのデータを活用してよいか判断基準がない」と悩んでいる担当者の方も多いのではないでしょうか。

生成AIは業務の効率化に役立つ一方で、入力した情報がどのように扱われるのか、外部から不正な指示を受ける可能性はないか、事実と異なる回答を出さないかなど、これまでのITツールとは異なるリスクがあります。

企業には、こうしたリスクを理解したうえで、利用範囲やルールをあらかじめ決めておくことが求められます。

そこで本記事では、

• 生成AIのセキュリティとは何か
• 生成AIで発生する7つのセキュリティリスク
• 生成AIに入力してはいけない情報と、実際に起きた事故の例
• すぐに実施できる対策と、リスクごとの技術的な防止策

をわかりやすく解説します。自社で生成AIを安全に使う体制を整えたいと考えている方は、ぜひ最後までご覧ください。

「生成AIを社内で使いたいが、セキュリティ面をどう整えればよいかわからない」という方は、リベルクラフトへご相談ください。

リベルクラフトでは、ビジネス課題の整理から要件定義、AIの構築、セキュリティ対策、運用ルールの設計まで一貫してサポートしています。社外にデータを出さないローカルLLMの導入や、業務フローに合わせた柔軟なカスタマイズにも対応していることも特徴です。

まずは以下のリンクからお気軽にお問い合わせください。

⇨リベルクラフトへの無料相談はこちら

生成AIのセキュリティとは

生成AIのセキュリティとは、生成AIを利用する際に起こりうる情報漏洩や不正操作、誤った情報の出力、サイバー攻撃などを防ぎ、安全に活用するための取り組みです。

守る必要があるのは、生成AIそのものだけではありません。利用者が入力するプロンプトや添付ファイル、AIに参照させる社内文書、学習データ、APIキーなどの認証情報、外部ツールとの接続部分まで対象になります。

IPAの「情報セキュリティ10大脅威 2026」でも、「AIの利用をめぐるサイバーリスク」が組織向け脅威の3位に選ばれました。

出典：IPA「情報セキュリティ10大脅威 2026」

生成AIの利用が広がる中、社内ルールやセキュリティ対策が十分に整っていない企業では、利用範囲や扱う情報を決めるなど、早めに対策を進めることが重要です。

生成AIで顕在化したリスク

生成AIのリスクは、すべてが新しく生まれたものではありません。これまでのAIでも指摘されてきたリスクに加えて、生成AI特有のリスクもあります。

総務省と経済産業省がまとめた「AI事業者ガイドライン案」では、AIのリスクを次のように分類しています。

区分	リスク	内容・事例
従来型AIから 存在するリスク	バイアスのある結果及び差別的な結果の出力	IT企業が自社で開発したAI人材採用システムが女性を差別するという機械学習面の欠陥を持ち合わせていた
	フィルターバブル及びエコーチェンバー現象	SNS等によるレコメンドを通じた社会の分断が生じている
	多様性の喪失	社会全体が同じモデルを同じ温度感で使った場合、導かれる意見及び回答がLLMによって収束してしまい、多様性が失われる可能性がある
	不適切な個人情報の取扱い	透明性を欠く個人情報の利用及び個人情報の政治利用も問題視されている
	生命、身体、財産の侵害	AIが不適切な判断を下すことで、自動運転車が事故を引き起こし、生命や財産に深刻な損害を与える可能性がある
	データ汚染攻撃	学習実施時には学習データへの不正データ混入、サービス運用時ではアプリケーション自体を狙ったサイバー攻撃等のリスクが存在する
	ブラックボックス化、判断に関する説明の要求	AIの判断のブラックボックス化に起因する問題が生じており、透明性を求める動きも上がっている
	エネルギー使用量及び環境の負荷	AIの利用拡大により計算リソースの需要も拡大し、データセンターの増大やエネルギー使用量の増加が懸念されている
生成AIで 特に顕在化したリスク	悪用	AIの詐欺目的での利用も問題視されている
	機密情報の流出	個人情報や機密情報がプロンプトとして入力され、そのAIからの出力等を通じて流出してしまうリスクがある
	ハルシネーション	生成AIが事実と異なることをもっともらしく回答する「ハルシネーション」に関してはAI開発者・提供者への訴訟も起きている
	偽情報、誤情報を鵜呑みにすること	生成AIが生み出す誤情報を鵜呑みにすることがリスクとなりうる。ディープフェイクは各国で悪用例が相次いでいる
	著作権との関係	知的財産権の取扱いへの議論が提起されている
	資格等との関係	生成AIの活用を通じた業法免許や資格等の侵害リスクも考えうる
	バイアスの再生成	既存の情報に基づいて回答を作るため、既存の情報に含まれる偏見を増幅し、不公平や差別的な出力が継続・拡大する可能性がある

出典：総務省・経済産業省「AI事業者ガイドライン案（第1.0版）別添（付属資料）概要」

これまでのAIは、与えられたデータをもとに予測や分類をする使い方が中心でした。一方、生成AIはその場で文章やコードを作るため、内容が間違っていても自然に見え、気づきにくいことがあります。

また、誰でも簡単に使えるため、機密情報をうっかり入力してしまったり、詐欺メールやディープフェイクの作成に悪用されたりする可能性もあるでしょう。

そのため、業務で生成AIを使う場合は、利用ルールを決めるだけでなく、情報漏洩や不正利用を防ぐための仕組みもあわせて整える必要があります。

企業が生成AIセキュリティに取り組む必要性

生成AIの利用を禁止するだけでは、情報漏洩などのリスクを防ぎきれないため、セキュリティ対策に取り組むことが大切です。

生成AIの業務への利用を禁止しても、社員が個人アカウントなどで生成AIを使う「シャドーAI」が起これば、会社が利用状況を把握できず、情報漏洩や事故への対応が遅れるリスクがあります。

特に注意したいのは、次の3点です。

• 機密情報や個人情報が外部サービスに入力される
• 利用履歴を会社側で確認できない
• サービスごとのデータの扱いを理解しないまま使われる

そのため、重要なのは安全に使える範囲とルールをあらかじめ決めておくことです。利用できる業務やサービス、相談先、事故が起きた場合の対応方法などを決めておけば、社員も生成AIの活用方法を判断しやすくなります。

生成AIのセキュリティ対策は2つに分けられる

生成AIのセキュリティ対策には、生成AIそのものを安全に使うための対策と、生成AIをセキュリティ対策に活用する方法の2つがあります。

IPAの「AIセキュリティ短信」でも、この2つは「Security for AI」「AI for Security」として分けて紹介されています。

項目	AIを守る（Security for AI）	AIで守る（AI for Security）
目的	生成AIやAIシステムを攻撃や情報漏洩から守る	生成AIを使って自社のセキュリティを強化する
AIの役割	守る対象	守るための手段
主な取り組み	入力情報の管理、プロンプトインジェクション対策、権限・認証の設定、学習データや社内文書の保護	不審な通信やログの検知、マルウェア解析、脅威情報の要約、対応手順の作成支援
主に関わる部門	AIを導入する事業部門・情報システム部門	セキュリティ担当部門・情報システム部門
取り組む順番	先に整えておきたい対策	AIを守る対策を整えたうえで進める

出典：IPA「AI セキュリティ短信」

AIを守る（Security for AI）

AIを守るとは、生成AIやAIシステムを、攻撃や情報漏洩から守るための取り組みです。企業が生成AIを導入する際は、まずこの対策から考える必要があります。

守る対象は、入力する情報だけでなく、AIが参照する社内データや学習データ、出力する内容、アカウントやAPIキー、外部サービスとの連携まで含まれます。

主な対策は、次の3つです。

• 機密情報や個人情報を入力しないためのルールを決める
• AIが参照できる社内データや利用できる人を制限する
• AIが学習するデータを管理する

また、アカウントの乗っ取りやAPIキーの流出を防ぐため、多要素認証や権限管理など、これまでのセキュリティ対策も欠かせません。

重要なのは、ツールの設定だけで安全になるわけではないということです。利用ルールやアクセス権限、回答を確認する流れまで決めておくことで、安全に使いやすくなります。

こうした基本的な対策を整えないまま利用範囲だけを広げると、情報漏洩や誤った回答によるトラブルも起こりやすくなります。

AIで守る（AI for Security）

AIで守るとは、生成AIをセキュリティ業務に活用し、監視や分析、対応を効率化する取り組みです。

主な使い方は、次の3つです。

• ログや通信記録を分析し、不審な動きを見つける
• 不審なメールやマルウェア、脆弱性情報を整理する
• 事故対応の記録や報告書、社内向けの注意喚起文を作成する

大量のアラートやログをすべて人が確認するのは難しいため、生成AIに整理や要約を任せることで、担当者は重要な判断に時間を使いやすくなります。

ただし、生成AIの判断をそのまま信用すると見逃しや誤った判定が起こる可能性があるため、最終的な確認や判断は人が行う必要があります。

また、セキュリティ業務に使う生成AI自体も、攻撃や不正な指示から守らなければなりません。「AIで守る」を進めるには、まず「AIを守る」ための対策もあわせて整えておくことが大切です。

生成AIで発生する7つのセキュリティリスク

生成AIを業務で使う際には、情報漏洩だけでなく、誤情報の生成やアカウントの乗っ取り、サイバー攻撃への悪用など、さまざまなリスクに注意が必要です。

ここでは、企業が特に押さえておきたい7つのセキュリティリスクを紹介します。

• 機密情報・個人情報の漏洩
• プロンプトインジェクションで指示を乗っ取られる
• ハルシネーションにより誤情報を生成する
• アカウントの乗っ取りや不適切な権限付与
• 学習データ・モデル・外部サービスの汚染
• 生成AIが作成したコードに脆弱性が含まれる
• 生成AIがサイバー攻撃や詐欺に悪用される

機密情報・個人情報の漏洩

生成AIを業務で使う際に、特に注意したいのが機密情報や個人情報の漏洩です。攻撃を受けたときだけではなく、社員が業務データをそのまま生成AIに入力してしまうことでも起こります。

たとえば、次のような使い方には注意が必要です。

• 顧客情報を貼り付けて、メール文面を作成する
• 会議の議事録をそのまま入力して、要約する
• 公表前の資料やソースコードを読み込ませる

クラウド型の生成AIに入力した内容は、外部のサーバーへ送信されます。サービスや契約内容によっては、入力したデータが保存されたり、サービス改善に利用されたりする場合もあります。

また、情報漏洩は入力時だけに起こるとは限りません。チャットの共有リンクを誤って公開したり、保存された履歴が不正アクセスによって流出したりする可能性もあるでしょう。

特に、個人向けと法人向けではデータの扱いが異なるサービスもあるため、業務で利用する場合は、入力したデータがどのように保存・利用されるのかを事前に確認しておく必要があります。

プロンプトインジェクションで指示を乗っ取られる

プロンプトインジェクションとは、攻撃者が仕込んだ指示によって、生成AIに本来とは違う動きをさせる攻撃です。

大きく分けると、チャット欄などに不正な指示を直接入力する「直接的プロンプトインジェクション」と、WebページやPDF、メールなどに指示を埋め込み、AIに読み込ませる「間接的プロンプトインジェクション」があります。

こうした攻撃を受けると、たとえば次のような被害につながるリスクがあります。

• あらかじめ設定されたルールや制限を無視させる
• 機密情報や社内情報を出力・送信させる
• 外部ツールを使って想定外の操作を実行させる

特に注意したいのが、間接的プロンプトインジェクションです。利用者自身が不正な指示を入力していなくても、要約や検索の対象となるWebページや文書などに攻撃者の指示が仕込まれていれば、AIがその内容に従ってしまう可能性があります。

そのため、利用者が入力する内容だけでなく、AIが参照するWebページや文書などの外部情報や、AIに与える権限の範囲にも注意することが重要です。

ハルシネーションにより誤情報を生成する

ハルシネーションとは、生成AIが事実と異なる内容を、自然で正しそうな文章として答えてしまうことです。内容が間違っていても違和感なく読めるため、そのまま使ってしまうリスクがあります。

たとえば、次のようなハルシネーションが起こることがあります。

• 存在しない法令や判例、参考文献を示す
• 製品仕様や対応バージョンを誤って答える
• 統計データや出典をそれらしく作る

こうした誤情報を社内資料や顧客向けの文書に使えば、信用を損なったり、判断を誤ったりする原因になるでしょう。

また、生成AIの回答が自然だからこそ、確認せずに使ってしまいやすい点にも注意が必要です。重要な情報は必ず出典や元データを確認し、生成AIの回答だけで判断しないことが大切です。

アカウントの乗っ取りや不適切な権限付与

生成AIを使ううえでは、AIそのものだけでなく、アカウントや権限の管理にも注意が必要です。 パスワードの使い回しやフィッシングによってアカウントが乗っ取られると、過去のやり取りや連携先のデータまで見られるおそれがあります。

特に、次のような点には注意が必要です。

• 過去のチャットや入力した機密情報が見られる
• 連携しているクラウドストレージやメールまで参照される
• 権限が広すぎることで、本来見せる必要のない社内情報まで表示される

また、攻撃を受けていなくても、社内の権限設定が適切でないと情報漏洩につながります。たとえば、全社員が人事情報まで参照できる設定になっていたり、退職者のアカウントが残っていたりすると、意図しない情報の閲覧が起こる可能性があります。

そのため、利用者ごとに見られる情報を分け、不要な権限を与えないことが重要です。

学習データ・モデル・外部サービスの汚染

AIが学習したり参照したりする情報に、不正な内容や誤った情報を混ぜることで、AIの回答を間接的に変えられてしまう点も大きなリスクです。

主に注意したいのは、次の3つです。

• 学習データに誤った情報や偏った内容が混ざる
• 公開モデルやライブラリに不正な処理が仕込まれる
• RAGで参照する社内文書に、誤情報や不正な指示が含まれる

企業では、特にRAGで使う社内文書の管理が重要です。問い合わせフォームの内容や、出所がわからないファイルをそのまま取り込むと、不正な指示や誤情報がAIの回答に反映される可能性があります。

また、公開されているモデルや外部サービスを使う場合は、提供元や更新履歴を確認することも欠かせません。問題があってもすぐには気づきにくいため、取り込むデータや利用するサービスを定期的に見直す必要があります。

生成AIが作成したコードに脆弱性が含まれる

生成AIにコードを書かせる使い方は広まっていますが、正しく動くコードが、そのまま安全とは限りません。 生成AIが作ったコードには、古い書き方やセキュリティ上の問題が含まれることがあります。

特に、次のような点には注意が必要です。

• 入力値の検証が不十分で、SQLインジェクションなどにつながる
• APIキーやパスワードがコードに直接書かれている
• 権限の確認や安全な認証処理が抜けている

また、生成AIが実在しないライブラリ名を提案することもあります。その名前と同じ悪意のあるパッケージが公開されていた場合、気づかずに導入してしまう可能性があります。

そのため、生成AIが作成したコードは、そのまま本番環境で使わず、人によるレビューやセキュリティチェックを行うことが重要です。

生成AIがサイバー攻撃や詐欺に悪用される

生成AIは、企業が業務で使うだけでなく、攻撃や詐欺に悪用されることもあります。 自社で生成AIを導入していなくても、こうした攻撃の影響を受ける可能性がある点には注意が必要です。

主な悪用例は、次の3つです。

• 自然な文章でフィッシングメールや詐欺メッセージを作る
• 経営者や取引先の声・映像を使って、なりすます
• 攻撃用コードの作成や、標的に関する情報収集を効率化する

生成AIによって、これまで必要だった文章作成や情報収集の手間が減り、少人数でも多くの相手を狙いやすくなっています。

そのため、「日本語が不自然なメールは怪しい」といった従来の見分け方だけでは十分ではありません。送信元や依頼内容を別の方法で確認するなど、社員向けの教育や確認方法も見直す必要があります。

生成AIの中心となるLLMについて、具体的なリスクや対策を詳しく知りたい方は、以下の記事もあわせてご覧ください。

参照記事：LLMの利用で発生するセキュリティリスクとは？実施すべき5つの対策方法を解説

ここまで紹介したリスクの中には、入力した情報が社外のサーバーに送られることで起こるものもあります。機密データを社外に出さずに生成AIを使える環境を整えることで、情報漏洩のリスクを抑えやすくなります。

リベルクラフトでは、社外にデータを出さないローカルLLMも含め、自社環境で使える生成AIの導入を支援しています。機密データを安全に扱いたい、既存システムと連携したいといった要望に合わせて設計し、小規模な検証からオンプレミス環境での本格運用まで対応しています。

⇨ローカルLLM導入支援の詳細はこちら

生成AIに入力してはいけない情報

生成AIによる情報漏洩を防ぐには、入力してはいけない情報をあらかじめ社内で決めておくことが重要です。

使い方を細かく決める前に、まずは何を入力してはいけないのかを明確にしておくと、現場でも判断しやすくなります。代表的な10種類の情報は、次のとおりです。

情報の種類	具体例	入力した場合に起こりうること
個人情報	氏名・住所・電話番号・マイナンバー・健康状態	本人の同意なく第三者へ提供したとみなされ、個人情報保護法に触れる可能性がある
顧客情報	顧客リスト・購買履歴・問い合わせ内容・名刺データ	取引先からの信用を失い、契約解除や損害賠償につながる可能性がある
営業秘密	製造ノウハウ・原価・仕入先・研究開発中の情報	秘密として適切に管理していたと認められず、法的な保護を受けにくくなる可能性がある
未公開の社内情報	決算数値・M&Aの検討状況・新製品計画・人事異動	公表前に外部へ出ることで、情報管理やインサイダー取引の問題につながる可能性がある
ソースコード	自社サービスのプログラム・設定ファイル	システムの内部構造や弱点が外部に伝わり、攻撃に悪用される可能性がある
認証情報	ID・パスワード・APIキー・アクセストークン	アカウントの乗っ取りや不正利用につながる
システム構成	ネットワーク図・サーバー構成・使用製品とバージョン	攻撃者にシステムの構成や狙いやすい箇所を知られる可能性がある
契約に関する情報	契約書の条文・取引条件・見積単価	秘密保持条項などに反し、契約違反となる可能性がある
他社の著作物	有償の調査レポート・書籍・記事・画像素材	利用が認められた範囲を超え、著作権侵害となる可能性がある
守秘義務の対象となる情報	NDAを結んだ相手から受け取った資料・業務で知った第三者の情報	守秘義務違反となり、会社や担当者が責任を問われる可能性がある

日報や議事録、見積書、障害報告書など、普段使っている文書にも注意が必要な情報が含まれていることがわかります。顧客名や単価、システム構成などが入っていれば、そのまま生成AIに入力するのは避けたほうがよいでしょう。

ただし、「機密情報は入力しない」とだけ決めても、現場では判断に迷うことがあります。自社で実際に使っている書類名やデータ名まで具体的に示し、迷った場合の相談先や、例外的に利用できる条件も決めておくと運用しやすくなります。

生成AIに入力してはいけない情報の決め方や、社内で守りやすい利用ルールの作り方については、以下の記事で詳しく解説していますので、あわせてご覧ください。

参照記事：生成AIの利用ルールの作り方。守れる社内ポリシーを設計する7つの要素

生成AIで発生したセキュリティ事故・トラブル事例

生成AIによるセキュリティ事故は、入力ミスだけでなく、共有機能の設定やサービス側の不具合、端末のマルウェア感染など、さまざまな原因で起こります。

実際に起きた3つの事例から、どのようなリスクに注意すべきか確認していきましょう。

• 業務効率化のための利用で、社内情報が外部に送信された
• 共有機能やサービス側の不具合で、会話の内容が第三者に見られた
• 端末のマルウェア感染で、生成AIのアカウント情報が盗まれた

業務効率化のための利用で、社内情報が外部に送信された

項目	内容
リスク	機密情報・個人情報の漏洩
事例	業務効率化のために生成AIを使い、社内情報が外部に送信された
内容	エラー修正やコード改善、議事録作成のために、ソースコードや製造情報、会議内容を生成AIに入力した

ある企業では、社員が業務に生成AIを使う中で社内情報を入力してしまう事例が起きました。生成AIの利用を認めてから、ソースコードや製造に関する情報、社内会議の内容などを入力した3件が確認されています。

いずれも、エラーの修正やコードの改善、議事録の作成など、業務を効率化するための利用でした。しかし、入力した情報は外部のサービスに送信されるため、社内情報まで外部に送信されることになりました。

この事例からわかるのは、悪意がなくても、生成AIの使い方によって情報漏洩につながる可能性があるということです。「機密情報を入力しない」と伝えるだけでなく、どの資料やデータを入力してはいけないのかまで具体的に決めておく必要があります。

共有機能やサービス側の不具合で、会話の内容が第三者に見られた

項目	内容
リスク	機密情報・個人情報の漏洩
事例	共有機能やサービス側の不具合により、会話内容や利用者情報が第三者から見える状態になった
内容	共有リンクが検索結果に表示されたほか、不具合で他の利用者の会話タイトルや一部の決済情報が表示された

生成AIでは、利用者が直接情報を公開していなくても、共有機能の使い方やサービス側の不具合によって情報が外部に出る可能性があります。

ある生成AIサービスで、公開用に作成した共有リンクがGoogle検索に表示される事例が確認されました。共有した会話やコンテンツに業務情報や個人情報が含まれていれば、検索から第三者に見つけられる可能性があります。

また、システムの不具合が発生し、一部の利用者に他人のチャット履歴のタイトルが表示されました。一部の有料利用者については、氏名やメールアドレス、請求先住所、クレジットカード情報などが表示される可能性もあったと公表されています。

こうした問題は、利用者だけでは防ぎきれない場合があります。そのため、共有リンクの公開範囲を確認するだけでなく、外部に出ると困る情報は、そもそも生成AIに入力しないというルールも必要です。

端末のマルウェア感染で、生成AIのアカウント情報が盗まれた

項目	内容
リスク	アカウントの乗っ取りや不正利用
事例	マルウェアに感染した端末から、生成AIサービスのアカウント情報が盗まれた
内容	2025年には、攻撃者が2,000万件超のOpenAIアカウント情報を保有すると主張する投稿も確認されました。KELAがサンプルを分析したところ、情報窃取型マルウェア等から収集された既存データと一致しました

生成AIの情報漏洩は、サービスそのものへの攻撃だけで起こるわけではありません。利用者のパソコンがマルウェアに感染し、ブラウザに保存されたIDやパスワードが盗まれるケースもあります。

10万台を超える端末からChatGPTの認証情報が盗まれ、ダークウェブで取引されていたことがセキュリティ企業の調査でわかりました。

さらに他人のOpenAIアカウント情報を売るという投稿も確認されました。調査では、利用者の端末に入り込んだ情報窃取型マルウェアから集められた可能性が高いとされています。

このように、生成AIサービスが安全でも、利用する端末が感染すればアカウント情報は盗まれる可能性があります。 業務で利用する端末を会社側で管理し、OSやソフトウェアの更新、マルウェア対策、多要素認証などの基本的な対策を行うことが重要です。

生成AIですぐに実施できる5つのセキュリティ対策

生成AIのセキュリティ対策は、難しい仕組みを導入する前に、日々の使い方を見直すことから始められます。

まず取り組みやすく、情報漏洩や不正利用の防止につながる5つの対策を押さえておきましょう。

• 個人情報・機密情報を入力せず、必要な場合は加工する
• 会社が許可した生成AIサービスとアカウントを使用する
• 多要素認証と安全なパスワードを設定する
• 回答の事実・根拠・コードを人間が確認する
• ファイル・URL・プラグイン・外部連携を安易に許可しない

個人情報・機密情報を入力せず、必要な場合は加工する

まず、外部に出してはいけない情報を、そもそも生成AIに入力しないことが重要です。ただ、業務によっては顧客の状況や社内データがないと、実務で使える回答が得られないこともあります。

その場合は、必要な情報だけを残し、個人や企業を特定できる部分を加工してから入力しましょう。代表的な方法は次の3つです。

• 顧客名や担当者名を「A社」「担当者」などに置き換える
• 金額や件数を「数千万円規模」「数十件」など大まかな表現にする
• 文書やコード全体ではなく、必要な部分だけを抜き出す

たとえば謝罪メールの下書きを作る場合、顧客名や契約番号まで入力する必要はありません。「継続契約中の法人顧客に、納期遅延を謝罪する」といった条件だけでも、十分に文面を作れます。固有名詞や具体的な数値は、生成後に自分で加えるほうが安全です。

コードを入力する場合も、変数名や関数名、コメントに社内システム名や仕様が含まれていないか、送信前に確認しておきましょう。

会社が許可した生成AIサービスとアカウントを使用する

業務で使う生成AIサービスとアカウントを会社側で決めておくと、利用状況を把握しやすくなります。反対に、社員ごとに好きなサービスを使っていると、どこで何が使われているのか確認しにくくなります。

特に避けたいのが、個人アカウントを業務で使うことです。個人向けの契約では、会社側で利用状況を確認できなかったり、退職後も履歴が個人のアカウントに残ったりする可能性があります。

法人向けのサービスを利用する場合は、次の3点を確認しておきましょう。

• 入力したデータが学習やサービス改善に使われるか
• 会話履歴の保存期間や保存場所はどうなっているか
• 管理者が利用状況を確認し、退職や異動時にアカウントを停止できるか

あわせて、会社が利用を認めているサービスを社内でわかりやすく案内しておくことも大切です。新しいサービスを使いたい場合の申請先まで決めておけば、社員が自己判断で使い始めることも減らせます。

多要素認証と安全なパスワードを設定する

生成AIのアカウントには、業務で入力した内容や過去のやり取りが残ることがあります。アカウントが乗っ取られると、会話履歴から社内情報まで見られる可能性があるため、認証の対策は欠かせません。

基本となるのは、次の3つです。

• 多要素認証を有効にし、パスワードだけでログインできないようにする
• パスワードを使い回さず、サービスごとに別のものを設定する
• APIキーや不要になったアカウントを適切に管理する

特に多要素認証は、比較的簡単に始められる対策です。パスワードが漏れても不正ログインを防ぎやすくなるため、生成AIを業務で使い始めた段階で設定しておくとよいでしょう。

また、退職者や異動者のアカウントを放置しないよう、停止や権限変更の手順も決めておく必要があります。

回答の事実・根拠・コードを人間が確認する

生成AIの回答は、そのまま使うのではなく、下書きとして扱うのが基本です。重要な内容ほど、人が事実や根拠を確認してから使う必要があります。

確認の仕方は、用途に応じて変えると運用しやすくなります。

• 社外向けの資料では、数値や固有名詞を元の資料で確認する
• 法令や契約、医療など正確さが求められる内容は、一次情報や専門部署で確認する
• 生成したコードは、動作だけでなく脆弱性や権限の設定も確認する

また、質問するときに出典を示すよう求めたり、不確かな部分を分けて答えるよう指示したりすると、確認しやすくなるでしょう。ただし、生成AIが示した出典そのものが正しいとは限らないため、最終的には元の情報まで確認することが大切です。

コードについても、動いたから安全とは限らず、入力値の扱いや認証情報の記載、権限設定などに問題がないかを確認してから使う必要があります。

ファイル・URL・プラグイン・外部連携を安易に許可しない

生成AIにファイルやWebページを読み込ませたり、外部サービスと連携させたりする場合は注意が必要です。外部から取り込んだ情報に不正な指示が含まれていると、AIがその内容に従ってしまう可能性があります。

特に、次の3点は決めておくと安心です。

• 読み込ませるファイルやURLは、出所が確認できるものに限る
• プラグインや外部サービスとの連携は、管理者の承認を必要とする
• 連携する場合も、AIが参照・操作できる範囲を必要最小限にする

また、メールの送信やファイルの削除などをAIが自動で行える設定は、便利な反面、誤作動したときの影響も大きくなります。とくに、重要な操作は人の確認を欠かさず、AIだけで完結しない仕組みにしておくことが大切です。

外部との連携は便利ですが、接続先が増えるほど確認すべき範囲も広がります。必要な機能だけに絞り、使わなくなった連携はそのまま残さないようにしましょう。

生成AIにおけるリスクごとの技術的な対策

生成AIのセキュリティ対策には、利用ルールだけでなく、システム側でリスクを抑える仕組みも必要です。

情報漏洩や誤回答、不正な指示などを防ぐために使われる主な技術を紹介します。

• RAG・グラウンディング
• DLP・PII検知・マスキング
• 入力検査・命令とデータの分離
• SSO・MFA・秘密情報管理
• 引用元表示・回答拒否制御

RAG・グラウンディング

RAGやグラウンディングは、AIに参照する情報を与え、その内容をもとに回答させる仕組みです。ハルシネーションや古い情報による誤回答を減らす方法として使われます。

たとえば、利用者が質問すると、まず社内文書や公式情報を検索し、関連する内容をAIに渡して回答させます。AIが持っている知識だけに頼らず、指定した情報をもとに答えさせる点が特徴です。

主に次のような効果があります。

• 社内文書や公式情報をもとに回答できる
• 情報源を更新すれば、回答にも新しい内容を反映しやすい
• どの文書をもとに答えたのか確認しやすくなる

ただし、RAGを使えば必ず正しい回答になるわけではありません。参照する文書に誤りや古い情報が含まれていれば、その内容をもとに間違った回答をする可能性があります。

また、社内文書を参照させる場合は、誰がどの情報を見られるのかという権限設定も重要です。必要以上に広い範囲を参照できる状態にすると、本来見せる必要のない情報まで回答に含まれるリスクがあります。

RAGを構築する際に注意したいセキュリティ上のポイントは、以下の記事で詳しく解説していますので、あわせてご覧ください。

参照記事：RAG構築におけるセキュリティリスクと5つの対策方法。対策が必要な理由も紹介

ただし、RAGやグラウンディングは、仕組みを導入するだけで精度や安全性が高まるわけではありません。「自社データを活用したいが、どの文書から始めればよいかわからない」と悩む企業もあります。

リベルクラフトでは、社内文書の整理や内容の確認から、文書の分け方、権限設定、回答精度の確認まで含めてRAGの構築を支援しています。安全に使えることはもちろん、実際の業務で役立つ形にするために、要件の整理から一緒に進めています。

⇨ローカルLLM導入支援の詳細はこちら

DLP・PII検知・マスキング

DLPやPII検知は、生成AIに送ってはいけない情報を自動で見つけ、送信前に止めたりする仕組みです。人の注意だけに頼らず、情報漏洩を防ぐために使われます。

DLPは機密情報などの持ち出しを防ぐ仕組みで、PII検知は氏名やメールアドレス、電話番号などの個人情報を見つける機能です。

検知した情報には、主に次の3つの対応があります。

• 送信そのものを止める
• 氏名や住所などを伏せてから送信する
• 警告を表示し、利用者に確認を求める

すべてを一律に止めると、業務で使いにくくなることがあります。そのため、情報の重要度に応じて「止める」「伏せる」「確認を求める」を使い分けることが大切です。

また、どの部署でどのような情報が検知されたのかを記録しておけば、ルールの見直しや社員教育にも活用できます。

入力検査・命令とデータの分離

入力検査と命令・データの分離は、プロンプトインジェクションのリスクを低減するための対策です。生成AIは、利用者からの指示と外部文書に含まれる文章をうまく区別できないことがあるため、システム側で対策する必要があります。

入力検査では、AIに渡す前に内容を確認し、不正な指示が含まれていないかをチェックします。たとえば、次のような方法があります。

• 「これまでの指示を無視して」など、不正な操作につながりやすい表現を検知する
• 極端に長い文章や不自然な繰り返しを止める
• 見えない文字や隠し要素を取り除く

一方、命令とデータの分離では、外部から読み込んだ文書を「参考情報」として扱い、AIへの指示とは別に処理します。文書の中に不正な命令が含まれていても、そのまま従いにくくできます。

ただし、入力時のチェックだけで完全に防ぐのは難しいため、AIに与える権限を必要最小限にし、送信や削除など重要な操作は人が確認する仕組みも必要です。回答内容にも不正なリンクや機密情報が含まれていないか確認することで、被害を広げにくくなります。

SSO・MFA・秘密情報管理

SSOやMFA、秘密情報管理は、アカウントの乗っ取りや権限設定のミスを防ぐための対策です。個人の判断に任せるのではなく、会社側で共通のルールとして管理できる点に強みがあります。

SSOを使うと、生成AIサービスへのログインを社内の認証システムにまとめられます。主なメリットは次の3つです。

• 退職や異動の際に、まとめて利用を停止しやすい
• 誰がいつ利用したのかを確認しやすい
• サービスごとのパスワード管理を減らせる

MFAは、パスワード以外の確認を加えることで、不正ログインを防ぎやすくする仕組みです。SSOと組み合わせることで、社内の認証をまとめて管理しながら、安全性も高められます。

また、APIキーやアクセストークンなどの認証情報は、ソースコードや設定ファイルに直接書かず、専用の管理ツールで保管することが大切です。定期的にキーを発行し直す運用も加えることで、万が一流出した場合の影響を抑えやすくなります。

引用元表示・回答拒否制御

引用元表示と回答拒否制御は、AIの回答を確認しやすくし、根拠が不十分な場合は無理に答えさせないための仕組みです。ハルシネーションによる誤情報を減らすために使われます。

引用元表示では、回答とあわせて参照した文書名やページ、URLなどを示し、利用者が元の情報を確認しやすくなるため、回答が正しいか判断しやすくなるでしょう。

回答拒否制御では、十分な根拠がない場合に、次のような対応をさせます。

• 関連する情報が見つからない場合は「わかりません」と回答する
• 社内文書に根拠がない内容は回答しない
• 必要に応じて、担当部署や確認先を案内する

生成AIは、情報が足りない場合でも回答を作ってしまうことがあります。そのため、根拠がないときは答えないように設定することも、誤った情報を業務で使わないための大切な対策です。

まとめ

生成AIのセキュリティについて、基本的な考え方から主なリスクや事例、対策まで紹介してきました。

生成AIによる事故は、普段の業務で便利に使う中でも、ルールが決まっていなければ情報漏洩や誤った利用につながる可能性があります。 そのため、利用を禁止するのではなく、安全に使える環境やルールを整えることが大切です。

ただし、ルールを決めるだけでは十分ではありません。どのデータをAIに使わせるのか、誰がどこまで参照できるのか、社外に出せない情報をどう扱うのかまで考える必要があります。こうした部分は、業務とシステムの両方を理解したうえで設計することが重要です。

「自社のデータをどこまでAIに使わせてよいかわからない」「安全に使える環境を、構築から運用まで相談したい」という場合は、リベルクラフトへご相談ください。

リベルクラフトでは、AIを導入すること自体を目的にせず、まず業務上の課題を整理したうえで、必要な仕組みを提案しています。データサイエンティストが実際の業務や利用するデータを確認しながら、安全性と使いやすさの両方を考えて設計します。

また、最初から大きな仕組みを作るのではなく、小さく試しながら精度や使い勝手を確認し、必要に応じて改善していく進め方にも対応しています。

社内データを安全に活用できる環境を整えたい方は、以下のリンクからお問い合わせください。

⇨リベルクラフトへの無料相談はこちら