アルン・クマール・エレンゴバン氏はOktaのエンジニアリングセキュリティディレクターである。
どこを見ても、組織は生産性と効率性向上の約束に魅了され、AIの導入に殺到している。しかしセキュリティの世界に身を置く者として、私は剣の両刃を見ている：システム防御に役立つ同じ技術が、悪意ある攻撃者によって侵入に悪用される可能性もあるのだ。
AIはサイバー犯罪への参入障壁を下げた。攻撃者はもはや高度なスクリプトを書くために何年もの勉強を必要としない。今やマルウェア作成や、企業のインフラへのバックドアを開いて機密データを流出させるリバースシェルスクリプトを自動化できる。クレッシェンド攻撃のようなツールを使えば、悪意ある攻撃者は巧妙な仮説や「研究」的な質問（例えば数十年前のマルウェアの書き方など）を尋ね、今日それらの攻撃を再現するステップを抽出することで、AIの安全対策をバイパスできる。企業のセキュリティチームを率いる私の仕事では、攻撃者がこれらの手法を企業の防御に対してテストする初期の試みをすでに目にしており、理論がいかに迅速に実践になるかを浮き彫りにしている。
同時に、AIは最も強力な防御にもなりうる。これは技術によって超強化された古典的な猫とネズミのゲームだ。以下は、防御側でAIを最大限に活用する主な方法である。
AIをパートナーとして受け入れる
すべてのリーダーが内面化すべき最初の原則は共存だ。AIは人間の専門知識に取って代わるべきではなく、むしろパートナーとして機能すべきである。多くの開発者は現在、コードを書くのを助けるためにCopilot、CodeWhisperer、CursorやCodeiumを使用している。しかし重要なのは「助ける」という言葉だ。人間は依然として飛行機の機長であり、AIは単に副操縦士にすぎない。人間の判断力とAIの速さと広範さによるこのパートナーシップが重要なのだ。
例えば、脅威検出にAIを使用することで、防御側は大量の入出力データをスキャンし、以前は長時間の手動レビューが必要だった悪意あるパターンをより速く検出できる。もう一つの例は、AIが脅威モデリングに使用される場合で、これは脅威が発生する前に特定し無効化するための事前設計時の活動だ。しかし、何が機能し何が機能していないかを確認する人間がループ内に存在する。成功する組織は、AIを熟練したアナリストの代替ではなく、拡張として扱う組織である。
コンテキストが王様
「ゴミを入れればゴミが出る」という古いプログラミングの格言は、AIにも当てはまる。多くの人はAIが自分の代わりに考えてくれると思っているが、それは危険な誤解だ。これらのモデルは独立した思考者ではなく、確率的エンジンである。意味のある結果を得るには、コンテキストが必要だ。
検索拡張生成（RAG）は良い例だ。ChatGPTのような大規模言語モデルは説得力があるように聞こえるが、しばしば良くても一般的な回答しか与えない。過去40件のセキュリティインシデント、その根本原因、緩和策などをベクトルデータベースに供給するなどのコンテキストを追加することで、一般的な出力を具体的で実用的な出力に変換できる。次のインシデントが発生した時、AIは組織の記憶を活用して正確なガイダンスを提供できる。
私はこのステップをスキップする組織を見てきたが、その結果はしばしば混乱や無駄な努力だ。コンテキスト認識とプロンプトエンジニアリングは、AIを使用するすべてのチームにとって不可欠なスキルである。曖昧なプロンプトと適切に構造化されたプロンプトの違いは、有用な回答と危険な間違いの違いになりうる。実際、私は業界グループ内で、コンテキストエンジニアリングがかつてのセキュアコーディングのように基本的な規律になるべきだと提唱してきた。
セキュリティの「シフトレフト」
もう一つの原則は、AIセキュリティへの「シフトレフト」アプローチを採用することだ。モデルは適切に保護されていないと機密データを漏洩する可能性がある。そのため企業は、デプロイ後に慌てて対策を講じるのではなく、設計段階でセーフガードを組み込む必要がある。
AIパイプラインを他の重要なインフラと同様に扱おう。機密コンポーネントを暗号化し、あらゆるステップを監査・監視する。Anthropicのモデルコンテキストプロトコルを警告として受け止めよう。リリースから数カ月以内に複数のセキュリティ問題が表面化した。そのInspectorツールの重大な欠陥はCVSS 9.4と評価され、設計上の見落としがいかに迅速に業界全体の懸念に発展するかを示している。セキュリティを設計に組み込んでいた企業は、パニックになったりモラルを損なったりすることなく迅速な変更を行うことができた。すでに基盤を整えていれば、脅威に冷静に効果的に対応するのははるかに容易だ。
より大きな視点
AIは魔法ではない。それはデータとコンテキスト以上のものではなく、両方の質が高いほど、結果も良くなる。リーダーはこの確率的性質を理解し、期待を現実的に保つ必要がある。「完璧は決して完成しないので、完成させる方が完璧よりも良い」と言われるように。つまり、誰かが完璧なロードマップを渡してくれるのを待ってはいけない。
小さく始め、反復し、最初から安全対策を組み込むこと。これらがAIをインターネットが過去30年間でそうなったように、組織の自然な一部にするための最初のステップだ。AIを賢く使い、常に意識し、あなたが飛行機を操縦していることを決して忘れないでほしい。AIは単に空を航行するのを助ける副操縦士にすぎない。今後、繁栄する組織は、AIを単に使いやすくするだけでなく、監査可能で説明責任を持たせる組織であり、それによって今後10年間の信頼の基調を設定するだろう。