岡山大学野上教授と語る、AIとサイバーリスクの関係性から考える、シナリオベースのAIセキュリティ対策とは

暗号化の基礎技術からアプリケーションまでを網羅

村上：
最初に、野上研究室ではどのような研究をしているのか教えてください。

野上：
はい。野上研究室は岡山大学大学院にある情報セキュリティ工学研究室の1つで、情報セキュリティ技術全般を研究しています。具体的には暗号・乱数・通信プロトコル・誤り訂正符号など、情報社会の安全・安心を実現する研究です。また、そのための離散数学の学習やC・C++・Java・HDLなどのプログラム技術の習得、さらに、FPGA（field-programmable gate array）・マイクロコンピューターなどのハードウェア実装技術も研究しています。

研究室の特徴は、ハードウェアからアプリケーションまで多岐にわたるレイヤーを研究していることです。ハードウェアではFPGAを使用した研究やマイコンに暗号化機能を搭載する研究のほか、あらゆるハードウェアに各種セキュリティの機能を搭載する研究をしています。

具体的な研究例としては、コネクテッドカーのセキュリティがあります。といっても本物のコネクテッドカーを使うのではなく、自動車と同じようなプロトコルを搭載したラジコンや掃除ロボットを自作し、さまざまな攻撃シナリオを想定してセキュリティ実験をしています。

たとえば、コネクテッドカーで使用しているレーザースキャナー（LIDAR）であらゆる障害物を検知させてみたり、車間距離レーダーと同じ周波数帯のレーダー（77GHz帯域ミリ波レーダー）を外部から照射し、誤作動するかを確認したりといったこともやっています。

村上：
ベースの基礎知識として暗号技術を学び、その暗号技術をハードウェアに実装するにはどうすればよいかを理論的に学び、さらにそのハードウェアが社会の中でどのような用途に活用できるかをアプリケーションレイヤーで実践的に研究しているのですね。

AIを使った攻撃を阻止するのは人間のさじ加減

野上：
「オフェンス」「ディフェンス」の双方にAIを活用した場合のインパクトは、さまざまなところで検証されています。ただし、「AI活用」といってもその内容は極めて人為的です。たとえば、セキュリティ対策の第一歩は通常とは異なる“不穏”な通信を検知することです。そのためには「不穏とは何か」を定義して閾値を設定しますが、その定義と閾値を決めるのは人間ですよね。つまり、「何を検出したいか」を決定し、「どこまで作り込むか」というさじ加減を決めるのは人間なのです。

実は、乱数生成でも同じようなことがあります。たとえば、物理乱数を発生させるには、何らかの物理現象を用いる必要がありますが、これは偏りがあります。たとえば、「0」が連続するような乱数が生成された場合には、人間が適当なところに「1」を挿入して“調整”を図ります。こうすれば「どの乱数生成器を使ったのか」を見破られても次のビットは予測されません。

村上：
AIに学習させるのは人間であり、「どの作業に、どの程度AIを活用するか」を判断するのも人間ですよね。では、「どの作業にAIを導入するか」は何を基準に判断すればよいとお考えですか。

野上：
「万が一、セキュリティが破られたとき、どのぐらいクリティカルな状況が発生するのか」が1つの判断基準になると考えます。異常検知でアラートを挙げるような、万が一そのアラートが誤報でも許されるようなシナリオであれば、AIを活用するメリットはあるでしょう。しかし、AIがセキュリティ侵害を受けた場合に人命の危機に直結するようなシナリオでは慎重に検討すべきです。

たとえば、コネクテッドカーの自動速度制御装置（ISA）に搭載されたAIが、制限速度40キロの道路で100キロと誤認識すれば大変なことになります。詳説はしませんが、制限速度標識に細工をしてAIに誤判定させる攻撃は簡単に成立します。しかも、ハードウェアに対するサイバー攻撃は痕跡を残しにくいのです。

村上：
AI自身が自己判断をするような使い方をしている場合、セキュリティ侵害で誤判定をしてしまえば二次災害を引き起こします。今後、さまざまな分野でAIの導入が進めば、攻撃によって当初は想定していなかったような二次被害が発生する可能性も考えなくてはいけません。先生が注目されている攻撃のシナリオや事例はありますか。

野上：
事例ではないのですが、音や音声を悪用した攻撃の可能性に関心があります。最近のプレゼンテーションアプリには「Text-to-speech」機能が備わっています。音声合成技術も非常に進化しており、人間が話をしているように聞こえますよね。

こうした機能は、視覚障害をお持ちの方にとっては強力な支援になります。しかし、テキストから音声にする段階で、書かれていることと真逆の内容に変換するような攻撃が成立したら何が起こるでしょうか。たとえば、政治家が利用しているプレゼンテーションアプリのAIに「平和」という単語だけを「戦争」に置き換えて音声にするよう学習させたら、紛争の引き金になってしまう可能性もあります。

村上：
考えたくない最悪のシナリオですね。

アカデミアに必要なのは社会実装の観点

村上：
次にAIのガイドラインについて見解を聞かせてください。AIの実装についてはさまざまな団体がガイドラインや指針を示しています。たとえば経済産業省はAI社会原則の実装に向けて、AIガバナンスのあり方を検討しています。また、米国では2020年に、大統領府行政管理予算局が「AI規制10原則」を通達しています。こうした動きはさらに活発化するとお考えでしょうか。

野上：
業界団体が自主的にガイドラインを策定したり、行政が指針を示したりするのはよいことだと思います。ただし、それらはきちんと守られなければなりません。私はAIを規制する最後の砦は法律であると考えています。そして法律と指針の間に齟齬があってはいけません。

村上：
最後にセキュリティ人材育成についてお伺いします。先にサイバーセキュリティの世界では、「オフェンス」と「ディフェンス」は表裏一体であると指摘されました。それを踏まえ、今後セキュリティを担う人材にはどのような素養が求められるのでしょうか。

野上：
現在、ホワイトハッカーが重宝されていることからも分かるとおり、求められているのは高い倫理観と攻撃者の視点で防御対策ができる人材です。技術者は自分の知識やスキルを「人間として正しい方向で役立てる」という倫理観を持たなければなりません。そうした観点からも、大学では技術者である以前に人間として備えておくべき倫理を教える「工学倫理」教育を重視しています。

村上：
近年は日本の経済活動や大学教育の停滞が指摘されています。背景には人口減少やガラパゴス化による国際競争力の低迷などが挙げられます。今後、日本が国際競争力を取り戻すためにはどのような取り組みが必要でしょうか。

野上：
テックジャイアントと呼ばれるような企業に対抗できる人材の育成には、大学教育だけではなく、グローバルなネットワークを持つ企業との連携も重要だと考えます。

たとえば、サイバーセキュリティの領域において、PwCは世界最新の攻撃技術や攻撃事例の情報を収集し、「攻撃者は何を目的にどのような攻撃を仕掛けてくるのか」といった分析をしています。こうした情報や知見を大学側と共有してもらうことで、われわれは実践的な知識を得ることができるのです。

村上：
サイバーセキュリティの領域は産業界のほうが最新の情報や事象に接する機会が多いと感じています。一方、AIの領域では統計や機械学習といった専門知識が必要ですから、アカデミックのほうが先行しています。ですから、私たちは大学で研究しているAI技術を産業界で活用し、どのように社会実装していくかといった分野で大学側とコラボレーションしていきたいと考えています。

野上：
おっしゃるとおりです。大学でもAI活用に関する教育は注力していますが、社会実装はハードルが高いのです。大学の研究者がやっていることは、スタートアップのようなものです。最新技術やだれも手掛けていないような研究には飛びつきますが、それを社会実装するレベルにまで昇華させることに長けていません。

最新技術を理解し、そのインパクトを想定しながらさまざまな領域に社会実装していくという作業は、PwCのような民間企業が長けている領域です。ですから、大学での研究内容を実践的な見地から「社会実装の観点から考えるとどうなのか」というアドバイスをもらえると、アカデミアは空回りしません。

村上：
両者がコミットすることで、新たな相乗効果が生まれますよね。PwCとしてもさらに共同研究を深めていきたいと考えています。本日はありがとうございました。