プライバシーを守りながら安全で高速なAI開発を実現する新アルゴリズムを開発

「三人寄れば文殊の知恵」。このことわざは、世界各地でさまざまな形で語り継がれてきました。しかし、汎用人工知能（AGI）の実現を目指す競争の中で、エンジニアたちは開発を加速させるため、障害発生時のリスクやデータプライバシー侵害の危険性があるにもかかわらず、AIモデルの開発と学習において、多数の利用者のデータを一元的に集約して行ってしてきました。一方で、分散型の学習手法は、一元化されたシステムに匹敵する堅牢性を実現するのに苦戦してきました。しかし、もしその「三人」のうち一人に悪意があったらどうなるでしょうか。

機械学習分野で最も重要な国際会議の一つである「ICML 2026」で、沖縄科学技術大学院大学（OIST）機械学習とデータ科学ユニットの研究チームは、フェデレーテッドラーニング（FL、連合学習）における堅牢性と効率性の両立という長年の課題を解決する新たなアーキテクチャを発表しました。研究チームは、その理論的基盤を数学的に証明することで、急速に発展する一方で非公開の手法も多いAI開発分野において、新たな指標を示しました。

「私たちのモデルは、通信効率を維持しながら悪意のある参加者にも耐えられる、FLの実現に向けた有望な道筋を示しています。これまでの手法は、効率性か堅牢性のどちらか一方を重視する傾向がありました。しかし、クライアント端末から過去に送られた情報をシステムが記憶できるようにすることで、私たちの手法はその両立を可能にしました」と、本研究の筆頭著者であり、同ユニットの博士課程学生である大塚馨さんは説明しています。

単一障害点か、開発の遅れか、それとも“裏切り者”への対策か？

一元化されたAI開発システムとは異なり、FLではデータを各端末内に保持したまま学習できるため、データが一か所に集中することで生じる情報漏えいリスクや、障害が発生した際にシステム全体へ影響が及ぶ「単一障害点」の問題を軽減できます。FLでは、AIモデル全体は中央サーバーで管理される一方、学習は個々のクライアント端末に分散して行われます。そのため、機密データを用いた学習は各端末内で完結し、データそのものを中央サーバーへ送信する必要がありません。代わりに、各クライアントは学習によって得られた数値情報（勾配）をサーバーに送信し、それらを用いてモデル全体のパラメータを更新することで、性能を向上させます。

FLの代表的な例として、スマートフォンのキーボード予測機能が挙げられます。各端末上で動作するモデルが、利用者それぞれのメッセージ入力履歴をもとに学習し、入力中の文章の次の単語を予測します。メッセージの内容そのものを送信する代わりに、各端末は学習によって得られた勾配のみを中央サーバーに送信します。サーバーはそれらを集約し、モデル全体の性能向上に役立てます。

しかし、FLは、いわゆる「ビザンチン将軍問題」の影響を受けやすいという課題があります。これは、ビザンチン帝国の同盟軍の将軍たちが直面したかもしれないジレンマにちなんで名付けられた仮想的な問題で、異常値に対する堅牢性の重要性を示しています。戦いに勝つためには、同盟軍の将軍全員が攻撃か全面撤退のどちらかを統一して命令する必要があります。しかし、裏切りや誤判断によって一人でも異なる命令を出す将軍がいると、軍全体が壊滅的な敗北を被るおそれがあります。FLにおいても、たった1台のクライアント端末から送られた異常な勾配によって、モデル全体の性能が大きく低下したり、深刻なデータセキュリティリスクが生じたりする可能性があります。

ビザンチン型クライアントへの対策として、現在のFLシステムでは、モデル全体のパラメータを更新する前に、すべての勾配を集約して外れ値の影響を抑える方法がよく用いられています。しかし、この方法ではクライアント端末の数が増えるほど通信時間も大幅に増加し、モデルの学習や開発が著しく遅くなってしまいます。一方、広く利用されている別の手法に「部分参加」があります。この方法では、短い間隔で一部のクライアントだけを選んで、その勾配を平均化します。しかし、異常な勾配がサンプル内の大きな割合を占めてしまう可能性があるため、この方式は十分な堅牢性を備えていません。

過去の情報を記憶し、高速性と安全性を維持

効率性と堅牢性の両立という課題を解決するため、研究チームは、部分参加方式をビザンチン型クライアントに対しても堅牢にする新たな手法を開発しました。大塚さんは次のように説明します。「私たちのアルゴリズムは、過去に各クライアントから送られた勾配を記憶し、将来の集約処理に活用します。例えば、10人のクライアントが参加する部分参加型システムを考えてみてください。通信コストを抑えるため、各ラウンドでは3人のクライアントだけが勾配を送信します。もしその3人のうち2人がビザンチン型クライアントだった場合、それらの異常な勾配が集約結果に大きな影響を与えてしまう可能性があります。そこで私たちは、10人全員について直近の勾配をサーバーに保存しておきます。そして、今回選ばれたクライアントから届いた新しい勾配に加え、選ばれなかったクライアントについては保存しておいた勾配を用いて集約を行います。つまり、毎回3人しか通信に参加しなくても、集約処理では実質的に10人全員の情報を利用できるのです。このように保存した過去の勾配を継続的に更新しながら活用することで、悪意のあるシグナルの影響を抑えつつ、部分参加方式の高速性を維持できます。」

同ユニットを率いる山田誠准教授は、このアルゴリズムの可能性について次のように語ります。「AI分野は急速に進化しており、新しいアルゴリズムの多くは非公開であったり、特定の条件下でのみ有効性が確認されていたりします。エージェント型LLM（大規模言語モデル）をはじめとする機械学習技術が私たちの日常生活のさまざまな場面で利用されるようになる中で、通信効率とビザンチン耐性を両立するこのアルゴリズムの数学的な妥当性を示すことで、安全なフェデレーテッドラーニングのさらなる発展につなげられたらと思います。」