NTTは、大規模言語モデル（LLM）の応答精度をセキュリティに配慮しつつ向上させる新技術を確立した。これは、自動応答サービスにおいて、LLMの学習に用いられたデータからの情報漏洩リスクを抑えながら、より正確な応答を実現する手法だ。特に、医療・行政・金融といった個人情報など、利用者に関わるデータの扱いに慎重さが求められる分野での将来的なLLM活用に貢献すると期待される。
LLMの文脈内学習（In-Context Learning; ICL）は、過去の入力と応答のペア（例題）をあらかじめ与えることで、LLMの応答を誘導する手法だ。これにより、チャットボットなどで新しい問い合わせに対し、過去の応答傾向に基づいた自動応答が可能になる。しかし、この仕組みは、新たな利用者が特定の問い合わせを繰り返すことで、「ある問い合わせがあったか」といった情報が統計的に漏洩するリスクを抱えていた。
図1 文脈内学習を活用する上での情報漏洩リスクとその対処アプローチ
a：文脈内学習を用いたサービスイメージと機微情報の漏洩リスクの例
b：ノイズにより漏洩リスクを低減するイメージ例
この情報漏洩リスクを低減するため、差分プライバシー（Differential Privacy; DP）DP-ICLという手法が注目されている。差分プライバシーとは、統計的処理の出力から個別のデータが識別されにくいことを定量化するプライバシー保護の強度だ。しかし、DP-ICLではノイズの影響で例題の内容が曖昧になり、LLMが正しい応答傾向を捉えにくくなるため、応答精度が大きく低下するという課題があった。
NTTは、このDP-ICLにおける応答精度低下の要因をベイズ推論の枠組みで理論的に分析し、二つの新たな知見を明らかにした。知見1として、無関係な単語を生成候補から除外することで、ノイズによる悪影響が緩和されることを理論的に裏付けた。また、知見2として、ルールを特徴づける重要な単語の生成確率を意図的に高めることで、ノイズが加えられてもLLMが正しいルールをより高精度に推定できることを示した。
これらの知見に基づき、NTTは、差分プライバシーを維持しつつルールの推定精度を向上させる新たな例題生成手法「Plausible Token Amplification（PTA）」を提案した。PTAは、無関係な語の生成を抑えつつ、ルールを特徴づける単語の生成確率を高めた上で、ノイズを加えて安全な例題を生成する。これにより、LLMはノイズが加えられた安全な例題からでも正しいルールを高精度に推定でき、応答精度と安全性の両立を実現する。PTAは、過去の問い合わせがLLMの入力に使われたかどうかの推測を統計的に困難にすることに焦点を当てている。
PTAの有効性は、ニュース記事のトピック分類タスクで確認されており、既存のDP-ICL手法を上回る精度向上と、ノイズを加えないICLと同等の精度を実現できることが示された。
今後、NTTは単語強調処理の高度化を進め、統計的な漏洩リスクを抑えつつ高精度な応答を維持する手法の確立を目指す。また、自由記述形式の問い合わせなど、より柔軟な入力構造へのPTAの応用も視野に入れている。
また、2025年7月13日から19日にカナダで開催される機械学習分野の国際会議「International Conference on Machine Learning (ICML) 2025」にて発表される予定だ。
NTTリリース：https://group.ntt/jp/newsrelease/2025/07/07/250707b.html