論文「When Benchmarks Leak」がACL 2026に採録されました
2026.07.06
大規模言語モデルの比較にはベンチマークによる評価が標準的に用いられますが、テストデータが学習データに漏れ込むテストセット汚染によって、報告される性能が実力以上に高く出てしまうという問題があります。
本研究は、モデルを再学習することなく評価時のみで完結する汚染除去フレームワーク DeconIEP を提案しました。入力の埋め込み空間に小さく有界な摂動を加えることで汚染の影響を取り除き、モデルの真の性能を測れるようにします。
【論文情報】
Jianzhe Chai, Zhe Yu, Jun Sakuma, “When Benchmarks Leak: Inference-Time Decontamination for Large Language Models,” Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), pp. 44743-44760, July 2026.