欧州連合（EU）の議員らは2026年3月11日、AI法（AI Act）の改正案で政治的合意に達し、AI生成による非同意の性的画像（いわゆるディープフェイクポルノ）の禁止が最も議論を呼んだ項目の一つとなりました。
今回の改正では、本人の同意なく「性的な行為や身体の親密な部分を描写する」リアルな画像を生成するAIシステムの使用が禁止されます。児童の性的虐待素材（CSAM）の生成も明確に禁止対象です。ただし、企業がそのようなディープフェイクの作成を制限する措置を講じている場合は、禁止の適用外となります。
この動きの背景には、Elon Musk氏のxAIが提供する「Grok」を使用して、数千件の女性や子どもの裸体画像が生成されたという事件があります。この騒動を受けて規制強化の機運が高まり、欧州議会と欧州各国政府が同様の禁止措置で合意したことで、今年中に法制化される見通しとなりました。
Hacker Newsでは「技術的な執行可能性」への疑問と「規制の必要性」に関する議論が活発に行われており、Redditではディープフェイク被害者保護の観点から支持する声が上がっています。AIの進化がもたらす新たな倫理的課題に対し、EUが規制面でリーダーシップを取り続けている形です。