こんにちは。ネットワールドの大谷です。
本稿は「OPSWAT AI Content Inspector検証レポート ～AIテキスト解析編～」の続きとなります。
最終回となる今回は、AI生成PDFの解析結果と処理性能について検証しました。
動作検証
今回動作検証として、以下ケースで行いました。
多岐にわたり検証をしているので、本稿は3部に分けて投稿させていただいております。 実際の運用でAI生成コンテンツの判定やコンテンツの真正性確認を検討されている場合は、 参考にしていただけると幸いです。
1. AIで作成した画像：済
2. スマートフォンで撮った写真（AI画像ではない）：済
3. AIで作成した文章（txtベース）：済
4. 人の手で作成した文章（txtベース）：済
5. AIで作成したPDFファイル：本稿で紹介
- 5KB程度：本稿で紹介
- 3MB程度：本稿で紹介
6. AIで作成したテキストファイルをPDF化：本稿で紹介
※本稿は2026年6月10日時点の検証結果です。OPSWAT製品は継続的に機能強化が行われているため、閲覧時期によってはUIや設定項目、検出結果の表示内容が本記事と異なる場合があります。
5. AIで作成したPDFファイル
AIでPDFファイルを生成してもらい、スキャンを試してみました。
結果は想定通りAI Generatedとなりました。
「AI-Text Classifier」は、ほぼ100%の確率でAI生成テキストと判定していました。
一方で、「Text Forensic Aggregator」は23.94と比較的低いスコアでした。
次に同じ文章を複数行書いたPDFファイルをAIに作成してもらい検証しました。
想定通り「Text Forensic Aggregator」が高い数値となりました。
同じ文章の繰り返しと、全文が異なるAI生成文章を比較した結果を以下に示します。
本結果を見ると「AI-Text Classifier」はどちらのケースでも非常に高いスコアを維持しており、文章全体の構造や文体、表現の特徴からAI生成テキストである可能性を評価しているように見受けられました。 同じ文章を繰り返したPDFでは高いスコアを示したのに対し、全文が異なる文章で構成されたPDFでは大幅に低いスコアとなりました。
この結果から、Text Forensic Aggregatorは文章全体の統計的特徴や均一性、繰り返し傾向などを総合的に評価しているのではないかと考えられます。
また、AI-Text Classifierは文章の内容そのものではなく、文体や構文、単語選択などAI特有の特徴を学習済みモデルで評価している可能性があるのではないかと仮説を立てました。
今回の検証では、同じAI生成テキストであっても文章構成によって「Text Forensic Aggregator」のスコアが大きく変動することを確認できました。
次に同じように、3MB程度のPDFファイルを生成してスキャンしました。
結果、AI Content InspectorはProcess Timed Outで落ちてしまいました。
AI Content Inspectorだけで10分かかりました。
今回の結果から、AI Content Inspectorはファイル形式そのものではなく、抽出したコンテンツ量に比例して処理時間が増加する可能性があると仮定しました。 次に比較のため、同程度のサイズのテキストファイルでも検証を実施しました
やはり、こちらもProcess Timed Outとなりました。
3MBのPDFファイル同様の時間がかかっていることがわかります。 実際に同程度の容量を持つPDFファイルとテキストファイルで同様の処理時間を示しました
今回の結果から、AI Content Inspectorはファイル形式そのものよりも、抽出したテキスト量や解析対象のコンテンツ量の影響を大きく受けているように見受けられました。
6. AIで作成したテキストファイルをPDF化
最後に3でAIにて生成したテキストファイルをPDF化し、スキャンを実行したら今回の検証の中でも特に興味深い結果となったため、以下に記載いたします。
以下のように、結果はAI Generatedではなく「No Threat Detected」になりました。 AI Content Inspectorも「Uncertain（不確か）」と解析しました。
今までは、AI-Text Classifierが高いスコアを示し、Text Forensic Aggregatorは比較的低い値となるケースが多く見られました。 今回は全く逆の傾向となり、「Uncertain」となりました。
元データは同じ内容のAI生成データであるにもかかわらず、テキストファイルとしてスキャンした場合と、PDF化してスキャンした場合で判定が変わるケースが確認できました。
このことからAI Content Inspectorは単に文字列そのものを解析しているのではなく、 複数の分析結果を組み合わせて総合的に評価しているように見受けられました。
また、当初はAI Generated判定の主要因ではないかと考えていたText Forensic Aggregatorは97.48という非常に高いスコアを示していたにもかかわらず、最終結果はNot Detectedだったということで、
最終判定は単純に1つの検出器によって決定されるのではなく、複数の分析結果を組み合わせて総合的に判断されている可能性が高いと感じました。
まとめ
今回の検証では、AI Content InspectorはAI生成コンテンツの検出に有効である一方で、人が作成した文章やファイル形式によって判定結果が変化するケースも確認できました。
そのため、AI Generatedという結果だけで判断するのではなく、各検出器のスコアやコンテンツの特性も併せて確認することが重要だと感じました。
また、AI Content InspectorはMetaDefender Coreの他機能やEmail Gateway Securityと組み合わせることで、マルウェア対策だけでなく、AI生成コンテンツや改ざんコンテンツの検知にも活用できる可能性があります。
生成AIの活用が広がる中、「ファイルが安全か」だけではなく、「そのコンテンツが信頼できるか」を確認することの重要性は今後さらに高まると考えられます。
引き続き、新しい機能やアップデートについても検証を行い、実運用の観点から得られた結果を共有していきたいと思います。
最後まで読んでいただきありがとうございました。
ネットワールドが開催する 年に一度の大イベント
【 Networld Wiz 2026 】お申込み受付中！！
本ブログでご紹介したメーカーもイベントへ出展します！
セッション & ブース出展情報 随時更新中
▼ぜひチェックしてください▼
