操作されたメディアがより安く、より速く、より検出されにくくなるにつれ、そのコストはプラットフォームではなく被害者が負担することが増えています。
Julia Jakimenko は、2024 年に設立されたオランダのスタートアップ企業 Cyberette.ai の創設者兼 CEO です。同社は、ディープフェイク、音声クローン、改変された画像、ビデオ、テキストなどの操作されたデジタル コンテンツを検出、分析、説明するための AI ソフトウェアを構築しており、特に詐欺や調査のユースケースに重点を置いています。
チームが今週の CES の準備をしている間、私はさらに詳しく知るためにヤキメンコ氏に話を聞きました。
Cyberette に入社する前は、Jakimenko は銀行業界のデータ セキュリティとコンプライアンスの分野で働いていました。トレンドに従って、彼女は顔の交換や画像操作などの AI 埋め込みツールの出現を目の当たりにしました。しかし、友人の顔や体を使って画像が作成され、男性を騙して金を騙し取るために出会い系サイトに掲載されたことで、それは個人的なものになった。
「彼女はひどい思いをし、責任を感じて被害者の一人に送金さえしました。被害者は彼女だけではありませんでした。このようなことが繰り返し起こっているのを、特に女性に見てきました。」
ディープフェイクの露骨な画像の 80 パーセント以上は女性をターゲットにしており、そのほとんど、特にセクストーション事件は未解決のままです。つい今週も、Grokは女性の画像を加工して服を脱がせたり、性的な体位にさせたり、射殺される女性の同意のない画像を作成したりするために男性が使用しているとして非難された。ディープフェイクが衰える兆しがない中、ジャキメンコさんは行動を起こそうと奮起した。
彼女の仕事により、セキュリティ ワークフローを理解し、技術的な人材にアクセスできるようになりました。そこでヤキメンコ氏は、VU 銀行の元同僚と最初のプロトタイプを作成しました。
「Web Summit でこれを展示し、強い関心を集め、その後、受け取った見込み客に基づいて開発を開始しました。その後、ラボバンクから資金とマイクロソフトからの助成金を受け取り、そのおかげで製品の開発を続けることができました。」
そこから同社は AI 研究者、データ サイエンティスト、セキュリティ専門家からなるチームを構築し、主要な工科大学とのパートナーシップを築いてきました。
Cyberette は、メディア フォレンジックの洞察と、C2PA 標準と透かしを使用したコンテンツ認証に裏付けられた、操作されたメディアのリアルタイム検出を可能にし、政府、メディア組織、企業をサポートします。
このスタートアップは、実際に使用できる説明可能性、来歴、構造化された証拠を提供することで、ディープフェイクに対処する調査チームをサポートすることを目的としています。
なぜ別のディープフェイク検出ツールが必要なのでしょうか? 「本物か偽物か」を超えて
Jakimenko 氏によると、既存のツールのほとんどは、顔のアーティファクトを強調表示するなど、基本的な説明可能性を備えた本物か偽物のスコアに重点を置いています。 Cyberette は、一般的なディープフェイク検出ではなく、詐欺検出に重点を置いています。彼女は次のように説明します。
「私たちは、コンテンツがどのように変更されたか、変更された理由、および周囲のコンテキストを分析します。
私たちは、改ざんパターン、使用された可能性のあるモデル、おおよその日付、および場合によっては IP レベルの指標などの出所情報を提供します。」
証拠としての説明可能性
Cyberette の検出アプローチは、複数の技術を組み合わせて、操作されたメディアや合成メディアを迅速かつ正確に検出します。 Cyberette は、ランドマークベースの検出を使用して、顔の形状、ポーズ、動きの不一致を特定するとともに、異常スコアリングを通じて変更された領域を強調表示するヒートマップベースの分析を使用します。
感情分析は、口調の変化やためらいなどの異常な感情的手がかりにフラグを立てることで別のレイヤーを追加し、リアルタイム検出はライブ シナリオの場合、2 秒以内に結果を提供します。
追加機能には、透かしやメタデータ分析のほか、より深い調査をサポートする広範なメディア フォレンジックや脅威インテリジェンスが含まれます。
リアルタイムで一か八かのワークフロー向けに構築
このプラットフォームは、調査と監視のワークフロー専用に設計されており、ゼロから構築され、正確なリアルタイム検出タスク向けに最適化された社内 AI モデルを使用しています。
「調査のユースケースでは、音声、視覚信号、文脈上の意味の間の不一致を分析するなど、関連する場合は意図も説明します」とヤキメンコ氏は説明しました。
精度、遅延、アーキテクチャのエッジ
Cyberette の技術的優位性は、テスト済みのデータセット全体で 99.7% の精度を実現しながら、リアルタイムで低遅延の結果を大規模に提供できることにあります。
ヤリメンコ氏によると、
「これは、当社の強力なバックエンド アーキテクチャと軽量モデルの結果です。当社の API はリアルタイム検出用に設計されています。
さらに、Cyberette はクラウドでも完全にオンプレミスでも実行できます。
当社の顧客の多くは強力なローカル インフラストラクチャと GPU を備えているため、クラウドに依存せずにシステムを効率的に実行できます。」
リアルタイム調査ワークフロー向けに構築
Cyberette の主な顧客は、防衛脅威監視プラットフォーム、公共部門の組織、民間部門の不正行為および調査部門を含む調査および監視チームです。
公共部門では、国防、情報機関、法執行機関向けのライブ検証、生体認証チェック、行動分析を通じて重要なコミュニケーションを強化します。
企業にとって、このプラットフォームは行動を分析し、既存のセキュリティ システムと統合し、銀行や金融機関向けに大規模に運用することで不正行為を防止します。また、メタデータ チェック、インテリジェントな透かし入れ、クロスプラットフォーム モニタリング、クリエイター、ブランド、タレント エージェンシー向けの C2PA 検証を通じて、ライセンスされたコンテンツを保護します。
さらに、Cyberette はビデオ会議ツール (Teams、Zoom、Google Meet) と統合し、参加者認証と即時操作検出による安全なビデオ会議、生体認証分析と SDK による大量の安全な本人確認、使いやすい検出ツール、実用的な学習モジュール、シームレスな統合を備えた強化された e ラーニング プラットフォームを保証します。
このプラットフォームは、パフォーマンスを犠牲にすることなく数百万のユーザーと数十億のファイルをサポートするように設計されており、GPU と CPU の両方で効率的に実行されるため、コストが低く、アクセシビリティが高く保たれます。 Cyberette はグローバル展開向けに構築されており、設計上コンプライアンスに対応しており、GDPR、ISO、および PII 標準にわたる厳しい要件を満たしています。
「当社は C2PA の出所および認証ツールを統合しています。これは Microsoft や Adobe などの組織によってサポートされており、業界全体でますます信頼されています。誤った情報が増加するにつれて、出所フレームワークは不可欠なものになってきています」と Jarimenko 氏は述べました。
同社のロードマップに関して言えば、同社はパイロットと完全商用展開の間に位置します。
「当社にはすでに有料の顧客がいますが、問題が最も深刻な特定の顧客と業界を意図的に選択しました。」
少額の経済的損失を伴う事件もありますが、誘拐の脅迫、ネットいじめ、性的強要、虐待事件など、人命に関わる事件もあります。
「私たちはコロンビアの法医学チームとシンガポールの政府防衛組織と協力しました。また、ドイツ政府とオランダ政府からも関心を持っています。昨年、オランダ政府はまだ十分な症例を確認していないと述べました。私は状況が変わることを期待しています。」
ディープフェイクは改良されているが、プラットフォームはディープフェイクを止めていない
ヤリメンコ氏は、ディープフェイクが衰える兆しはなく、むしろディープフェイクは増加し、品質が向上すると信じています。
「私たちは、AI が生成した出力が信頼できる情報としてブラウザーやプラットフォームによってプッシュされる状況に移行しつつあります。これにより、混乱と信頼の欠如が生じます。
現時点では、プラットフォームがこれを阻止する動機はほとんどありません。そのため、私たちはすでに詐欺や犯罪に対処しているチームに焦点を当てています。」
Cyberette はシードラウンドを調達しながら、今後数か月以内に市場に出す予定です。調査の状況に関連する場合は行動分析と感情分析に拡張し、その後、操作ライフサイクルの初期段階を調査する予定です。しかし今のところ、影響が大きくリスクの高いケースに焦点を当てている。