تطوير تقنية جديدة لتحريك الوجوه في الصور الثابتة

معا- منذ عام تقريبًا، خُدع الفنان العالمي توم كروز، على وسائل التواصل الاجتماعي بمقاطع فيديو مزيفة أشبه بالواقعية، بشكل مثير للإعجاب، وتبين أن وراء ذلك الممثل مايلز فيشر وخبير المؤثرات البصرية كريس أوميه، بعد أن وضع كلاهما أسابيع من العمل في كل مقطع فيديو لتحقيق جودة عالية بشكل استثنائي.

بالإضافة إلى التكنولوجيا، فإن تشابه فيشر الوثيق مع Tom Cruise الحقيقي كان أمرًا حاسمًا في عملية التزييف، لأن تقنيات التزييف العميق الحالية تعمل بشكل جيد بشكل خاص عندما يتشابه شكل الوجه والشعر والميزات الأخرى للرؤوس الحقيقية والمزيفة.

ويعرض باحثو الذكاء الاصطناعي في مختبرات سامسونج الآن نظامًا للذكاء الاصطناعي يمكنه إنشاء صور رمزية عالية الدقة من صورة ثابتة واحدة أو لوحة، بحسب ما ذكرته تقارير صحفية نشرت في مواقع عالمية مهتمة بمجالات التكنولوجيا.

وتطلق مختبرات سامسونج على نظامها الجديد Deepfake MegaPortraits، ويلتقط النموذج الأساسي مظهر الصورة المصدر بالإضافة إلى حركة الصور المصدر والهدف.

وتتم معالجة المظهر والحركة بشكل منفصل بواسطة النموذج، ويتم نقلهما إلى الصورة المستهدفة. لهذا الغرض، يتم دمج المعلومات أولاً في مولد التفاف ثلاثي الأبعاد ثم تحويلها إلى الصورة المستهدفة بواسطة مولد التفاف ثنائي الأبعاد. بعد ذلك، يتم تحسين كل صورة مستهدفة بشكل إضافي بواسطة نموذج HD منفصل.

ويقول الباحثون إن نتائج MegaPortrait رائعة وتظهر تحسينات كبيرة على الأساليب القديمة. يعرض الفريق أمثلة على الموناليزا أو براد بيت الذي أصبح أفاتارًا حقيقيًا لشخص تم تصويره بواسطة كاميرا فيديو.

وبالإضافة إلى النموذج الأساسي، قام الفريق أيضًا بتدريب نموذج أصغر يعمل في الوقت الفعلي بمعدل 130 إطارًا في الثانية على Nvidia RTX 3090، وربط هويات 100 تجسيد عصبي يحتوي عليها بصور مصدر محددة مسبقًا.

وكتب الباحثون أن مثل هذه العملية في الوقت الفعلي وضمان الهوية المثبت من خلال الارتباط بصور المصدر المخزنة ضروريان للعديد من التطبيقات العملية لأنظمة الصور الرمزية التي تركز على الوجه.

ولا يزال الفريق يرى نقاط ضعف في حركات الكتف، وحركات الرأس غير المحاذية للأمام، ووميض طفيف على الجلد ناتج عن الصور الثابتة عالية الدقة في لقطات التدريب. ويخطط الباحثون لمعالجة هذه القضايا في ورقة قادمة.