كل ما تحتاج معرفته عن Dream Machine لتحويل النصوص إلى فيديو

أطلقت Luma AI نموذج تحويل النص إلى فيديو باستخدام AI Dream Machine، ويمكن للنظام إنشاء مقاطع فيديو تصل مدتها إلى خمس ثوانٍ بمطالبات نصية بسيطة أو وصفية.

يمكن لنموذج الذكاء الاصطناعي إنشاء مقاطع فيديو بأنماط مختلفة مثل السينمائية والرسوم المتحركة والواقعية والمزيد. تدعي شركة الذكاء الاصطناعي أن Dream Machine تم تدريبها بشكل كامل على مقاطع الفيديو، وهي قادرة على إنتاج “لقطات دقيقة ومتسقة ومليئة بالأحداث”. النظام الأساسي حاليًا مجاني للوصول والاستخدام، ولكن من المحتمل أن يكون له حد للجيل اليومي.

Luma AI تطلق Dream Machine لأول مرة

وبحسب الموقع، فإن نموذج Dream Machine AI مبني على نموذج محول ويتم تدريبه مباشرة على مقاطع الفيديو. عادة، يتم تدريب نماذج اللغات الكبيرة (LLMs) على النصوص والصور ثم يتم نقلها إلى مقاطع الفيديو، لأنها تتطلب فهمًا مكانيًا وحركيًا أعمق. وأضافت الشركة: “”Dream Machine هي خطوتنا الأولى نحو بناء محرك خيالي عالمي المستوى.”

تنضم Dream Machine إلى منصات توليد الفيديو مثل Runway AI وPika 1.0 الموجودة أيضًا في المجال العام وتوفر القدرة على إنشاء فيديو في ثلاث إلى خمس ثوانٍ. قامت Gadgets 360 بتجربة النظام الأساسي ووجدت أن الالتزام الفوري بالمنصة هو دون المستوى المطلوب. إنه يعاني من الطابع المتعدد أو عندما يكون جهاز التوجيه معقدًا للغاية، ومع ذلك، بالمقارنة مع الاثنين الآخرين، فهو قادر على إنتاج مقاطع فيديو سينمائية بجودة أعلى.

وتستغرق منصة الذكاء الاصطناعي 120 ثانية لإنشاء مقطع فيديو تدعي الشركة أنه سيحتوي على 120 إطارًا مختلفًا. يقال أيضًا أن Dream Machine تفهم كيفية تفاعل الأشخاص والحيوانات والأشياء مع العالم المادي وإنشاء مقاطع فيديو ذات فيزيائية دقيقة واتساق الشخصية.

ومع ذلك، سلط Luma AI الضوء أيضًا على العديد من القيود في الوضع الحالي مثل الحركة والنص والتحويل ومشكلة Janus الشهيرة، حيث بدلاً من عرض مخرجات ثلاثية الأبعاد متسقة، يعرض نموذج الذكاء الاصطناعي مناظر أساسية متعددة لكائن ما في اتجاهات مختلفة.

لم تشارك Luma AI أي تفاصيل فنية حول نموذج الذكاء الاصطناعي، لذا فإن المعلومات حول حجم المعلمة والمعلمات والهندسة المعمارية وطرق التدريب غير معروفة. ولم تشارك الشركة أيضًا أي تفاصيل حول شراء بيانات التدريب. ومن الجدير بالذكر أن Gadgets 360 تمكنت من إنشاء العديد من مقاطع الفيديو التي تحتوي على أحرف محمية بحقوق الطبع والنشر.

لتجربة المنصة، يمكن للمتحمسين الذهاب إلى الموقع والنقر على زر “جرب الآن”. سيتعين على المستخدمين التسجيل في النظام الأساسي قبل أن يتمكنوا من إنشاء مقاطع فيديو.