در این ویدیو و مقاله جدید، رویکرد جدیدی به نام Motion DUSt3R (MonST3R) معرفی شده است که مستقیماً هندسه صحنههای پویا را برای هر بازه زمانی برآورد میکند. چالش اصلی چنین روشهایی کمبود دادههای آموزشی مناسب است. با این حال، توسعهدهندگان این الگوریتم با آموزش مدل بر روی دادههای محدود و بهینهسازیهای جدید، این روش نتایج خوبی در برآورد عمق و موقعیت دوربین ارائه میدهد و در بازسازی چهار بعدی نیز امیدوارکننده است.
هرچند که نفس کار، چیز جدیدی نیست و برای این مهم خیلی تلاش صورت گرفته است، ولی کار این دوستان خیلی خوب و جذاب بنظر میرسد، دنیایی از کاربریهای جذاب در حوزه محتوا (و البته موارد دیگر! نظیر آنچه در سریال قدرنادیده Intelligence با بازی جاش هالووی عزیز شاهد آن بودیم) با چنین روشهایی میسر میشود و فقط بیزینس مدل صحیح در زمان درست باید روی آن سوار شود.
لینک دموی پویای این فناوری:
https://monst3r-project.github.io/page1.html
لینک مقاله:
https://arxiv.org/abs/2311.17034
@MasoudSharings