این سیستم مبتنی بر AI می داند هر ساز چه شکل و چه صدایی دارد !!!

بسیاری از اوقات در زمان اجرای یک گروه موسیقی یا تماشای یک موزیک ویدیو ما می خواهیم بدانیم هر ساز به تنهایی چه ریتمی یا ملودی می نوازد، اما تشخیص این کار برای افرادی که دانش موسیقی ندارند بسیار سخت اما نگران نباشید !!! سیستمی در MIT توسعه داده شده است که قابلیت تشخیص و تفکیک صدای هر ساز در یک آهنگ را دارد!

این سیستم که با نام PixelPlayer شناخته می شود،یک سیستم مبتنی بر هوش مصنوعی است که با بیش از 60 ساعت ویدیو آموزش دیده است. با تجزیه و تحلیل حرکات آشکار و گروه بندی متمایز پیکسل ها در ارتباط با تصاویری از ساز های خاص که در حال نواختن بودن، به تدریج این سیستم در شناسایی این سازها در ویدیو بهتر و بهتر عمل کرد. در عین حال، این سیستم هوشمند برای تشخیص امواج صوتی منحصر به فرد در ارتباط با هر یک از سازها آموزش دیده است.

همچنین بخوانید : ادوبی از هوش مصنوعی برای تشخیص تصاویر جعلی و فوتوشاب شده استفاده می کند!

در نتیجه، نسخه فعلی PixelPlayer قادر به تجزیه و تحلیل یک ویدیو است که هرگز قبل از آن در نرم افزاری دیده نشده  است، و به طور خودکار ظاهر و صدای مربوط به بیش از 20 ساز معمول مورد استفاده شده در موسیقی را شناسایی میکند. برای استفاده از این ویژگی فقط کافیست کاربران  بر روی هر یک از این سازها روی صفحه کلیک کنند و برنامه صدای آن ساز را از دیگر سازها جدا می کند – پس از آن امکان افزایش یا کاهش حجم صدای آن ساز به میزان دلخواه نیز وجود دارد.

پس از تکمیل و آموزش برای شناسایی ابزارهای بیشتر، انتظار می رود PixelPlayer بتواند برای برنامه های کاربردی مانند ویرایش میکس های موزیکال و یا تغییر یک ساز با ساز دیگری در یک آهنگ ! برای مثال تعویض صدای گیتار با پیانو الکتریک!!! مورد استفاده قرار گیرد. در واقع این نرم افزار به شما امان ویرایش موسیقی در ویدیو را به شما میدهد!!! در ادامه بخوانید : Djay Pro ۲ برای مک با استفاده از هوش مصنوعی به بهینه سازی میکس های شما کمک می کند

این تکنولوژی همچنین می تواند در روبات ها و برای تشخیص اشیائی که تولید صدا می کنند، مورد استفاده قرار می گیرد، همانند وسایل نقلیه و حیوانات !

دانشجوی دکترا Hang Zhao، نویسنده اصلی مقاله در این تحقیق می گوید: “ما بهترین سناریوی ممکن را پیش بینی می کنیم جایی که بتوانیم تشخیص دهیم چه سازهایی کدام نوع صداهایی را تولید می کنند.” “ما شگفت زده شدیم که ما در واقع می توانیم مکان قرار گیری سازها در تصویر را در سطح پیکسلی تشخیص دهیم. این توانایی فرصت های زیادی را برای ما ایجاد خواهد کرد.

 

همچنین بخوانید