Carnegie Mellon Üniversitesi araştırmacıları tarafından geliştirilen kamera sistemi, ses titreşimlerini o kadar hassas ve detaylı bir şekilde algılayabiliyor ki bir orkestra veya grupta tek bir enstrümanın müziğini yeniden oluşturabiliyor.

Düşük maliyetli

Sistem iki kamera ve bir lazerden oluşuyor. Araştırmacılar, oluşturdukları sistemin insan gözünün göremediği, yüksek hızlı ve düşük genlikli yüzey titreşimlerini algılayabildiğini belirtiyor. Sistemde önceki araştırmalarda kullanılan yüksek hızlı kameralar yerine daha uygun fiyatlı kameralar tercih edilmiş. CMU Robotik Enstitüsü profesörü, optik mikrofonu çok daha pratik ve kullanılabilir hale getirdiklerini, bunu da düşük maliyetle başardıklarını söylüyor.

Kamera sistemi nasıl çalışıyor?

Algoritma, rolling shutter ve global shutter ile yakalanan nokta desenleri karşılaştırıyor. Desenler arasındaki farkları kullanarak titreşimleri hesaplıyor ve sesi yeniden oluşturuyor. Muhtemelen lazer ile oluşturulan nokta desen, sert bir yüzeye yansıdıktan sonra alandaki uygun ışığın hareketini ifade ediyor. Bu hareket yüzey titreştikçe değişiyor. Sarmal deklanşör görüntüyü bir uçtan diğer uca hızla tararken, global deklanşör aynı anda tüm görüntüyü yakalıyor.

Ödül aldı

Bilgisayarlı görü konusunda önde gelen konferanslardan CVPR’de ödül alan sisteme ilişkin araştırmada yer alan isimlerden O’Toole, bu sistemin bilgisayarlı görü ile yapılabileceklerin sınırlarını zorladığını belirtiyor.

Nerelerde kullanılabilir?

Bilgisayarlı görü alanındaki çoğu çalışma, alandaki nesneleri tanımak veya takip etmek için eğitim sistemlerine odaklanıyor. Bu çalışma sistemlerin algılanamayan, yüksek frekanslı titreşimleri daha iyi görmesini sağlaması açısından bilgisayarlı görü için yeni uygulamaların yolunu açıyor.

Ekibin çift deklanşörlü optik titreşim algılama sistemi, ses mühendislerinin düzenleme aşamasında istedikleri enstrümana odaklanmalarını kolaylaştıracak. Veyahut üreticiler, bu sistemle fabrikadaki makinelerden gelen titreşimleri izleyerek sorunu daha rahat tespit edebilecek. Bu teknolojinin uygulanabileceği birçok alan var.