NESNE MODELLEME: VIDEO İMGELERI KULLANILARAK F-MATRISININ HESAPLANMASI

DEÜ MÜHENDİSLİK FAKÜLTESİ MÜHENDİSLİK BİLİMLERİ DERGİSİ Cilt: 16 Sayı: 48 sh. 9-20 Eylül 2014 NESNE MODELLEME: VİDEO İMGELERİ KULLANILARAK F-MATRİSİNİN HESAPLANMASI (OBJECT MODELLING: CALCULATION OF F-MATRIX USING VIDEO IMAGES) Abdullah Erhan AKKAYA1, Muhammed Fatih TALU1 ÖZET/ABSTRACT Epipolar geometri, bir nesneye veya sahneye ait farklı iki açıdan çekilmiş görüntü çiftleri arasındaki geometrik ilişkiyi tanımlamaktadır. Geometrik ilişkiyi ortaya çıkarabilmek için iki görüntüdeki benzer noktaların yakalanması, eşleştirilmesi ve epipolar geometriyi temsil eden temel matrisin (F–fundamental matrix) hesaplanması gerekmektedir. Temel matrisin hesaplanması, 3D modelleme, hareket segmentasyonu, stereo görme, kamera kalibrasyonu gibi sonraki aşamalar için hayati derecede önem arz etmektedir. Bu çalışmada, farklı konseptlerdeki etkin F-matrisi hesaplama yöntemleri altı görüntü çifti üzerinde incelenmiş, algoritmaların zaman ve doğruluk kıstaslarına göre karşılaştırmaları yapılmıştır. Elde edilen sayısal sonuçlar tablolar halinde sunulmuştur. Epipolar geometry, describes the geometric relationship between pairs of images that belongs to an object or a scene taken from two different angles. To reveal the geometric relationship, capturing of similar points in the two images, matching these points and calculating fundamental matrix (F-matrix) that represents the epipolar geometry are required. Calculation of the fundamental matrix has vital importance for the next stages like 3D modelling, motion segmentation, stereo vision, camera calibration. In this study, effective Fmatrix calculation methods of different concepts were examined on six image pairs and comparisons were made according to the algorithms’ time and accuracy criteria. The obtained numerical results are presented in tables. ANAHTAR KELİMELER/KEYWORDS Temel matris, Epipolar geometri, Hartley normalizasyonu, Sampson uzaklığı Fundamental matrix, Epipolar geometry, Hartley normalization, Sampson distance İnönü Ün., Mühendislik Fak., Bilgisayar Müh. Böl., 44280, MALATYA, e-posta: , 1 Sayfa No: 10 A. E. AKKAYA, M. F. TALU 1. GİRİŞ Temel matris (𝐹–fundamental matrix), bir videonun ardışıl iki imgesinde bulunan önemli noktalar arasındaki ilişkiyi tanımlar. Hareket segmentasyonu, 3D model oluşturma, kamera kalibrasyonu, stereo görme gibi birçok uygulama alanında 𝐹 matrisi kullanılmaktadır. 𝐹 matrisinin etkin ve doğru olarak hesaplanması, çoklu görüntü analizinde önemli bir problemdir (Hartley ve Zisserman, 2003). Analizi yapılacak görüntü sayısı iki olduğunda, bu iki görüntü arasında oluşan, sahne yapısından bağımsız, sadece kameranın içyapısı ile göreceli pozisyona bağlı olarak oluşan izdüşümsel geometriye “epipolar geometri” adı verilmektedir (Hartley ve Zisserman, 2003). 𝐹 matrisi epipolar geometriyi temsil eden temel matristir. Aynı sahnenin birbirine yakın olan farklı açılardan çekilen imgelerinin içerisinde barındırdığı tüm geometrik bilgi 𝐹 matrisi ile hesaplanmaktadır. Sahne üzerindeki X noktasının birinci ve ikinci görüntüdeki eş noktaları 𝑥 ve 𝑥 ′ ile temsil edilirse, 𝐹 matrisi kullanılarak, bu iki eş nokta arasında bir denklem kurulabilir (1). 𝐹 matrisi 3x3 boyutunda rankı 2 olan bir matristir (Luong ve Faugeras, 1996). 𝑥 ′𝑇 𝐹𝑥 = 0 (1) İki imgedeki nokta eşleştirmelerinden yola çıkarak epipolar geometriyi hesaplamaya çalışan ilk metot Hesse tarafından 1863 yılında ortaya atılmış, aynı yöntem Sturm tarafından 1869 yılında tekrar düzenlenmiştir (Boufama ve Mohr, 1995). Sturm tarafından düzenlenen algoritma teoride iyi olarak çalışan fakat gerçek ortamda gürültüden çok fazla etkilenen ve 7 eş nokta ile epipolar dönüşümü hesaplayan bir yöntemdir (Boufama ve Mohr, 1995). 1981 yılında Longuet-Higgins’in (Longuet-Higgins, 1981) çalışmaları ile hız kazanan 𝐹 matrisini hesaplama metotlarına zamanla rank-2 şartını sağlamayı hedefleyen, doğrusal, iteratif ve sağlam gruplara ayrılan metotlar eklenmiştir.(Armangué ve Salvi, 2003; Torr ve Murray, 1997; Zhang, 1998). Doğrusal metotlar 𝐹 matris hesaplama zamanını oldukça kısa sürede gerçekleştirmesine rağmen optimal olmayan çözümler üretmektedir. Bu nedenle aranan optimal çözümün hızlandırılması için iteratif ve sağlam metotlar ile işbirliği içinde kullanılmaktadırlar (Zheng vd., 2011). Doğrusal metotlardan bazıları, yedi nokta metodu en küçük kareler (KK) yöntemi ortogonal en küçük kareler yöntemi, rank-2 metotlarıdır (Zhang, 1998; Luong ve Faugeras, 1996; Torr ve Murray, 1997). İteratif metotlar, doğrusal metotların özyinelemesi sonucu oluşturulmuş metotlardır. Oldukça iyi sonuçlar vermekle beraber doğrusal metotlara göre daha fazla zaman almaktadırlar. İteratif metotlara, Newton Raphson veya Levenberg–Marquardt, gradyant tabanlı metot, Temel Nümerik Plan (TNP), Zorlanmış Temel Nümerik Plan (ZTNP) ve iteratif doğrusal metot örnek olarak verilebilir (Salvi, 1997; Hartley ve Zisserman, 2003; Chojnacki vd., 2004; Zhang, 1998). Sağlam metotlar, hatalı eşleşen noktaları elemeye çalıştıktan sonra epipolar merkeze olan uzaklığı minimize etmeye dayalı, doğrusal yöntemlerin tekrarından oluşan yöntemlerdir. Doğrusal yöntemlerden daha fazla zaman almakta fakat sağlam ve etkin sonuçlar vermektedirler. M-Kestirici, L-Meds, RANSAC, MLESAC ve MAPSAC sağlam metotlardandır (Hartley ve Zisserman, 2003; Zhang, 1998; Torr ve Murray, 1997; Torr ve Zisserman, 2000; Torr, 2002). Hem iteratif hem de sağlam metotlarda tekrarlı olarak kullanımından dolayı, doğrusal yöntemler 𝐹 matris hesabında temel yöntemdir, diyebiliriz. 𝐹 matrisini hesaplamadan önce eş nokta koordinatları normalize edilmektedir. Hartley normalizasyon metodu başarımı yüksek olan ve sık kullanılan bir metottur (Hartley, 1995). 𝐹 temel matrisi hesaplandıktan sonra epipolar merkeze olan Sampson uzaklığı minimum olan yöntem, başarımı en yüksek olan yöntem kabul edilmektedir (Sampson, 1982). Mühendislik Bilimleri Dergisi Cilt : 16 Sayı : 48 Sayfa No: 11 Bu çalışmada, altı görüntü çifti üzerinde, doğrusal yöntemlerden KK, iteratif yöntemlerden ZTNP ve sağlam yöntemlerden LMedS kullanılarak 𝐹 matrisi hesaplanmış, normalize edilen ve edilmeyen sonuçlar karşılaştırılarak verilen yöntemler içerisinde hız ve doğruluk bakımından uygun olanı, tespit edilmeye çalışılmıştır. 2. EPİPOLAR GEOMETRİ Epipolar geometri, bir sahnenin veya objenin farklı açılardan çekilmiş iki görüntüsü arasındaki geometrik ilişkiyi kurmaktadır. Şekil 1'de 𝐶 ve 𝐶 ′ kamera merkezleridir. Sahneye ait 𝑋 noktasının birinci ve ikinci görüntüye düşen imge noktaları sırasıyla x = (𝑥, 𝑦, 1)𝑇 ve x ′ = (𝑥 ′ , 𝑦 ′ , 1)𝑇 homojen vektörleri ile temsil edilmektedir. Bu iki eş nokta arasındaki ilişkiyi 𝐹 matrisi kurmaktadır (Eşitlik 1). Epipolar Düzlem π Epipol noktalar Taban çizgisi x noktasına ait epipolar çizgi Şekil 1. İki farklı imge üzerindeki nokta izdüşümleri ve epipolar geometri Kamera merkezlerinden başlayarak x ve x ′ noktalarından geçecek şekilde ışınlar çizildiğinde bu ışınlar X noktasında kesişmektedir. X, x, x ′ , 𝐶 ve 𝐶 ′ noktalarını içerecek şekilde ol (...truncated)