Digitális képfeldolgozás TG

Matlab bevezető

Képek betöltése, mentése (imread, imwrite)

Képek megjelenítése (imshow)

Képpontok elérése, módosítása

Munka RGB képekkel

Szürkeárnyalatos konverzió

Más képfeldolgozó csomagok

ImageJ

Java nyelvű, multiplatform, nyílt forráskódú szoftver.

Plugin felépítés, számos képfeldolgozó művelet elérhető, saját készíthető.

ImageMagick

Ingyenes, multiplatform szoftvercsomag képek létrehozására, szerkesztésére, manipulálására és konverziójára.

Több mint 100 képformátumot ismer, pl. DPX, EXR, GIF, JPEG, JPEG-2000, PDF, PhotoCD, PNG, Postscript, SVG, TIFF.

Tipikusan parancssorból indított programok segítségével használjuk, így ideális szkriptnyelvek esetén is. Továbbá számos programozási nyelvhez készült interfész hozzá (pl. ADA, C, C++, .NET, PHP, Python, Ruby, Tcl/Tk).

OpenCV

Multiplatform, ingyenes függvénykönyvtár (BSD licensz).

Több mint 2500 optimalizált algoritmus képfeldolgozás, számítógépes látás témakörben.

C, C++, Python interfészek, Android mobil rendszeren is elérhető. Hamarosan Java interfész is várható.

"Rolling Shutter" szemléltetése

CMOS szenzor esetén soronként történik az adatok kiolvasása, ami gyorsan mozgó objektumok (pl. propeller) esetén elcsúszásokat okozhat a képen. Mire a szenzormátrix "másik végére" ér a kiolvasás, a szenzor értékek már az elmozdult objektumot ábrázolják.

Plusz 5% szerezhető

Beküldési határidő: 2012. február 20. 12 óra, emailben

Szükséges: HTML oldalon leírás, magyarázat, beágyazott bélyegképekkel és linkekkel a teljes változatokra

Pont-operációk

Küszöbölés, vágás

Globális: minden képpontra egységes kritérium. A küszöb- és vágási értékek meghatározása sokféle lehet.

Lokális: képpontonként változó, a lokális környezet alapján

Matlab implementációk

Matlab bevezetés 2. rész

Hallgatói PDF anyag

Niblack magyarázat

Háttérlevonás

Alsó vágási érték meghatározása a maximális intenzitásérték vagy az intenzitástartomány mérete alapján. Rendszerint százalékos mértékben adjuk meg.

Pl. orvosi képek esetén az intenzitástartomány alsó része zajt tartalmaz, amitől egy vágással megszabadulhatunk. Orvosi képek 12-16 bitesek, tartalmazhatnak negatív értékeket is!

Feladat: alsó 10% levágása PET képről

PET kép

MATLAB beolvasás:

PETVol = analyze75read('p05.hdr');

PETVol egy 128 x 128 x 15 méretű tömb lesz.

Küszöbölt eredmény megjelenítése

Feladat: Bemeneti szürkeárnyalatos képre vörös színnel a küszöbölt körvonalát

Szorgalmi: Komponensszámlálás

Küszöbölt képen összefüggő régiók keresése

Feladat: Megjelenítés komponensenként különböző színnel

Hisztogram operációk

Hisztogram műveletek kontraszt javításra

Széthúzás

Kiválasztott intenzitástartomány egy megadott tartományba transzformálása

Általában manuális beavatkozást igényel a tartományok megadása

Kiegyenlítés

Intenzitásértékek minél egyenletesebb előfordulásának biztosítása

Automatikus módszer

Matlab

Hisztogram megjelenítése

p = imread('kep.png');

imshow(p), figure, imhist(p), axis tight

Hisztogram széthúzás

ph = imadjust( p, [a, b], [c, d] ); % [a,b] intenzitástartomány lineáris leképezése [c,d]-be; a,b,c,d 0 és 1 közötti!

ph = imadjust( p, [a, b], [c, d], gamma ); % Nem-lineáris Gamma-korrekcióval

plot( p, ph, '.' ), axis tight; % Széthúzás függvényének megjelenítése

Hisztogram kiegyenlítés

ph = histeq(p);

Képek

ZIP

Feladatok

Hisztogram széthúzás teljes intenzitás tartományon, hisztogram kiegyenlítés, az intenzitástartomány alsó és felső 1%-ának elhagyása majd hisztogram széthúzás, alsó és felső 20%-ának elhagyása majd hisztogram széthúzás

Mesterséges kontraszt-rontás a kép intanzitásérétkeinek konstanssal való osztásával

imdivide( im,4 );

Színhisztogram

Megjelenítés a couleur.org oldal Windows alkalmazásaival

Tesztelés mobil kamera élőképen

ViewerCV Android alkalmazás HistEq opciója

Érdemes sötét (kontrasztszegény) környezetben próbálni

Szűrés képtérben, zajterhelés

Átlagoló szűrő (lineáris szűrés)

filter = fspecial( 'average', 3 ); % 3x3 méretű átlagoló szűrő kernel

filter = fspecial( 'gaussian', [5, 5], 2 ); % 5x5 méretű normál szűrő, 2 szórással

filter2( filter, image, 'same' ); % Egyező méretű kép, 0-val kiegészítés

filter2( filter, image, 'valid' ); % Csak a belső képpontokra, kisebb kép az eredmény

filter2( filter, image, 'full' ); % Minden képpontra, nagyobb kép az eredmény

Medián szűrő

Lokális környezetben a kiugró értékek szűrésére: só-bors zaj esetén

t_sp_m3 = medfilt2( t_sp );

Képélesítés

Image - blurred_image * scale

Fourier transzformáció, konvolúció, frekvenciaszűrők

Komplex számok kezelése Matlabban

c = complex( a, b ); % c = a + bi

X = real( c ); % c valós része lesz X értéke

Y = imag( c ); % c képzetes része lesz Y értéke

M = abs( c ) = sqrt(real(c).^2 + imag(c).^2); % M c magnitúdója lesz

theta = angle( c ); % theta c fázisszöge lesz radiánban

conj( c ) = real( c ) - i * imag( c ); % komplex konjugált képzés

TF = isreal( C ); % igaz, ha C mátrix minden eleme valós

FFT tulajdonságai 2D-ben

2D tesztképek készítése

% Téglalap
a = zeros( 128, 128 );
a( 48:82, 62:66 ) = 1;

% 45 fokkal elforgatva (óramutató járása irányába)
b1 = imrotate( a, -45, 'nearest' );
b = b1( 36:163, 36:163 ); % középső 128x128 részmátrix

% Képek súlyozott összege
c = 0.4 * a + 0.6 * b;

% Eltolt téglalap
d = zeros( 128, 128 );
d( 68:102, 82:86 ) = 1;

% 2D körlap
[x,y] = meshgrid( -128:127, -128:127 );
z = sqrt( x.^2 + y.^2 );
e = ( z  15 );

% Fotó beolvasása
cm = imread('cameraman.tif');

FFT magnitúdó eredmény megjelenítése

% Zéró-frekvencia komponens a mátrix középső elemére
as = fftshift( af );

function fftshow( f, type )

if nargin  2
    type = 'log'
end

if ( type == 'log' )
    fl = log( 1 + abs( f ) );
    fm = max( fl( : ) );
    imshow( im2uint8( fl / fm ) )
elseif ( type == 'abs' )
    fa = abs( f );
    fm = max( fa( : ) );
    imshow( fa / fm );
else
    error( 'TYPE must be abs or log.' );
end;

Szűrés frekvenciatérben

Ideális aluláteresztő szűrés

Frekvenciakép szorzása (.* operátorral) 'e' képpel

Készítsünk ideális felüláteresztő szűrőt!

Gauss szűrő

cf = fftshift( fft2( cm ) );
g1 = mat2gray( fspecial( 'gaussian', 256, 10 ) );
cg1 = cf .* g1;
fftshow( cg1, 'log' );
cgi1 = ifft2( cg1 );
fftshow( cgi1, 'abs' );

Próbáljuk ki más kernelmérettel is!

Újramintavételezés, geometriai transzformációk

Geometriai transzformáció végrehajtása digitális képen

Előre vagy visszafelé irányuló

Interpolációs technikák

Matlab függvények

Átméretezés

imresize( img, k, 'method' ); % k: skálafaktor, method: nearest, bilinear, bicubic

imresize( img, [ m, n ], 'method' ); % m, n: skálafaktorok

c = imread( 'cameraman.tif' );
head = c( 33:96, 90:153 );
imshow( head );
head4n = resize( head, 4, 'nearest' );
imshow( head4n );
head4b = imresize( head, 4, 'bilinear' );
imshow( head4b );
head4c = imresize( head, 4, 'bicubic' );
imshow( head4c );

Forgatás

imrotate( img, angle, 'method' ); % nearest, bilinear, bicubic

Transzformáció definíció

maketform( transformtype, ... );

Leírás

transformtype: affine, projective, custom, box, composite

TFORM = cp2tform(input_points, base_points, transformtype);

Feladat: Interpolációs módszerek tesztelése

Matlab függvények segítségével

ImageJ

ZIP csomag

Rektifikáció 4 pont alapján

Bementi kép

Example — Selecting Plotting Points from the Screen

I = imread( 'Dobokockak.png' );
figure, imshow( I ), axis on
hold on
% Initially, the list of points is empty.
xy = [];
n = 0;
% Loop, picking up the points.
disp('Left mouse button picks points.')
disp('Right mouse button picks last point.')
but = 1;
while but == 1
    [xi,yi,but] = ginput(1);
    plot(xi,yi,'ro')
    n = n+1;
    xy(:,n) = [xi;yi];
end
xy
tform = maketform( 'projective', xy', [ 1, 1; 100, 1; 100, 100; 1, 100 ] );
outim = imtransform( I, tform, 'bilinear' );
figure, imshow( outim ), axis on

Négyzet alakú terület sarokpontjainak kiválasztása a bal felső sarokból indulva az óramutató járásával megegyező irányban.

Az első három pontot a bal egérgombbal kattintva kell kijelölni.

Az utolsó pontot a jobb egérgombbal.

Otthoni feladat

Vágjuk ki a képnek azt a négyzet alakú részét, ahová a kiválasztott lap rektifikált képe kerül!

Írjunk eljárást, amely bemenetként megkapja a képet és a kivágott eredményt adja vissza!

      function outargs = funcname( inargs );
      %...
      return;

A megoldás beküldhető emailben 2012. március 19. 12:00-ig

A helyes megoldásra 5% szerezhető!

Gradiens operátorok, éldetektálás

Gradiens operátorok

Roberts, Prewitt, Sobel

Laplace operátor

Élkeresés

Gradiens kép segítségével

Laplace

Zéró-átmenetek keresése

px = [ -1 0 1; -1 0 1; -1 0 1 ]; % X-iranyu Prewitt

lapl1 = fspecial( 'laplacian', 0 );
lapl2 = fspecial( 'laplacian', alpha );

Szeparálható maszkra példa (Sobel)

Konvolúció alkalmazása

im = imread('cameraman.tif');
px = [ -1 0 1; -1 0 1; -1 0 1 ]; % X-iranyu Prewitt
imx = filter2( px, im );
figure, imshow( imx / 255 )

py = px'; % Y-iranyu Prewitt
imy = filter2( py, im );
figure, imshow( imy / 255 )

im_magn = sqrt( imx .^ 2 + imy .^ 2 ); % Magnitudo kep szamitasa X es Y gradiensekbol
figure, imshow( im_magn / 255 )

im_edge = im2bw( im_magn / 255, 0.3 ); % elkep kuszobolessel

edge( image, 'method', parameters ... );

im = imread('cameraman.tif');
im_magn = edge( im, 'prewitt' );

method: 'roberts', 'prewitt', 'sobel', 'log', 'zerocross', 'canny'

Tesztelés mobil kamera élőképen

Sobel

Feladatok

A cameraman tesztképre hajtsuk végre a különféle gradiens és élkereső operátorokat!

Adjunk zajt a képhez (só-bors, Gauss) és teszteljük erre is az operátorokat!

Sarokpont detektálás, pontfelhő párosítás

MATLAB demók

Feature Detection

Harris detektor

Feature points in image, Keypoint extraction

Módosított forráskód

MATLAB feladatok

Módosítsuk úgy a feature_detection.m függvényt, hogy ne bináris képet adjon vissza, hanem a saroksági értékeket!

ImageJ sarokpont + párosítás

Harris detektor

Párosítás szisztematikus kereséssel

ImageJ feladat

RANSAC kiegészítés, vagyis csak pontok egy véletlenszerűen választott részhalmazán keressünk

RANSAC további részletek

PDF

Panorámakép készítése

Az átfedő részeken kézzel azonosított pontpárok segítségével

Sarokpontok detektálásával és párosításával

Szerezhető 5-5% az egyes feladatrészekre

Beküldése határidő: 2012. április 16. 15:00

Android demó alkalmazások

ViewerCV

CVCamera

Egyszerű szegmentálás

Régiónövelés

Kiválasztott pont(ok)ból, új szomszéd pontok régióhoz vétele, ha teljesítik a homogenitási kritériumot, kritérium frissítése az új elemnek megfelelően

Matlab demó

Javított m file

I = im2double(imread('medtest.png'));
x=198; y=359;
J = regiongrowing(I,x,y,0.2); 
figure, imshow(I+J);

K-means

Képpontok osztályozása k darab régióba

Matlab demó 1

[ mu, mask ] = kmeans( im, 5 );
imshow( mask, [ 0 5 ] );

Matlab demó 2

Matlab demó RGB képekre

Mean shift

Matlab demó

ImageJ plugin

Küszöbölés + komponens detektálás

BlobsDemo Matlab demó

(Adaptív) küszöbölés

Lásd korábban

Morfológiai szűrés (opcionális)

Küszöbölt bináris eredmény utófeldolgozása

sq = ones( 3, 3 ); % Struktura elem
im_mf = imclose( imopen( im, sq ), sq ); % Szures

Komponens műveletek

Fontos definíciók

Szomszédsági reláció, komponensek

imfill

Közrezárt területek kitöltése, interaktív pontválasztással

BW2 = imfill(BW);

Komponensek üregeinek kitöltése

BW2 = imfill(BW,'holes');

bwlabel

Komponensek detektálása bináris képen

[L, num] = bwlabel(BW, n);

find segítségével megkaphatjuk egy-egy komponens koordinátáit is

[r, c] = find(bwlabel(BW)==2);

label2rgb

Komponensek térképe színessé alakítható

RGB = label2rgb(L);

RGB = label2rgb(L, map, zerocolor, order);

bwselect

Átadott koordinátán vagy koordináták tömbjén található komponensek kiválasztása

BW2 = bwselect(BW,c,r,n)

Interaktív változat

BW2 = bwselect(BW,n)

bwboundaries

Komponensek határának meghatározása cellatömbbe

B = bwboundaries(BW,conn);

regionprops

Komponensekről statisztika készítése (részletesebben a következő alkalommal)

Műveletek keresőtáblával

Egy képpont lokális 3x3 környezete 2^9=512 különböző konfiguráció lehet. Adott feltétel szerint ezek előre kiértékelhetők és táblázatba foglalhatók.

lut = makelut(fun,n);

Feltétel megfogalmazása sztringként (a szomszédság középpontja (x(5)) objektumpont és a négy szomszédja nem mindegyike objektumpont)

fun = inline( 'x(5) & ~( x(2) * x(4) * x(6) * x(8) )' );

Keresőtábla generálása

lut = makelut( fun, 3 ); % 3x3-as környezet

Keresőtáblával definiált művelet alkalmazása

applylut( im, lut );

Alakreprezentáció

Határvonal alapú jellemzők

Régió alapú jellemzők

BlobsDemo2.m

Próbáljuk ki az előző órai rendszámtáblákon!

Határozzunk meg betűket és számokat leíró alakjellemzőket!

Valósítsunk meg zónázó módszert!

Új képen próbáljuk a komponenseket osztályozni korábbi alakjellemző-táblázatok alapján!

Szorgalmi feladatok

Beküldési határidő

2012. május 7. 13 óra

Rendszámtábla detekció fotókon

Bemenet

Autókról készült hátul- vagy elölnézeti fotók, amelyek tartalmazzák a rendszámtáblát ls. Feltehetjük, hogy "normál" rendszámtáblákról van szó: szürke alapon fekete számok és betűk.

Kimenet

A detektált téglalap alakú terület tartalma, síkhomográfiás rektifikáció alkalmazásával

Ötlet

A rendszámtábla téglalap alakú, szürke színű (R,G és B csatornái közel azonos értékűek)

Rendszámtábla felismerés 2. lépése

Bemenet

Rendszámtábláról készült fotó (téglalap alakú, rektifikált), betanítási táblázat

Kimenet

A detektált karakterek osztályozása (felismerése), kiírás konzolra vagy szöveg képen történő elhelyezése

OpenCV használata

OpenCV

OpenCV (Open Source Computer Vision) is a library of programming functions for the realtime computer vision. OpenCV is released under the liberal BSD license, it is free for both academic and commercial use. It runs on Windows, Linux, Mac, Android and has C++, C, Python and Java (Android only) interfaces. The library has more than 2500 optimized algorithms (see the figure below). It is used around the world, has more than 3.5M downloads and 46K+ people in the user group. Real-life examples range from video surveillance to interactive art, mine inspection, panorama stitching and finally include the latest developments in advanced robotics.

Hivatalos honlap

Forráskód hivatalos honlapja

Telepítési útmutató

Kép források

Kép- és videófájlok

PC-hez csatlakoztatott webkamera

Mobil eszköz kamerája (Android)

Dokumentáció

Hivatalos honlap

Reading and Writing Images and Video

Feature Detection

Canny, Harris, Hough, ...

Kamera élőképen (laptopon vagy mobil eszközön)

meanshift

mser_sample

...