Arvostele-vääristymä teoria

Arvostele-vääristymä teoria on merkittävä haara informaatioteorian joka tarjoaa teoreettisen perustan häviöllinen tiedon pakkaus; se käsittelee ongelmaa määritetään minimaalinen lukumäärä bittejä symbolia kohden, mitattuna nopeudella R, että olisi toimitettava kanavan yli, niin että lähde voi olla noin uudelleen vastaanottimessa ilman ylitä tiettyä vääristymä D

Esittely

Arvostele-vääristymä teoria antaa analyyttinen lauseke kuinka paljon puristus voidaan saavuttaa käyttämällä häviöllinen pakkaus menetelmiä. Monet nykyisistä äänen, puheen, kuvan ja videon pakkaus tekniikoita ovat muunnoksia, kvantisointi, ja bittinopeus jakomenettelyjä että hyötymään yleisestä muodosta korko-vääristymä toimintoja.

Arvostele-vääristymä teoria luotiin Claude Shannon hänen perustavaa työtä informaatioteoriaan.

Korko-vääristymä teoria, korko on yleensä ymmärretään bittien lukumäärä datan näytettä varastoidaan tai siirretään. Käsite vääristymä on aiheena käynnissä keskustelu. Kaikkein yksinkertainen tapaus, vääristymä määritellään odotusarvo neliön erotus tulon ja lähdön signaalin. Koska tiedämme, että useimmat pakkaamisen tekniikat toimivat tietojen että ymmärretään ihmisen kuluttajat vääristymän mitta olisi mieluiten mallina ihmisen käsitys ja ehkä estetiikka: paljon kuin käytön todennäköisyys häviöttömästi, vääristävät toimenpiteet voidaan lopulta tunnistaa menetys toimii käytetään Bayes arviointi ja päätös teoriaa. Vuonna äänen pakkausta, havainto- mallit ovat melko hyvin kehittynyt ja käytetään rutiininomaisesti puristus tekniikoita, kuten MP3 tai Vorbis, mutta eivät useinkaan ole helppo sisällyttää korko-vääristymä teoria. Kuvan ja videon pakkaus, ihmisen käsitys mallit ovat vähemmän kehittyneitä ja osallisuutta rajoittuu enimmäkseen JPEG ja MPEG painotus matriisi.

Arvostele-vääristymä toimintoja

Ne toiminnot, jotka liittyvät nopeuden ja vääristymiä havaitaan, kun liuosta, jossa oli seuraavat Minimointitehtävä:

Täällä QY | X, kutsutaan joskus testi kanava, on ehdollinen tiheysfunktio viestintäkanavan lähtö Y Syötteellä x ja IQ on välistä tietojenvaihtoa Y ja X määritellään

jossa H ja H ovat entropia lähtösignaalin Y ja ehdollinen entropia lähtösignaalin annetaan tulosignaali, vastaavasti:

Ongelma voidaan myös formuloida vääristymä nopeuden toiminto, jossa löydämme infimum yli saavutettavissa vääristymiä tietyn nopeuden rajoitus. Asiaa lauseke on:

Kaksi formulaatiota johtavat toiminnot, jotka ovat käänteisesti verrannollisia keskenään.

Keskinäinen tiedot voidaan ymmärtää toimenpide "ennen" epävarmuus vastaanotin on noin lähettäjän signaali (H), väheni epävarmuutta, mikä on jäljellä saatuaan tietoa lähettäjän signaali (H). Tietenkin lasku epävarmuus johtuu tiedoksi määrä tietoa, joka on I.

Esimerkiksi jos ei ole viestintää ollenkaan, niin H = H ja I = 0. Vaihtoehtoisesti, jos viestintäkanava on täydellinen ja vastaanotetun signaalin Y on identtinen signaalin X lähettäjän, niin H = 0 ja I = H = H

Määritelmässä korko-vääristymä-toiminto, DQ ja D ovat vääristymä välillä X ja Y tietylle QY | X ja määrätty suurin vääristymä, vastaavasti. Kun käytämme keskiarvo neliövirheen kuin vääristymän mitta, meillä on:

Kuten edellä yhtälöt osoittavat, lasketaan korko-vääristymä toiminto vaatii stokastisen kuvaus panos X kannalta PDF PX, ja sitten pyrkii löytämään ehdollinen PDF QY | X, jotka minimoivat hinnan tietyn vääristymän D. Nämä määritelmät voidaan muodostaa toimenpide-teoreettisesti tilille diskreetti ja sekoitetaan satunnaismuuttujia samoin.

Analyyttinen ratkaisu tähän minimointi ongelma on usein vaikea saada paitsi joissakin tapauksissa josta meillä seuraavan on kaksi tunnetuimmista esimerkeistä. Korko-vääristymän funktiona tahansa lähteestä tiedetään totella useita perustavaa laatua olevia ominaisuuksia, joista tärkeimmät ovat, että se on jatkuva, monotonisesti laskeva kupera funktio ja näin ollen sen muodon, toiminnon esimerkeissä on tyypillinen.

Vaikka analyyttinen ratkaisuja tähän ongelmaan ovat niukat, on ylä- ja alarajat näihin toimintoihin myös kuuluisa Shannonin alaraja, joka tapauksessa potenssiin virheen ja muistiton lähteistä, toteaa, että mielivaltaisia ​​lähteistä rajallinen ero entropia,

missä h on ero entropia Gaussin satunnaismuuttuja, jonka varianssi D Tämä alaraja on laajennettavissa lähteistä muistilla ja muiden vääristävät toimenpiteet. Yksi tärkeä piirre SLB on, että se on asymptoottisesti tiukka pieni särö järjestelmän laaja luokan lähteitä ja joissakin tapauksissa se todella osuu korko-vääristymä toiminto. Shannon alarajat voidaan yleensä löytää, jos vääristymä minkä tahansa kahden numeroita voidaan ilmaista funktiona arvon välinen erotus on nämä kaksi lukua.

Blahut-Arimoto algoritmi, yhteistyössä keksi Richard Blahut, on tyylikäs iteratiivinen tekniikka numeerisesti saamiseksi korko-vääristymä toimintoja mielivaltaiseen rajallinen panos / tuotos aakkoset lähteistä ja paljon työtä on tehty ulottamiseksi koskemaan yleisempi ongelma tapauksissa.

Kun työskennellään kiinteistä lähteistä muistilla, se on tarpeen muuttaa määritelmää korko vääristymä toiminta ja se on ymmärrettävä merkityksessä raja ottanut sekvenssit lisätä pituudet.

missä

ja

jossa yläindeksit merkitsevät täydellinen sekvenssi siihen asti ja alaindeksi 0 tarkoittaa alkutilaan.

Memoryless Gaussin lähde

Jos oletamme, että PX on Gaussin kanssa varianssi σ, ja jos oletamme, että peräkkäisen näytteen signaalin X ovat stokastisesti riippumattomia, löydämme seuraavat analyyttiset lauseke korko-vääristymä toiminto:

Seuraava kuva osoittaa, mitä tämä toiminto näyttää:

Arvostele-vääristymä teoria kertoo meille, että "ei pakkausta järjestelmä on olemassa, joka suorittaa ulkopuolella harmaa alue". Lähempänä käytännön puristus järjestelmä on punainen sidottu, sitä paremmin se toimii. Pääsääntöisesti tämä sidottu voidaan saavuttaa vain lisäämällä koodauslohkon pituus parametri. Kuitenkin jopa yksikkötasolla blocklengths voi usein löytää hyviä kvantisoijien jotka toimivat etäisyydet korko-vääristymä toiminto, jotka ovat käytännössä merkitystä.

Tämä korko-vääristymä toiminto pätee vain Gaussin memoryless lähteistä. On tunnettua, että Gaussin lähde on kaikkein "vaikea" lähde koodaavat: tietyn keskineliövirhe, se vaatii suurimman määrän bittejä. Suorituskyky käytännön puristus järjestelmä työskentelevät sanoa kuvia, voi hyvinkin olla alle R alaraja esitetty.

Yhteyden nopeus-vääristymä teoria kanavan kapasiteetti

Oletetaan haluamme välittää tietoa lähde käyttäjälle vääristymä enintään D. Luokitus-vääristymä teoria kertoo meille, että vähintään R bittiä / symboli lähteen tiedoilla on toimitettava käyttäjälle. Tiedämme myös Shannonin kanavakoodauksen lause, että jos lähde entropia on H bittiä / symboli, ja kanavan kapasiteetti on C, sitten H - C bittiä / symboli häviävät, kun kyseiset tiedot toimitetaan yli tietyn kanavan. Jotta käyttäjä voi olla mitään toivoa jälleenrakentamista, jonka suurin vääristymä D, meidän on asetettava vaatimus, että tiedot menetetään siirto ei ylitä suurin siedettävä menetys H - R bittiä / symboli. Tämä tarkoittaa sitä, että kanavan kapasiteetti tulee olla vähintään yhtä suuri kuin R.

Edellinen artikkeli Arizona Sahuaros
Seuraava artikkeli Avaruusasema