Neuraaliverkkojen ja koneoppimistekniikoiden kehittyessä myös niiden soveltamisala laajenee. Jos aikaisemmin hermoverkkoja käytettiin yksinomaan monimutkaisten matemaattisten, lääketieteellisten, fysikaalisten, biologisten laskelmien suorittamiseen ja ennustamiseen, nyt nämä tekniikat ovat saaneet laajan suosion "arkipäiväisemmässä" ympäristössä - viihteen alalla. Ottaen vasta ensimmäiset askeleet tähän suuntaan, he pystyvät jo osoittamaan uskomattomia ja joskus jopa erinomaisia tuloksia. Tänään analysoimme muutamia havainnollistavia esimerkkejä.
Videon uudelleenmuokkauksen prosessi on niin monimutkainen ja aikaa vievä, että emme ehkä ole koskaan nähneet monia maailmanklassikoiden mestariteoksia uudella, modernilla, selkeällä ja mehukkaalla kuvalla. Maailma on kuitenkin täynnä älykkäitä faneja ja harrastajia, jotka ovat perehtyneet uuteen tekniikkaan, erityisesti hermoverkkoihin ja koneoppimistekniikoihin, joiden avulla voit saavuttaa uskomattomia tuloksia jopa kotona. Esimerkiksi YouTube-käyttäjä Stefan Rumen salanimellä CaptRobau päätti esitellä joitain hermoverkkojen ominaisuuksia käsittelemällä vanhan tieteiskirjallisuussarjan videoita.
Hänen aikaisempi teoksensa on Remako Mod, klassisen ja erittäin suositun japanilaisen RPG Final Fantasy VII -nimisen "HD-uusinta". Tätä varten hän käytti AI-algoritmia AI Gigapikseli, jonka avulla hän pystyi skaalaamaan alkuperäisen kuvan kuvan 4 kertaa muuttamalla sen HD-resoluutioksi ilman merkittäviä muutoksia alkuperäisessä kuviossa. Siten, kun odotat toista vuosikymmentä siihen hetkeen asti, kun Square Enix -yrityksen tietokonepelien japanilainen kehittäjä ja kustantaja julkaisee virallisesti tämän pelisarjan ehkä yhden parhaan osan remasterin, voit kokeilla Stefan Rumenin modia itse lataamalla sen tältä sivustolta.
Muuten, äskettäin hermostoverkkotekniikoista vanhojen pelien uudelleenmuokkaamiseksi ja niiden saattamiseksi entistä asiallisempaan ja nykyaikaisempaan ilmeeseen muuttamatta yleistä alkuperäistä konseptia on tullut todellinen suuntaus erilaisilla modifikaattoreilla. Esimerkiksi, ei kauan sitten puhuimme ESRGAN (Enhanced Super Resolution Generative Adversarial Networks) -tekniikasta, joka toteuttaa kuvan skaalaustekniikan laadulla 2–8x. Algoritmi “syöttää” alkuperäisen kuvan alhaisella tarkkuudella, minkä jälkeen se ei vain lisää alkuperäisen kuvan tarkkuutta, mutta myös parantaa kuvan laatua, maalaamalla realistisille yksityiskohdille ja tekemällä tekstuurista “luonnollisempi”.
Tekstuurin laadun vertailu: Vasemmalla on Morrowind-pelin alkuperäinen tekstuuri, oikealla - hermoverkon käsittelemä.
![Hahmo Doomista (vasemmalta - oli, oikealta] tuli)](https://i.greatplainsparanormal.com/images/003/image-6807-2-j.webp "Hahmo Doomista (vasemmalta - oli, oikealta] tuli)")
Hahmo Doomista (vasemmalta - oli, oikealta] tuli).
Taustaprosessointi Resident Evil 3: ssa.
Mainosvideo:
"Seitsemännen finaalin" uudelleenmuotoilun välillä Stefan Rumen päätti aloittaa uuden projektin - käyttää samaa koneoppimistekniikkaa, mutta tällä kertaa 90-luvun klassisen tieteiskirjallisuuden sarjojen käsittelyyn. Rumen valitsi kokeilujensa kohteena Star Trek: Deep Space Nine.
Kirjailija toteaa, että televisiosarjan live-kuvan skaalaaminen on monimutkaisuuden suhteen monimutkaista kuin ennalta sulautetun kuvan skaalaaminen, kirjoittaja huomauttaa, joten lopullinen tulos, vaikka se näyttää huomattavasti paremmalta kuin alkuperäisen materiaalin matala resoluutio, on edelleen kaukana ideaalista, jonka suhteen olet voinut haaveilla siitä hetkestä, kun ensimmäiset Blu-ray-soittimet tulivat markkinoille. Joskus pieniä "esineitä" ilmestyy näytölle. Mutta jälleen kerran, kaikki näyttää enemmän kuin arvokkaalta. Mutta yleensä katso itse.
Rumen käytti tässä projektissa myös AI Gigapixel -algoritmia, joka koulutettiin muokkaamaan kuvia oikeiden valokuvien perusteella. Kirjoittaja toteaa, että uusi kuva on saatu 1080p: llä ja 4k: lla, mutta koska Rumenilla ei ole televisiota tai näyttöä, jolla on natiivi 4K-resoluutio, hän ei voi riittävästi arvioida 4K-versiota.
Valitettavasti et voi katsella koko sarjaa Full HD -laadulla. Kaikkien lähteiden käsittelyprosessi olisi kestänyt kauan, joten Rumen käytti demonstrointiin vain erillisiä kehyksiä eri sarjoista. Hänen mukaansa hän aloitti tämän projektin vain yhdestä syystä - osoittaakseen, että se on todella mahdollista. Hänen mukaansa koko joukko ammattilaisia, jotka työskentelevät suuressa televisioyrityksessä ja joilla on käytettävissään sopivampia ja tehokkaampia tietokonelaitteita tällaiseen työhön, selviytyvät tehtävästä paljon paremmin.
Neuraaliverkkojen käyttäminen videopelien ja elokuvien vanhojen kuvien käsittelyn yksinkertaistamiseen eivät ole ainoita alueita, joilla tällaiset tekniikat pystyvät osoittamaan kykynsä. Nykymaailmassa, jossa panoraamakamerat, jotka pystyvät tuottamaan 360 astetta, samoin kuin virtuaalitodellisuuskuulokkeet ovat kasvussa, kehittäjät ovat alkaneet tutkia aktiivisesti panoraamavalokuvien mahdollisuuksia.
Yksi viimeisimmistä kehityksistä tähän suuntaan on hermoverkko, joka pystyy soittamaan panoraamakuvallisia staattisia kuvia. Sen ovat kirjoittaneet koneoppimisen asiantuntijat Massachusettsin yliopistoista, Columbian yliopistoista ja George Mason Universitystä.
Luotu algoritmi määrittelee valokuvan ympäristön ja esineiden tyypin ja valitsee ja järjestää sitten äänet käytetystä tietokannasta etäisyyden etäisyyden spatiaalisen laskennan mukaisesti tässä kuvassa. Tämän ansiosta panoraamakuva saa realistisen ja tilavan äänen, jonka avulla voit arvioida esitetyn kuvan aivan uudella tavalla.
Tämän hermoverkon kehittäjien mukaan tekniikka saattaa kiinnostaa VR-sisällön (elokuvat ja pelit) kehittäjien keskuudessa. Tässä tapauksessa jälkimmäisen ei tarvitse manuaalisesti peittää kaikkia panoraamakuvan ääniä, hermoverkko pystyy tekemään kaiken yksinään.
Nikolay Khizhnyak