Što je DALL·E 2?

DALL·E 2 je program umjetne inteligencije koji stvara slike iz tekstualnih opisa, otkrio je u četvrtak OpenAI, istraživačka tvrtka.

Koristi verziju modela GPT-3 transformatora za obuku s 12 milijardi parametara za tumačenje unosa prirodnog jezika i generiranje odgovarajućih slika. Na primjer, kada se dobije rečenica 'crno-bijela fotografija malog psa,' proizvela je ispravno prikazana crno-bijela slika Chihuahue.

Sustav nije savršen — ponekad proizvodi slike koje je teško protumačiti ili potpuno neispravne. Na primjer, kada je zatraženo da generira sliku 'osobe koja vozi monocikl na užetu iznad vulkana', proizvela je (prekrasnu, po mom mišljenju), ali potpuno nepovezanu sliku zalaska sunca iznad vode s malom figurom u prvom planu .

Ipak, rezultati su impresivni, a OpenAI kaže da je DALL·E 2 'prvi AI model koji generira slike iz tekstualnih opisa koji se mogu mjeriti s kvalitetom profesionalnih ljudskih umjetnika.'

Sustav je treniran na skupu podataka parova tekst-slika, koji se sastoji od oko 1,3 milijuna slika i naslova s ​​interneta koje je skupio i kurirao OpenAI. Podaci o obuci su zatim korišteni za fino podešavanje GPT-3 modela tako da može generirati slike iz tekstualnih opisa.

OpenAI kaže da sustav može generirati 'visokokvalitetne' slike iz širokog spektra tekstualnih opisa, uključujući one koji su apstraktni, konkretni ili čak poetični.

Uz primjer Chihuahua, drugi primjeri slika koje proizvodi DALL·E 2 uključuju ispravno prikazan portret Adolfa Hitlera, sliku zmaja napravljenu od povrća i sliku Mona Lise napravljenu od tosta.

Sustav također može generirati slike stvari koje ne postoje, kao što je 'floof' (izmišljena životinja) ili 'tulpa' (misaoni oblik).

Sve u svemu, rezultati su impresivni, a OpenAI kaže da sustav 'otvara nove mogućnosti za generiranje slika iz tekstualnih opisa.'

OD E 2 Ovaj CLIP-sustav pretvara tekstualne informacije u vizualne informacije. Ovo je paradigma koder-dekoder, što znači da kada se unese tekst, on se prvo pretvara u strojni unos, zatim ga obrađuje sustav i na kraju prosljeđuje dekoderu, koji pretvara kodirane podatke u sliku.

Što je DALL·E 2?

Ovo je posljednja generacija DALL·E, generativnog jezičnog modela koji koristi izraze za stvaranje potpuno novih vizualnih efekata. DALL E 2 je ogroman model od 3,5 V, iako nije masivan kao GPT-3. Zanimljivo je da je i lakši od svog prethodnika (12B). Što se tiče usklađenosti opisa i fotorealizma, DALL·E 2 je 70% bolji od DALL·E 2 unatoč većoj veličini.

DALL.E 2- objašnjenje za početnike s primjerima

Konkretno, DALL·E 2 je hijerarhijski uvjetni model sinteze slike teksta koji kombinira duboko učenje za obradu prirodnog jezika s računalnim vidom za generiranje slika. Njegov cilj je obučiti dva modela, a set za obuku sastoji se od uparenih slika i opisa. Prvi je a priori koji se, s obzirom na pisani naslov, može uvježbati za generiranje ugrađene CLIP slike. Zatim imamo dekoder koji, kada ugradi CLIP sliku (i naslov, ako postoji), može generirati uvježbanu sliku.

DALLE 2 je obučen pomoću stotina milijuna fotografija s opisima s interneta, a neke od tih slika se uklanjaju i mijenjaju kako bi se promijenilo ono što model nauči. Dohvaća više opcija slika CLIP prilozi a zatim ga upotrijebite dekoder proći kroz svaku od njih. Zatim stvara zanimljivu mješavinu svih tih informacija s obzirom na unos korisnika.

Primjer DALL JE 2

Igrajmo malu igru ​​da bismo razumjeli DALL·E. Podijelimo to na sljedeća tri koraka.

1. Zamislite duge, oblake i jednoroge kako lete plavim nebom. Zamislite kakva bi mogla biti slika u vašoj mašti. Ljudi su nešto najbliže savršenoj analogiji ugrađene slike, a slika koja vam je upravo iskočila u glavu savršen je primjer toga. Možete samo nagađati o konačnom proizvodu, ali imate dobru ideju o tome što bi trebalo uključiti. Apriorni model vodi čitatelja od riječi u frazi do scene u njegovoj ili njezinoj mašti.
2. Sada možete početi crtati. UnCLIP pretvara vašu mentalnu sliku u pravu skicu. Sada možete točno rekreirati drugog lika iz istog opisa, s istim osnovnim statistikama, ali s potpuno novim vizualnim stilom. DALL·E 2 također može generirati jedinstvene slike iz postojeće slike ugrađene na ovaj način.
3. Obratite pozornost na skicu koju ste napravili. To se događa kada skicirate opis 'jednoroga usred oblaka, a duga se uzdiže na nebu'. Sada proučite sliku i tekst kako biste odredili što najbolje ilustrira jedno drugo (sunce, kuću, stablo itd.) i što najbolje ilustrira predmet, stil, boje itd. Ono što CLIP radi je kodiranje karakteristika. tekst i slike.

Sada kada znamo što je DALL-E, prijeđimo na sljedeći odjeljak i razumijemo njegove značajke.

Savjet: Kako stvoriti realistične slike s uslugom DALL-E-2 AI

Sadrži DALL E 2

Ispod su specifikacije DALL·E 2.

1. Varijacije
2. Bojanje
3. Razlike u tekstu

Razgovarajmo o njima detaljno.

kako napraviti posjetnice u word 2010

1] Varijacije

DALL·E 2 nadilazi jednostavno prevođenje rečenice u sliku. OpenAI može eksperimentirati s generativnim procesom, proizvodeći različite rezultate za određeni potpis zahvaljujući robusnim CLIP ugrađivanjima. Ono što CLIP 'vidi' u svom 'umu' je ono što smatra važnim od ulaza (ostaje isto za sve slike) i što se može zamijeniti (što se mijenja za različite slike). Kad god je to moguće, DALL·E 2 će zadržati i 'smislene informacije...i estetske aspekte'.

2] Bojanje

DALL·E 2 može mijenjati postojeće fotografije s automatskim popunjavanjem. U sljedećem primjeru, lijeva slika je izvorna slika, a središnja i desna fotografija imaju element nacrtan na različitim mjestima. DALL·E 2 odgovara dodatnom elementu za Picture Style. Također ažurira teksture i odraze kako bi odražavali novi element.

Čitati : Što možete učiniti s ChatGPT-om

3] Razlike u tekstu

DALL·E 2 pretvara slike pomoću razlika u tekstu. DALL·E 2 također ima napredne mogućnosti interpolacije koje vam omogućuju izmjenu objekata. Jedan korisnik Twittera uspio je 'demordenizirati' svoj iPhone. twitter.com da to provjerim.

Ako vam se sviđaju ove značajke, sve što trebate učiniti je otići na openai.com a zatim se registrirajte. Možete stvoriti novi račun ili koristiti svoje postojeće Microsoft ili Google račune za prijavu. Nakon što to učinite, dobit ćete neke besplatne kredite, ako želite više, morate to platiti.

Ovo su neke od značajki DALL·E 2, ima mnogo sjajnih slučajeva upotrebe, no uvijek se preporučuje ne oslanjati se previše na AI alate. Uostalom, oni nisu ništa drugo nego alati koji se koriste za obavljanje posla, oni nikada ne mogu zamijeniti emocionalnu inteligenciju osobe.

Također pročitajte: Najbolje Deepfake aplikacije, softver i web stranice.