Nvidia iepazīstina ar jaunu videoklipu ģeneratoru
Nvidia ir izstrādājusi VideoLDM neironu tīklu, kas ģenerē īsus un reālistiskus videoklipus, balstoties uz noteiktu teksta aprakstu.
Algoritms ļauj izveidot animācijas, kuru ilgums ir aptuveni piecas sekundes ar izšķirtspēju līdz 2048×1280 pikseļiem un frekvenci 24 FPS. Modelis ģenerē video pēc ievadītās informācijas.
VideoLDM pamatā ir stabila difūzijas algoritma izstrāde. Saskaņā ar pieejamo informāciju, neironu tīkls ņem vērā 4,1 miljardu parametru, no tiem 2,7 miljardus video, kas tika izmantoti apmācībai.
Uzņēmums norāda, ka neironu tīkla apmācībā ir diezgan ātri panākts “ievērojams progress”. Pēc izstrādātāju domām, VideoLDM sāka ģenerēt detalizētus un atbilstošus videoklipus tikai mēneša laikā.
Izstrādātāji savā mājaslapā ir publicējuši vairākus neironu tīkla izstrādātos videoklipu paraugus. Modelis spēj ģenerēt arī video ar braucošas automašīnas skatu. Šādiem videoklipiem ir 1024×512 pikseļu izšķirtspēja, un tie ilgst līdz piecām minūtēm. VideoLDM var simulēt konkrētus braukšanas scenārijus.
