Dab tsi Nvidia's New Text-To-3D txhais tau tias rau Engineering & Khoom Tsim

tl; dr: Generative AI tab tom hloov zuj zus mus rau qhov zoo siab. Qhov tseeb algorithm los ntawm Nvidia hloov cov ntawv rau hauv 3D mesh ob zaug sai npaum li cov haujlwm tshaj tawm nyuam qhuav 2 lub hlis dhau los. Qhov no txhais tau hais tias tam sim no cov peev txheej tau dhau los dhau peb lub peev xwm ua haujlwm nrog lawv.

Lub lim tiam dhau los daim ntawv los ntawm Nvidia cov kws tshawb fawb tau pom qhov kev nthuav dav ntawm qhov chaw AI qhov chaw hloov mus. Qhov kev tawg ntawm cov dej num no - tshwj xeeb tshaj yog pom nyob rau hauv 9 lub hlis dhau los - yuav muaj kev cuam tshuam rau txhua qhov ntawm lub neej, tsis yog tsawg kawg ntawm cov khoom tsim, engineering thiab ntau lawm. Cov kev hloov pauv yuav tshem tawm kev lag luam los ntawm cov txheej txheem kev txwv nyob rau hauv txoj kev cov tswv yim sib txuas lus, txhawb nqa kev hloov pauv tshiab sai dua thiab thaum kawg tso cai rau nws xa nws cov lus cog tseg ruaj khov.

Tau hais rau ntau xyoo tias AI yuav pib hloov pauv txoj hauv kev uas peb ua haujlwm, ob peb xav tias qhov kev muaj tswv yim zoo yuav yog thawj cov neeg raug tsim txom. Kev tshwm sim ntawm GPT-3 lub tshuab hluav taws xob zoo li tib neeg cov ntawv hauv xyoo 2020 tau coj cov peev txheej ua kom pom tseeb dua. Nws yog kev caij tsheb qus txij thaum ntawd los: DALL-E (ntawv nyeem-rau-duab), Ntxias (hais lus lees paub), thiab feem ntau tsis ntev los no Stable Diffusion (ntawv nyeem-rau-duab) tsis tsuas yog nce peev xwm ntawm kev hais lus thiab pom AI cov cuab yeej, tab sis kuj txo cov peev txheej uas yuav tsum tau siv lawv (los ntawm 175bn tsis tau rau GPT-3 rau 900mn rau Stable Diffusion).

Stable Diffusion qhov loj txhais tau tias tsawg dua 5gb qhov chaw disk - muaj peev xwm khiav ntawm txhua lub laptop. Tsis tas li ntawd xwb; tsis zoo li OpenAI (uas feem ntau yog nyiaj txiag los ntawm Microsoft thiab tshaj tawm GPT-3, DALL-E thiab Whisper), Stable Diffusion yog qhib qhov chaw, txhais tau tias lwm tus tuaj yeem txhim kho nws cov kev kawm tau yooj yim dua. Qhov ntawd txhais tau tias peb tsuas yog pom qhov pib ntawm lub voj voog tshiab - muaj ntau yam ntxiv tuaj, raws li Nvidia daim ntawv tam sim no qhia.

Stable Diffusion's backers (stability.ai) yog ntxiv turbocharging tus qauv no los ntawm kev muab cov cuab yeej technology thiab nyiaj txiag pab rau lwm pab pawg uas coj qhov kev tshawb fawb rau hauv cov lus qhia tshiab. Tsis tas li ntawd, ntau qhov project ua rau cov cuab yeej muaj nyob rau ntau qhov ntau ntawm cov neeg siv. Ntawm lawv yog cov plugins rau Blender, qhov qhib-qhov tsim cuab yeej, thiab Adobe tus tswv Photoshop sib npaug. Tag nrho API nkag mus rau cov cuab yeej tau txais nyiaj txiag nrog Venture Capital nyiaj ntau, txhais tau hais tias ntau pua lab tus software tsim tawm, tsis yog ob peb puas txhiab tus neeg ua haujlwm cov ntaub ntawv, tam sim no yuav tsim lawv tus kheej cov cuab yeej ntawm cov algorithms.

Kev hais lus, cov duab thiab cov ntawv nyeem yog cov thawj ntsug uas yuav cuam tshuam los ntawm cov thev naus laus zis no. Tab sis 3D tsis nyob deb tom qab. Tshaj li niche generative art, cartoons yog thawj qhov pom tseeb ntawm daim ntawv thov. Muaj twb muaj Pokémon generator raws li Stable Diffusion. Nthuav cov teebmeem thiab cov yeeb yaj kiab tom ntej. Tab sis ntau lwm cov haujlwm yuav raug cuam tshuam - ntawm lawv tsim sab hauv nrog Interiorai.com ua tus nqi.

Hauv txhua qhov kev zoo siab no, siv cov kev tsim kho tshiab rau Tsim & Engineering zoo li kev xav tom qab. Txawm li cas los xij nws zoo li yuav yog thaj chaw kawg uas cuam tshuam loj tshaj plaws. Tau kawg, muaj kev sib tw thawj zaug: Rau ib qho, Stable Diffusion thiab nws cov compatriots tseem tsis tau meej heev. Qhov ntawd tsis yog teeb meem rau cartoons, tab sis nws yog ib qho kev sib tw loj rau txhua qhov kev sim hloov cov ntawv mus rau tag nrho 3D geometries siv nyob rau hauv cov ntsiab lus muaj. Qhov ntawd yog thaj chaw uas tau muaj qee qhov kev txaus siab (ib txoj haujlwm hu ua Bits101 tau tsim tawm hauv Ixayees xyoo 2015). Qhov no yuav yog qhov dawb huv grail ntawm kev lag luam, tab sis muaj ntau qhov kev sib tw nruab nrab uas yuav daws tau yooj yim dua. Cov no suav nrog kev paub txog cov khoom zoo dua qub (Yolo algorithm twb tau siv los ua kom muaj txiaj ntsig zoo), uas yuav ua rau txhim kho kev hais lus thiab cov lus piav qhia - txhim kho kom zoo thiab txo qhov yuam kev. Plugins kuj tseem yuav ua rau nws yooj yim dua los siv Generative AI los tsim cov qauv tsim (Primitives), uas tuaj yeem hloov kho ntxiv hauv cov cuab yeej tsim los txhim kho kev ua siab ntev raws li qhov xav tau. Qhov ntawd yog ib txoj hauv kev uas twb tau siv hauv Altair's Inspire, uas tau siv Finite Element Analysis los ua tib yam. Cov Primitives no tseem tuaj yeem ua cov ntaub ntawv hluavtaws ntawm cov qauv sau tseg, uas muaj qhov tsis txaus ntawm 3D CAD kev lag luam. Physna's CEO thiab tus tsim taw tes qhov no tawm hauv ib tsab xov xwm nthuav qhia lawv tus kheej kev sim siv cov txheej txheem tshiab no los tsim cov ncauj lus kom ntxaws 3D, uas tseem qhia txog ntau qhov teeb meem hauv kev siv cov ntaub ntawv hluavtaws los tsav cov algorithms Tsim 3D tsim los ntawm 2D kos duab yog lwm qhov chaw muaj peev xwm siv tau, xws li ntse CAM - pub noj tawm lub tsev qiv ntawv ntawm cov cuab yeej hnav los txiav txim siab qhov zoo tshaj plaws machining tswv yim.

Cov kev cov nyom no yog qhov tseem ceeb thiab muaj txiaj ntsig los daws hauv thiab rau lawv tus kheej. Txawm li cas los xij lawv qhov cuam tshuam tseem ceeb yuav yog los pab txhim kho txoj kev xav-rau-tsim txoj hauv kev los ntawm qhov kawg txo qhov kev cia siab ntawm 3D tsim los sib txuas lus. Cov qauv tsim, txawm tias 2D lossis 3D, tau ua haujlwm tseem ceeb ntawm kev txhais cov neeg siv khoom xav tau rau cov khoom kawg. Qhov ntawd txwv kev lag luam vim tias cov qauv tsim no ua lub thawv dub uas tag nrho cov neeg siv khoom muaj txiaj ntsig kev nkag siab, kev tsim khoom txwv thiab lub hom phiaj ntawm tuam txhab khaws cia, tsis tuaj yeem raug tshem tawm, tseem nyob ib leeg. Qhov no txhais tau hais tias thaum ib yam dab tsi hloov, nws nyob ib sab ntawm qhov yooj yim los kho qhov tsim. Qhov no yog vim li cas kev tsim kho tshiab xws li 3D luam ntawv yuav siv sij hawm ntev los txais yuav thiab txhua xyoo poob siab rau cov tub ua lag luam luv luv. Cov khoom uas ua rau lub dav hlau yog "teeb" txij li lub sijhawm lawv tsim, txawm tias muaj 20 xyoo + tsim lub neej. Yuav luag tsis muaj peev txheej ntawm kev tsim kho tshiab - cov no yuav tsum tau tos qhov kev tso tawm ntawm cov tiam tom ntej.

Muaj peev xwm hloov tau ib qho kev txwv thiab tso cai rau ib qho algorithm xws li Stable Diffusion kom rov tsim kho cov qauv tsim thiab cov khoom tsim tawm yuav ua rau kom muaj kev hloov pauv tshiab thiab ua rau peb tsim cov khoom sib dua, ua tau zoo dua, sai dua. Raws li lawv ua nyob rau hauv Formula 1 los yog Systems Design, yav tom ntej engineers yuav ua raws li cov thawj tswj kev txwv muaj peev xwm qhia tau hais tias nyob rau hauv cov lus thiab hais txog cov ntaub ntawv los ntawm lub hom phiaj thiab cov kev txwv ntawm cov khoom yog dab tsi.

Yog tias tsis muaj kev ceev cov txheej txheem engineering rau cov khoom tshiab thiab uas twb muaj lawm nyob rau hauv txoj kev no peb yuav luag tsis muaj txoj hauv kev ua kom tau raws li lub hom phiaj muaj kev vam meej uas peb yuav tsum tau teeb tsa peb tus kheej. Txhawm rau ua qhov no, peb yuav tsum xub pom zoo rau cov lus uas peb tuaj yeem siv los sib txuas lus tshaj li kev tsim qauv. Tus qauv semantic tshiab no yog qhov sib txawv pom tseeb hauv kev tsim kho tshiab uas tau teev tseg saum toj no. Ntau lub tuam txhab twb tau pib sim nrog nws, xws li nTopology nrog nws cov ntsiab lus ntawm Fields. Thiab tseem, qhov kev hloov pauv qeeb qeeb, tsis zoo li cov algorithms uas tus qauv semantic yuav pub. Nvidia tus tshiab algorithm tau tshaj tawm tshaj ob zaug sai li sai tau DreamFusion, luam tawm tsawg dua 2 lub hlis dhau los. Cov tuam txhab tsim khoom thiab engineering yuav tsum tau ua haujlwm ntawm kev ntes lawv cov tswv yim tshiab, yav tom ntej-pov thawj txoj hauv kev tam sim no txhawm rau ua kom muaj feem ntau ntawm qhov kev tawg ntawm AI generative tuav. Qhov ceev ntawm kev hloov pauv hauv algorithms tau qhia, ib zaug ntxiv, tias Morse Txoj Cai siv txhua qhov chaw uas cov cuab yeej tau raug digitized. Qhov kev sib tw tseem yog peb cov tib neeg tsis muaj peev xwm tuav qhov kev hloov pauv no thiab siv cov kev sib txuas lus tshiab uas muaj peev xwm qhib tau lawv lub peev xwm, txawm tias muaj kev kub ntxhov ntawm txoj haujlwm.