Жаңа мақалада Point-E: Күрделі сигналдардан 3D нүктелік бұлттарды жасауға арналған жүйе, OpenAI зерттеу тобы күрделі мәтінмен басқарылатын әртүрлі және күрделі 3D фигураларды жасау үшін диффузиялық модельдерді пайдаланатын 3D нүктелік бұлт мәтінінің шартты синтезі жүйесі болып табылатын Point E ұсынады. белгілер.бір графикалық процессорда бірнеше минут ішінде.
Кескінді құрудың қазіргі заманғы үлгілерінің таңғажайып өнімділігі 3D мәтіндік нысандарды құрудағы зерттеулерді ынталандырды.Дегенмен, минуттар немесе тіпті секундтарда нәтиже шығара алатын 2D үлгілерінен айырмашылығы, нысан генеративті үлгілері әдетте бір үлгіні жасау үшін бірнеше сағаттық GPU жұмысын қажет етеді.
Жаңа мақалада Point-E: Күрделі сигналдардан 3D нүктелік бұлттарды генерациялау жүйесі, OpenAI зерттеу тобы 3D нүктелі бұлттарға арналған мәтіндік шартты синтез жүйесі Point·E ұсынады.Бұл жаңа тәсіл бір графикалық процессорда бір-екі минут ішінде күрделі мәтіндік сигналдардан әртүрлі және күрделі 3D пішіндерін жасау үшін тарату үлгісін пайдаланады.
Команда виртуалды шындық пен ойыннан өнеркәсіптік дизайнға дейінгі нақты әлем қолданбалары үшін 3D мазмұнын жасауды демократияландыру үшін маңызды болып табылатын мәтінді 3D форматына түрлендіру мәселесіне бағытталған.Мәтінді 3D форматына түрлендірудің қолданыстағы әдістері екі санатқа бөлінеді, олардың әрқайсысының кемшіліктері бар: 1) генеративті модельдер үлгілерді тиімді құру үшін пайдаланылуы мүмкін, бірақ әртүрлі және күрделі мәтіндік сигналдар үшін тиімді масштабтауға болмайды;2) күрделі және әр түрлі мәтіндік сигналдарды өңдеу үшін алдын ала дайындалған мәтіндік кескін үлгісі, бірақ бұл тәсіл есептеуді қарқынды және модель мағыналы немесе когерентті 3D нысандарына сәйкес келмейтін жергілікті минимумдарда оңай тұрып қалуы мүмкін.
Сондықтан команда мәтіндік кескін жұптарының үлкен жиынтығында оқытылған мәтіннен кескінге диффузия моделін (әртүрлі және күрделі сигналдарды өңдеуге мүмкіндік беретін) пайдалана отырып, жоғарыда аталған екі тәсілдің күшті жақтарын біріктіруге бағытталған балама тәсілді зерттеді және мәтін-кескін жұптарының кішірек жиынында дайындалған 3D кескіннің диффузиялық үлгісі.сурет-3D жұп деректер жинағы.Мәтіннен кескінге үлгі бірінші синтетикалық көріністі жасау үшін кіріс кескінін таңдайды, ал кескіннен 3D үлгісі таңдалған кескін негізінде 3D нүкте бұлтын жасайды.
Пәрменнің генеративті стегі мәтіннен кескіндерді шартты түрде жасау үшін жақында ұсынылған генеративті құрылымдарға негізделген (Sohl-Dickstein және т.б., 2015; Song & Ermon, 2020b; Ho et al., 2020).Олар 3 миллиард GLIDE параметрлері бар GLIDE үлгісін (Nichol және т.б., 2021) мәтінді кескінге түрлендіру үлгісі ретінде және RGB нүктелік бұлттарды жасайтын диффузиялық модельдер жинағын пайдаланады. түрлендіру моделі.кескіндерден кескінге.3D модельдері.
Алдыңғы жұмыс нүктелік бұлттарды өңдеу үшін 3D архитектурасын пайдаланса, зерттеушілер тиімділікті арттыру үшін қарапайым түрлендіргішке негізделген үлгіні (Васвани және т.б., 2017) пайдаланды.Олардың диффузиялық моделінің архитектурасында нүктелік бұлт кескіндері алдымен алдын ала дайындалған ViT-L/14 CLIP үлгісіне беріледі, содан кейін шығыс торлары маркерлер ретінде түрлендіргішке беріледі.
Өздерінің эмпирикалық зерттеуінде топ ұсынылған Point·E әдісін COCO нысанын анықтау, сегменттеу және қолтаңба деректер жиынынан баллдық сигналдар бойынша басқа генеративті 3D үлгілерімен салыстырды.Нәтижелер Point·E күрделі мәтіндік сигналдардан алуан түрлі және күрделі 3D фигураларды жасай алатынын және қорытынды уақытын бір-екі ретке дейін жылдамдата алатынын растайды.Команда олардың жұмысы 3D мәтін синтезі бойынша әрі қарай зерттеуге шабыт береді деп үміттенеді.
Алдын ала дайындалған нүктелік бұлтты тарату үлгісі және бағалау коды жобаның GitHub сайтында қолжетімді.Document Point-E: Күрделі анықтамалардан 3D нүкте бұлттарын жасауға арналған жүйе arXiv жүйесінде.
Кез келген жаңалықты немесе ғылыми жаңалықтарды жіберіп алғыңыз келмейтінін білеміз.Апталық AI жаңартуларын алу үшін танымал Synced Global AI Weekly ақпараттық бюллетеніне жазылыңыз.
Жіберу уақыты: 28 желтоқсан 2022 ж