కొత్త కథనంలో Point-E: సంక్లిష్ట సంకేతాల నుండి 3D పాయింట్ క్లౌడ్‌లను రూపొందించే వ్యవస్థ, OpenAI పరిశోధన బృందం Point Eని పరిచయం చేసింది, ఇది 3D పాయింట్ క్లౌడ్ టెక్స్ట్ షరతులతో కూడిన సంశ్లేషణ వ్యవస్థను పరిచయం చేసింది, ఇది సంక్లిష్ట టెక్స్ట్ ద్వారా నడిచే వైవిధ్యమైన మరియు సంక్లిష్టమైన 3D ఆకృతులను రూపొందించడానికి విస్తరణ నమూనాలను ఉపయోగిస్తుంది. సూచనలు.ఒకే GPUలో నిమిషాల్లో.
నేటి స్టేట్ ఆఫ్ ది ఆర్ట్ ఇమేజ్ జనరేషన్ మోడల్‌ల అద్భుతమైన పనితీరు 3D టెక్స్ట్ ఆబ్జెక్ట్‌ల తరంలో పరిశోధనను ప్రేరేపించింది.అయినప్పటికీ, 2D మోడల్‌ల వలె కాకుండా, నిమిషాల్లో లేదా సెకన్లలో అవుట్‌పుట్‌ను ఉత్పత్తి చేయగలవు, ఆబ్జెక్ట్ జనరేటివ్ మోడల్‌లకు సాధారణంగా ఒకే నమూనాను రూపొందించడానికి అనేక గంటల GPU పని అవసరం.
కొత్త కథనంలో Point-E: సంక్లిష్ట సంకేతాల నుండి 3D పాయింట్ క్లౌడ్‌లను రూపొందించే వ్యవస్థ, OpenAI పరిశోధన బృందం 3D పాయింట్ క్లౌడ్‌ల కోసం పాఠ్య షరతులతో కూడిన సంశ్లేషణ వ్యవస్థ అయిన Point·Eని అందజేస్తుంది.ఈ కొత్త విధానం ఒకే GPUలో కేవలం ఒకటి లేదా రెండు నిమిషాల్లో సంక్లిష్ట టెక్స్ట్ సిగ్నల్‌ల నుండి విభిన్నమైన మరియు సంక్లిష్టమైన 3D ఆకృతులను రూపొందించడానికి ఒక ప్రచార నమూనాను ఉపయోగిస్తుంది.
వర్చువల్ రియాలిటీ మరియు గేమింగ్ నుండి ఇండస్ట్రియల్ డిజైన్ వరకు రియల్ వరల్డ్ అప్లికేషన్‌ల కోసం 3D కంటెంట్ క్రియేషన్‌ను డెమోక్రటైజ్ చేయడంలో కీలకమైన టెక్స్ట్‌ను 3Dకి మార్చే సవాలుపై బృందం దృష్టి సారించింది.టెక్స్ట్‌ను 3Dకి మార్చడానికి ప్రస్తుతం ఉన్న పద్ధతులు రెండు వర్గాలుగా ఉంటాయి, వీటిలో ప్రతి దాని లోపాలు ఉన్నాయి: 1) నమూనాలను సమర్థవంతంగా రూపొందించడానికి ఉత్పాదక నమూనాలను ఉపయోగించవచ్చు, కానీ విభిన్న మరియు సంక్లిష్టమైన టెక్స్ట్ సిగ్నల్‌ల కోసం సమర్ధవంతంగా స్కేల్ చేయలేము;2) సంక్లిష్టమైన మరియు వైవిధ్యమైన వచన సూచనలను నిర్వహించడానికి ముందుగా శిక్షణ పొందిన టెక్స్ట్-ఇమేజ్ మోడల్, కానీ ఈ విధానం గణనపరంగా ఇంటెన్సివ్ మరియు అర్ధవంతమైన లేదా పొందికైన 3D వస్తువులకు అనుగుణంగా లేని స్థానిక మినిమాలో మోడల్ సులభంగా చిక్కుకుపోతుంది.
అందువల్ల, బృందం పెద్ద సంఖ్యలో టెక్స్ట్-ఇమేజ్ జతలపై శిక్షణ పొందిన టెక్స్ట్-టు-ఇమేజ్ డిఫ్యూజన్ మోడల్‌ను ఉపయోగించి (వైవిధ్యమైన మరియు సంక్లిష్టమైన సిగ్నల్‌లను నిర్వహించడానికి అనుమతిస్తుంది) మరియు పై రెండు విధానాల యొక్క బలాలను కలపడం లక్ష్యంగా ఒక ప్రత్యామ్నాయ విధానాన్ని అన్వేషించింది. టెక్స్ట్-ఇమేజ్ జతల యొక్క చిన్న సెట్‌పై శిక్షణ పొందిన 3D ఇమేజ్ డిఫ్యూజన్ మోడల్.చిత్రం-3D జత డేటాసెట్.టెక్స్ట్-టు-ఇమేజ్ మోడల్ మొదట ఒకే సింథటిక్ ప్రాతినిధ్యాన్ని సృష్టించడానికి ఇన్‌పుట్ ఇమేజ్‌ను శాంపిల్ చేస్తుంది మరియు ఇమేజ్-టు-3D మోడల్ ఎంచుకున్న చిత్రం ఆధారంగా 3D పాయింట్ క్లౌడ్‌ను సృష్టిస్తుంది.
కమాండ్ యొక్క ఉత్పాదక స్టాక్ టెక్స్ట్ నుండి షరతులతో చిత్రాలను రూపొందించడానికి ఇటీవల ప్రతిపాదించిన ఉత్పాదక ఫ్రేమ్‌వర్క్‌లపై ఆధారపడి ఉంటుంది (సోల్-డిక్స్‌టీన్ మరియు ఇతరులు, 2015; సాంగ్ & ఎర్మోన్, 2020బి; హో మరియు ఇతరులు., 2020).వారు 3 బిలియన్ గ్లైడ్ పారామీటర్‌లతో (నికల్ మరియు ఇతరులు, 2021) గ్లైడ్ మోడల్‌ను ఉపయోగిస్తారు, రెండర్ చేయబడిన 3D మోడళ్లపై చక్కగా ట్యూన్ చేయబడి, వాటి టెక్స్ట్-టు-ఇమేజ్ ట్రాన్స్‌ఫర్మేషన్ మోడల్‌గా మరియు RGB పాయింట్ క్లౌడ్‌లను ఉత్పత్తి చేసే డిఫ్యూజన్ మోడల్‌ల సమితిని ఉపయోగిస్తున్నారు. పరివర్తన నమూనా.ఇమేజ్‌కి ఇమేజ్‌లు.3D నమూనాలు.
మునుపటి పని పాయింట్ క్లౌడ్‌లను ప్రాసెస్ చేయడానికి 3D ఆర్కిటెక్చర్‌లను ఉపయోగించగా, పరిశోధకులు సామర్థ్యాన్ని మెరుగుపరచడానికి సాధారణ ట్రాన్స్‌డ్యూసర్-ఆధారిత మోడల్‌ను (వాస్వానీ మరియు ఇతరులు, 2017) ఉపయోగించారు.వారి డిఫ్యూజన్ మోడల్ ఆర్కిటెక్చర్‌లో, పాయింట్ క్లౌడ్ ఇమేజ్‌లు ముందుగా ముందుగా శిక్షణ పొందిన ViT-L/14 CLIP మోడల్‌లో అందించబడతాయి మరియు తర్వాత అవుట్‌పుట్ మెష్‌లు మార్కర్‌లుగా కన్వర్టర్‌లోకి అందించబడతాయి.
వారి అనుభావిక అధ్యయనంలో, బృందం COCO ఆబ్జెక్ట్ డిటెక్షన్, సెగ్మెంటేషన్ మరియు సిగ్నేచర్ డేటాసెట్‌ల నుండి సిగ్నల్‌లను స్కోరింగ్ చేయడంపై ఇతర ఉత్పాదక 3D మోడల్‌లతో ప్రతిపాదిత పాయింట్ · E పద్ధతిని పోల్చింది.Point·E సంక్లిష్ట టెక్స్ట్ సిగ్నల్‌ల నుండి విభిన్నమైన మరియు సంక్లిష్టమైన 3D ఆకృతులను రూపొందించగలదని మరియు అంచనా సమయాన్ని ఒకటి నుండి రెండు ఆర్డర్‌ల పరిమాణంలో వేగవంతం చేయగలదని ఫలితాలు నిర్ధారిస్తాయి.బృందం వారి పని 3D టెక్స్ట్ సింథసిస్‌పై మరింత పరిశోధనను ప్రేరేపిస్తుందని భావిస్తోంది.
ప్రాజెక్ట్ యొక్క GitHubలో ప్రీట్రైన్డ్ పాయింట్ క్లౌడ్ ప్రొపగేషన్ మోడల్ మరియు ఎవాల్యుయేషన్ కోడ్ అందుబాటులో ఉన్నాయి.డాక్యుమెంట్ పాయింట్-E: క్లిష్టమైన క్లూల నుండి 3D పాయింట్ క్లౌడ్‌లను సృష్టించే సిస్టమ్ arXivలో ఉంది.
మీరు ఎటువంటి వార్తలను లేదా శాస్త్రీయ ఆవిష్కరణలను కోల్పోకూడదని మాకు తెలుసు.వారంవారీ AI అప్‌డేట్‌లను స్వీకరించడానికి మా ప్రసిద్ధ సమకాలీకరించబడిన గ్లోబల్ AI వీక్లీ వార్తాలేఖకు సభ్యత్వాన్ని పొందండి.
పోస్ట్ సమయం: డిసెంబర్-28-2022