ክፍት AI ነጥብ ኢ፡ በአንድ ጂፒዩ ላይ በደቂቃዎች ውስጥ ከተወሳሰቡ ሞገዶች የ3D ነጥብ ደመና ይፍጠሩ

በአዲስ መጣጥፍ ነጥብ-ኢ፡ የ3D ነጥብ ደመናን ከተወሳሰቡ ምልክቶች የሚያመነጭበት ስርዓት፣የOpenAI የምርምር ቡድን ነጥቡን ኢ ያስተዋውቃል፣የ3D ነጥብ ደመና ጽሑፍ ሁኔታዊ ውህደት ስርዓት የተለያዩ እና ውስብስብ 3D ቅርጾችን በውስብስብ ጽሁፍ የሚመሩ የስርጭት ሞዴሎችን ይጠቀማል። ምልክቶች.በደቂቃዎች ውስጥ በአንድ ጂፒዩ ላይ።
የዛሬው ዘመናዊ የምስል ማመንጨት ሞዴሎች አስደናቂ አፈጻጸም በ3D የጽሑፍ ዕቃዎች ላይ ምርምርን አበረታቷል።ነገር ግን፣ ከ2D ሞዴሎች በተለየ፣ በደቂቃዎች ወይም በሰከንዶች ውስጥ ምርትን ሊያመነጭ ይችላል፣ የነገር አመንጪ ሞዴሎች አንድ ነጠላ ናሙና ለማመንጨት ብዙ ሰአታት የጂፒዩ ስራ ያስፈልጋቸዋል።
በአዲስ መጣጥፍ ነጥብ-ኢ፡ የ3D ነጥብ ደመናን ከተወሳሰቡ ምልክቶች የማመንጨት ሥርዓት፣ የOpenAI የምርምር ቡድን ለ3D ነጥብ ደመናዎች የጽሑፍ ሁኔታዊ ውህደት ስርዓት Point ·Eን ያቀርባል።ይህ አዲስ አካሄድ በአንድ ወይም በሁለት ደቂቃ ውስጥ በአንድ ጂፒዩ ላይ የተለያዩ እና ውስብስብ 3D ቅርጾችን ከተወሳሰቡ የፅሁፍ ምልክቶች ለመፍጠር የስርጭት ሞዴልን ይጠቀማል።
ቡድኑ ጽሑፍን ወደ 3D የመቀየር ፈታኝ ሁኔታ ላይ ያተኮረ ሲሆን ይህም ከቨርቹዋል እውነታ እና ከጨዋታ እስከ ኢንዱስትሪያዊ ዲዛይን ያሉ የ3D ይዘት መፍጠርን ለእውነተኛ አለም አፕሊኬሽኖች ዲሞክራሲያዊ ለማድረግ ወሳኝ ነው።ጽሑፍን ወደ 3D ለመቀየር አሁን ያሉት ዘዴዎች በሁለት ምድቦች ይከፈላሉ፣ እያንዳንዳቸውም ተቃራኒዎች አሏቸው፡ 1) አመንጪ ሞዴሎች ናሙናዎችን በብቃት ለማመንጨት ጥቅም ላይ ሊውሉ ይችላሉ፣ ነገር ግን ለተለያዩ እና ውስብስብ የጽሑፍ ምልክቶች በብቃት መመዘን አይችሉም።2) ውስብስብ እና የተለያዩ የፅሁፍ ምልክቶችን ለማስተናገድ አስቀድሞ የሰለጠነ የፅሁፍ ምስል ሞዴል፣ ነገር ግን ይህ አሰራር በስሌት የተጠናከረ ነው እና አምሳያው በቀላሉ ትርጉም ካለው ወይም ወጥነት ካለው 3D ነገሮች ጋር በማይዛመድ አካባቢያዊ ሚኒማ ላይ ሊጣበቅ ይችላል።
ስለዚህ ቡድኑ በትልቅ የፅሁፍ ምስል ጥንዶች ላይ የሰለጠነ (የተለያዩ እና ውስብስብ ምልክቶችን እንዲያስተናግድ በመፍቀድ) እና ከላይ የተጠቀሱትን ሁለት አቀራረቦች ጥንካሬዎች በማጣመር አንድ አማራጭ መንገድ መርምሯል። በትንሽ የጽሑፍ-ምስል ጥንዶች ስብስብ ላይ የሰለጠነ ባለ 3 ዲ ምስል ስርጭት ሞዴል።ምስል-3D ጥንድ የውሂብ ስብስብ.የጽሑፍ-ወደ-ምስል ሞዴል በመጀመሪያ የግቤት ምስሉን ናሙና አንድ ነጠላ ሰው ሠራሽ ውክልና ለመፍጠር፣ እና የምስል-ወደ-3 ዲ አምሳያው በተመረጠው ምስል ላይ በመመስረት የ3-ል ነጥብ ደመና ይፈጥራል።
የትዕዛዙ የጄኔሬቲቭ ቁልል በቅርብ ጊዜ በታቀደው አመንጪ ማዕቀፎች ላይ የተመሰረተ ነው በሁኔታዊ ሁኔታ ከጽሑፍ ምስሎችን (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020)።የ GLIDE ሞዴልን ከ3 ቢሊዮን GLIDE መለኪያዎች (ኒኮል እና ሌሎች፣ 2021) ጋር፣ በተቀረጹት 3D ሞዴሎች ላይ በጥሩ ሁኔታ የተስተካከለ፣ እንደ ፅሁፍ-ወደ-ምስል የመቀየር ሞዴላቸው እና RGB ነጥብ ደመናን እንደነሱ የሚያመነጩ የስርጭት ሞዴሎችን ይጠቀማሉ። የለውጥ ሞዴል.ምስሎችን ወደ ምስል.3D ሞዴሎች.
የቀደመው ስራ የነጥብ ደመናን ለማስኬድ የ3D አርክቴክቸርን ሲጠቀም፣ተመራማሪዎቹ ቅልጥፍናን ለማሻሻል ቀላል ትራንስዱሰር ላይ የተመሰረተ ሞዴል (Vaswani et al., 2017) ተጠቅመዋል።በስርጭት ሞዴላቸው አርክቴክቸር፣ የነጥብ ደመና ምስሎች መጀመሪያ ወደ ቀድሞ የሰለጠነ የቪቲ-ኤል/14 CLIP ሞዴል ይመገባሉ እና ከዚያ የውጤት መረቦች ወደ መቀየሪያው እንደ ማርከር ይመገባሉ።
በተጨባጭ ጥናታቸው፣ ቡድኑ የቀረበውን Point·E ዘዴ ከሌሎች አመንጪ 3D ሞዴሎች ጋር ከCOCO የነገር ማወቂያ፣ክፍልፋይ እና የፊርማ ዳታሴቶች ምልክቶች ጋር አነጻጽሯል።ውጤቶቹ ያረጋግጣሉ ነጥብ · ኢ የተለያዩ እና የተወሳሰቡ 3D ቅርጾችን ከተወሳሰቡ የፅሁፍ ምልክቶች ማመንጨት እና የማጣቀሻ ጊዜን ከአንድ እስከ ሁለት ቅደም ተከተሎች ማፋጠን ይችላል።ቡድኑ ስራቸው በ3D የፅሁፍ ውህደት ላይ ተጨማሪ ምርምር እንደሚያበረታታ ተስፋ ያደርጋል።
አስቀድሞ የሰለጠነ የነጥብ ደመና ስርጭት ሞዴል እና የግምገማ ኮድ በፕሮጀክቱ GitHub ላይ ይገኛሉ።የሰነድ ነጥብ-ኢ፡ ከተወሳሰቡ ፍንጮች 3D ነጥብ ደመናን የመፍጠር ስርዓት በ arXiv ላይ አለ።
ምንም ዜና ወይም ሳይንሳዊ ግኝት እንዳያመልጥዎ እናውቃለን።ሳምንታዊ የ AI ዝመናዎችን ለማግኘት ወደ ታዋቂው የSynced Global AI ሳምንታዊ ጋዜጣ ይመዝገቡ።