[ad_1]
2022 చివరిలో DALL-E 2 విడుదలైనప్పటి నుండి, టెక్స్ట్ టు ఇమేజ్ జనరేటర్లు అందరినీ ఆకట్టుకున్నాయి మరియు చాలా మంది బలమైన పోటీదారులు మార్కెట్లోకి ప్రవేశించారు. ఒక సంవత్సరం కంటే ఎక్కువ కాలం తర్వాత, మేము ఒక కొత్త సాంకేతికత ప్రారంభంలో ఉన్నాము: AI వీడియో జనరేషన్.
టెక్స్ట్ ప్రాంప్ట్లు మరియు ఇతర చిత్రాల నుండి అత్యంత వాస్తవిక వీడియోలను సృష్టించగల టెక్స్ట్-టు-వీడియో డిఫ్యూజన్ మోడల్ అయిన లూమియర్పై గూగుల్ రీసెర్చ్ మంగళవారం పరిశోధనా పత్రాన్ని ప్రచురించింది.
సంబంధిత కథనం: 2024 యొక్క ఉత్తమ AI ఇమేజ్ జనరేటర్: DALL-E 2 మరియు దాని ప్రత్యామ్నాయాలు
వీడియో ఉత్పత్తి మరియు సంశ్లేషణలో కీలకమైన సవాలును పరిష్కరించడానికి మోడల్ రూపొందించబడింది: పేపర్ ప్రకారం “వాస్తవికమైన, విభిన్నమైన మరియు స్థిరమైన చలనాన్ని” ఉత్పత్తి చేస్తుంది. మీరు గమనించినట్లుగా, వీడియో జనరేషన్ మోడల్లు సాధారణంగా అస్థిరమైన వీడియోకు దారితీస్తాయి, అయితే Google యొక్క విధానం దిగువ వీడియోలో చూసినట్లుగా మరింత అతుకులు లేని వీక్షణ అనుభవాన్ని అందిస్తుంది.
వీడియో క్లిప్లు చూడటానికి మృదువుగా ఉండటమే కాకుండా చాలా వాస్తవికంగా కనిపిస్తాయి కాబట్టి ఇది ఇతర మోడళ్ల కంటే భారీ అప్గ్రేడ్. లూమియర్ దీన్ని స్పాటియో-టెంపోరల్ యు-నెట్ ఆర్కిటెక్చర్ ద్వారా సాధించాడు, అది ఒకే పాస్ ద్వారా ఒకేసారి వీడియో నిడివిని ఉత్పత్తి చేస్తుంది.
ఈ వీడియో జనరేషన్ పద్ధతి సుదూర కీఫ్రేమ్లను సంశ్లేషణ చేసే ఇతర ప్రస్తుత మోడల్ల నుండి భిన్నంగా ఉంటుంది. పేపర్ ప్రకారం, ఈ విధానం అంతర్గతంగా వీడియో స్థిరత్వాన్ని సాధించడం కష్టతరం చేస్తుంది.
లూమియర్ ఒక సాధారణ ఇమేజ్ జనరేటర్ లాగా పని చేస్తుంది మరియు టెక్స్ట్-టు-వీడియోతో సహా అనేక రకాల ఇన్పుట్లను అంగీకరిస్తుంది, ఇది టెక్స్ట్ ప్రాంప్ట్ నుండి వీడియోను మరియు ఇమేజ్-టు-వీడియోను రూపొందిస్తుంది, ఇది ఇమేజ్ను తీసుకుంటుంది మరియు దానితో పాటు వచ్చే ప్రాంప్ట్ని ఉపయోగించి వీడియోను రూపొందిస్తుంది. మీరు దీని నుండి వీడియోలను రూపొందించవచ్చు. వీడియోలతో మీ ఫోటోలకు జీవం పోయండి.
ఈ మోడల్ స్టైలైజ్డ్ జనరేషన్ ద్వారా వీడియో జనరేషన్కు ఒక ఆహ్లాదకరమైన ట్విస్ట్ను కూడా జోడించగలదు, ఇది ఒకే సూచన ఇమేజ్ని ఉపయోగిస్తుంది మరియు వీడియోని టార్గెట్ స్టైల్లో రూపొందించడానికి యూజర్ ప్రాంప్ట్లను ఉపయోగిస్తుంది.
వీడియో జనరేషన్తో పాటు, నిర్దిష్ట ప్రాంప్ట్లను ప్రతిబింబించేలా వీడియోను సవరించే వివిధ విజువల్ స్టైలైజేషన్లను రూపొందించడానికి మోడల్లు ఉపయోగించబడతాయి, ఫోటో యొక్క నిర్దిష్ట ప్రాంతాలను యానిమేట్ చేసే సినిమాగ్రాఫ్లు మరియు తప్పిపోయిన లేదా దెబ్బతిన్న ప్రాంతాలు. మీరు ఇప్పటికే ఉన్న వీడియోలను ఫిల్ రిపేర్ ద్వారా కూడా సవరించవచ్చు. వీడియో.
సంబంధిత కథనం: మైక్రోసాఫ్ట్ ప్రకారం, సమావేశాలను AI పరిష్కరిస్తున్న 7 మార్గాలు
పేపర్లో, దృశ్య నాణ్యత మరియు కదలికల పరంగా మంచిదని భావించే వీడియోలను ఎంచుకోమని టెస్టర్ల సమూహాన్ని Google కోరింది మరియు వాటిని ImagenVideo, Pika, ZeroScope మరియు Gen2 వంటి ఇతర ప్రముఖ పాఠాలతో పోల్చింది. మేము Lumiere పనితీరును కొలిచాము. వీడియోకు వ్యాప్తి నమూనాలో. ప్రతి వీడియోను ఏ మోడల్ రూపొందించిందో మాకు తెలియదు.
Google మోడల్ టెక్స్ట్-టు-వీడియో నాణ్యత, టెక్స్ట్-టు-వీడియో టెక్స్ట్ అలైన్మెంట్ మరియు ఇమేజ్-టు-వీడియో నాణ్యతతో సహా అన్ని వర్గాలలోని ఇతర మోడల్లను అధిగమిస్తుంది.
ఈ మోడల్ ఇంకా ప్రజలకు అందుబాటులో లేదు. అయితే, మీరు మరింత తెలుసుకోవాలనుకుంటే లేదా చర్యలో ఉన్న మోడల్ను చూడాలనుకుంటే, Lumiere వెబ్సైట్ని సందర్శించండి. అక్కడ మీరు వివిధ పనులను చేసే అనేక నమూనాల ప్రదర్శనలను చూస్తారు.
[ad_2]
Source link
