[ad_1]
మెషిన్ లెర్నింగ్, డీప్ లెర్నింగ్, డేటా సైన్స్, సాఫ్ట్వేర్ ఇంజినీరింగ్, ఫైనాన్స్, బిజినెస్ మరియు మరిన్నింటిలో మీకు అవగాహన కలిగి ఉండటానికి సహాయపడే కంటెంట్
సిఫార్సులను చదవడం కోసం చాలా మంది నన్ను సంప్రదిస్తారు. నేను ప్రతి వారం చూసే AI పేపర్లు/పబ్లికేషన్లు, ఆసక్తికరమైన పుస్తకాలు, వీడియోలు మొదలైనవాటిని షేర్ చేయడం ప్రారంభించాలని అనుకున్నాను. కొన్ని సాంకేతికమైనవి, కొన్ని కాదు. మీకు నిజంగా ఉపయోగకరంగా అనిపించే ఏదైనా కంటెంట్ని జోడించండి (మరియు వారం పొడవునా మీరు గుర్తుంచుకోవాలి). ఇవి తాజా ప్రచురణలు కానవసరం లేదు. ఇవి నేను ఈ వారం దృష్టి పెడుతున్న ప్రచురణలు మాత్రమే. మరింత ఆలస్యం చేయకుండా, జనవరి 17, 2024కి సంబంధించిన కొన్ని ఆసక్తికరమైన రీడ్లు/వీక్షణలు ఇక్కడ ఉన్నాయి. మీరు గత వారం పఠనాన్ని కోల్పోయినట్లయితే, మీరు దానిని ఇక్కడ కనుగొనవచ్చు.
రిమైండర్ – మేము AI మేడ్ సింపుల్ సబ్రెడిట్ను ప్రారంభించాము. దయచేసి ఇక్కడికి రండి- https://www.reddit.com/r/AIMadeSimple/. మీరు సంఘం ఈవెంట్లు మరియు అప్డేట్లతో తాజాగా ఉండాలనుకుంటే, ఇక్కడ కల్ట్ డిస్కార్డ్లో చేరండి. https://discord.com/invite/EgrVtXSjYf.
చార్లీ జాన్సన్ అన్టాంగిల్డ్ అనే అద్భుతమైన వార్తాలేఖను వ్రాస్తాడు. నేను అతని పనిని చాలాసార్లు ప్రదర్శించినందున రెగ్యులర్ పాఠకులు అతని పేరును గుర్తించవచ్చు. చార్లీ ఇటీవలే నన్ను సంప్రదించాడు ఎందుకంటే అతను AI అన్టాంగ్ల్డ్ అనే పుస్తకాన్ని వ్రాస్తున్నాడు మరియు అతను అక్కడ కొన్ని ముఖ్యమైన అంశాలను లేవనెత్తాడు. మనం “హానిని తగ్గించడం” నుండి ఆ హానిని పెద్దవి చేస్తూనే సామాజిక-సాంకేతిక వ్యవస్థలను మార్చగలిగితే ఎలా ఉంటుంది?చార్లీ చాలా ఆసక్తికరమైన కథనాలను వ్రాశాడు మరియు ఈ పుస్తకం చాలా ఖరీదైనది అని నేను ఖచ్చితంగా అనుకుంటున్నాను. మీరు మిస్ అవ్వకుండా అతనితో సన్నిహితంగా ఉండండి (దయచేసి నాకు ఈ పుస్తకం/చార్లీ/చార్లీ సాధారణంగా ఎలాంటి వాణిజ్య/వృత్తిపరమైన సంబంధం లేదని గమనించండి – నేను అతని పనికి అభిమానిని మాత్రమే ). చర్చించబడిన ఆలోచనల ప్రివ్యూ ఇక్కడ ఉంది (తదుపరి కథనం కోసం తేలికపాటి స్పాయిలర్లు, ఇది యథాతథ స్థితిని పునరుద్ఘాటించే సాంకేతిక ఆలోచనలను మరియు అవి ఎలా ప్రత్యేకం కాగలవు).
మీకు ఆసక్తికరమైన పని ఉంటే మరియు దానిని స్పాట్లైట్ విభాగంలో ప్రదర్శించాలనుకుంటే, దయచేసి మీ పరిచయాన్ని వ్యాఖ్యల విభాగంలో వ్రాయండి లేదా నన్ను సంప్రదించండి. నియమాలు లేవు. మీరు వ్రాసిన పత్రాలు, మీరు పనిచేసిన ఆసక్తికరమైన ప్రాజెక్ట్లు, మీరు పని చేస్తున్న వ్యక్తిగత సవాళ్లు, మీ కంపెనీ లేదా ఉత్పత్తిని లేదా మీరు ముఖ్యమైనవిగా భావించే ఏదైనా ప్రచారం చేయమని నన్ను అడగవచ్చు. లక్ష్యం మిమ్మల్ని బాగా తెలుసుకోవడం మరియు చాక్లెట్ మిల్క్ కల్ట్లోని ఆసక్తికరమైన వ్యక్తులతో మిమ్మల్ని కనెక్ట్ చేయడం. ఖర్చులు లేదా బాధ్యతలు లేవు.
150,000 మంది టెక్నాలజీ లీడర్లతో చేరండి మరియు మా ఉచిత వార్తాలేఖ, AI మేడ్ సింపుల్తో నేరుగా మీ ఇన్బాక్స్కు AIలోని అతిపెద్ద ఆలోచనలపై అంతర్దృష్టులను పొందండి.
ఇవి ముఖ్యంగా బాగా రూపొందించబడినవి అని నేను భావించాను. మీకు సమయం లేకపోతే, కనీసం ఈ పనులను చూడండి.
లామా శిక్షణ ఖర్చు
సెబాస్టియన్ రాష్కా, AI పరిశోధకుడు మరియు ఇప్పటికే ఉన్న ప్రతి LLM పేపర్ విలువ తెలిసిన వ్యక్తి, మెటా థ్రెడ్లపై లామా వంటి మోడల్కి శిక్షణ ఇవ్వడానికి ఎంత ఖర్చవుతుందనే దాని గురించి చాలా ముఖ్యమైన కథనాన్ని రాశారు. నేను కొన్ని లెక్కలు చేసాను. ఇది LLM ఎంత ఖరీదైనది అనే దాని గురించి మీకు మంచి ఆలోచన ఇస్తుంది.
కొన్ని తెరవెనుక గణితాన్ని చేయడం, 7B లామా 2 మోడల్కు ముందస్తు శిక్షణ ఇవ్వడానికి సుమారు $760,000 ఖర్చవుతుంది. ఇది ప్రారంభం నుండి ప్రతిదీ సరిగ్గా జరిగిందని ఊహిస్తుంది. hparam సర్దుబాట్లు లేవు, డీబగ్గింగ్ లేదు, క్రాష్లు లేదా పునఃప్రారంభం అవసరం లేదు. ప్రయోగాలతో సహా వాస్తవ వ్యయం మిలియన్ డాలర్లలో ఉండవచ్చు. ఈ ప్రచురించిన మోడల్లన్నింటికీ ధన్యవాదాలు! గణన: AWSలో, 8xA100 ఉదంతాల కోసం గంటకు $33 వరకు చెల్లించండి. 7B మోడల్ 184,320 గంటల GPU సమయాన్ని కలిగి ఉందని లామా 2 పేపర్ పేర్కొంది.కాబట్టి 184320 / 8 * 33 = $760,000
పెద్ద-స్థాయి భాషా నమూనాల కోసం నాలెడ్జ్ ఎడిటింగ్ యొక్క సమగ్ర అధ్యయనం
నేను సెబ్ యొక్క థ్రెడ్ని చూశాను మరియు మీరు పర్యవేక్షణ, డేటా డ్రిఫ్ట్, రీబ్యాలెన్సింగ్ మొదలైనవాటికి కారకంగా ఉన్నప్పుడు LLM ధర ఎలా ఉంటుందో చూడాలని ఆసక్తిగా ఉన్నాను. వాస్తవానికి, నా ప్రశ్నకు సమాధానమివ్వడానికి మానవులకు సరైన కాగితం ఉంది.
పెద్ద-స్థాయి భాషా నమూనాలు (LLMలు) మానవ సంభాషణను దగ్గరగా ప్రతిబింబించే వచనాన్ని అర్థం చేసుకోవడంలో మరియు ఉత్పత్తి చేయడంలో అసాధారణ సామర్థ్యాన్ని చూపించాయి. ఏదేమైనప్పటికీ, విస్తృతమైన పారామిటరైజేషన్ ఫలితంగా శిక్షణ సమయంలో పెద్ద గణన డిమాండ్లలో ప్రధాన పరిమితి ఉంది. ఈ సవాలు ప్రపంచంలోని డైనమిక్ స్వభావం ద్వారా మరింత మెరుగుపరచబడింది, పాత సమాచారాన్ని సరిచేయడానికి మరియు నిరంతర ఔచిత్యాన్ని నిర్ధారించడానికి కొత్త జ్ఞానాన్ని ఏకీకృతం చేయడానికి LLMలకు తరచుగా నవీకరణలు అవసరం. అనేక అనువర్తనాలకు లోపాలు లేదా అవాంఛనీయ ప్రవర్తనను పరిష్కరించడానికి శిక్షణ తర్వాత మోడల్ యొక్క నిరంతర ట్యూనింగ్ అవసరమని గమనించండి. ఫ్లైలో మోడల్లను సవరించడానికి సమర్థవంతమైన మరియు తేలికైన మార్గాలపై ఆసక్తి పెరుగుతోంది. ఈ లక్ష్యాన్ని సాధించడానికి, ఇటీవలి సంవత్సరాలలో LLM నాలెడ్జ్ ఎడిటింగ్ పద్ధతులు వేగంగా అభివృద్ధి చెందాయి. విభిన్న ఇన్పుట్లలో మొత్తం పనితీరును కొనసాగిస్తూ నిర్దిష్ట డొమైన్లో LLM యొక్క ప్రవర్తనను సమర్థవంతంగా సవరించడం దీని లక్ష్యం. ఈ పేపర్లో, మేము మొదట నాలెడ్జ్ ఎడిటింగ్ సమస్యను నిర్వచించి, ఆపై స్టేట్ ఆఫ్ ది ఆర్ట్ విధానాల యొక్క సమగ్ర సమీక్షను అందిస్తాము. జ్ఞాన సవరణ పద్ధతులను మూడు గ్రూపులుగా వర్గీకరించే విద్యా మరియు అభిజ్ఞా పరిశోధన సిద్ధాంతాలచే స్ఫూర్తి పొందిన ఏకీకృత వర్గీకరణ: బాహ్య జ్ఞానంపై ఆధారపడే పద్ధతులు, జ్ఞానాన్ని మోడల్లో విలీనం చేసే పద్ధతులు మరియు అవసరమైన జ్ఞానాన్ని సవరించే పద్ధతులు. ప్రమాణాలను సూచించండి. అదనంగా, మేము KnowEditని పరిచయం చేస్తున్నాము, ఇది ప్రతినిధి జ్ఞాన సవరణ విధానాల యొక్క సమగ్ర అనుభావిక మూల్యాంకనం కోసం ఒక కొత్త ప్రమాణం. అదనంగా, ఇది జ్ఞానం ఎక్కడ ఉంటుందో వివరణాత్మక విశ్లేషణను అందిస్తుంది. ఇది LLMలో అంతర్లీనంగా ఉన్న జ్ఞాన నిర్మాణాల గురించి లోతైన అవగాహనను అందిస్తుంది. చివరగా, మేము నాలెడ్జ్ ఎడిటింగ్ యొక్క కొన్ని సంభావ్య అనువర్తనాలను హైలైట్ చేస్తాము మరియు దాని సుదూర మరియు ప్రభావవంతమైన చిక్కులను వివరిస్తాము.
హగ్గింగ్ఫేస్ డెసికోడర్-6B
HFలో మరిన్ని LLMలు అందించబడ్డాయి (పైన డౌన్లోడ్ చేసుకోవడానికి అందుబాటులో ఉన్నాయి). ఈ ఆవిష్కరణ కోసం హర్ప్రీత్ సహోతా 🥑ని గట్టిగా అడగండి. అతను అలాంటి అప్డేట్లతో తాజాగా ఉన్నాడు, కాబట్టి మీరు అందుబాటులో ఉన్న అన్ని మోడల్లతో తాజాగా ఉండాలనుకుంటే అతన్ని అనుసరించండి.
DeciCoder-6B అనేది పైథాన్, జావా, జావాస్క్రిప్ట్, రస్ట్, C++, C, మరియు C# ఉపసమితిపై శిక్షణ పొందిన 6 బిలియన్ పారామీటర్ డీకోడర్-నిర్దిష్ట కోడ్ పూర్తి మోడల్. స్టార్కోడర్ శిక్షణ డేటాసెట్. ఈ మోడల్ వేరియబుల్ గ్రూప్డ్ క్వెరీ అటెండెన్స్ని ఉపయోగిస్తుంది మరియు 2,000 టోకెన్ల కాంటెక్స్ట్ విండోను కలిగి ఉంది. ఇది ఫిల్-ఇన్-ది-మిడిల్ ట్రైనింగ్ ఆబ్జెక్టివ్ని ఉపయోగించి శిక్షణ పొందింది. డెసి యొక్క ప్రొప్రైటరీ న్యూరల్ ఆర్కిటెక్చర్ సెర్చ్-బేస్డ్ టెక్నాలజీ అయిన AutoNAC ద్వారా మోడల్ ఆర్కిటెక్చర్ రూపొందించబడింది.
ఆల్ఫా జామెట్రీ: ఒలింపిక్-స్థాయి జ్యామితి AI వ్యవస్థ
డీప్మైండ్ టెస్లా బాట్లు మరియు సామ్ ఆల్ట్మాన్ AGIకి ఎంత సన్నిహితంగా ఉన్నారనే దాని గురించిన ప్రకటనలను చూసింది మరియు పాల్గొనాలని నిర్ణయించుకుంది. ఒలింపిక్-స్థాయి పరిష్కారాలను రూపొందించడానికి మేము AIకి ఎలా నేర్పించామో చాలా గొప్ప చిట్కాలు ఉన్నాయి మరియు Gen-AI సిస్టమ్ను రూపొందించాలని చూస్తున్న ఎవరికైనా మేము దీన్ని సిఫార్సు చేస్తున్నాము. మీరు వేచి ఉంటే, నా కొడుకు దీన్ని మరింత వివరంగా వివరిస్తాడు.
ఈరోజు ప్రచురించిన పేపర్లో, ప్రకృతిఆల్ఫా జామెట్రీని పరిచయం చేస్తున్నాము, ఇది మానవ ఒలింపిక్ బంగారు పతక విజేతల మాదిరిగానే సంక్లిష్ట జ్యామితి సమస్యలను పరిష్కరించే AI వ్యవస్థ. AI పనితీరులో ఇది పురోగతి. 30 ఒలింపిక్ జ్యామితి సమస్యల బెంచ్మార్క్ పరీక్షలో, ఆల్ఫా జామెట్రీ ప్రామాణిక ఒలింపిక్ సమయ పరిమితిలో 25 సమస్యలను పరిష్కరించింది. పోలిక కోసం, మునుపటి స్టేట్ ఆఫ్ ది ఆర్ట్ సిస్టమ్ ఈ జ్యామితి సమస్యలలో 10ని పరిష్కరించింది మరియు సగటు మానవ బంగారు పతక విజేత 25.9 సమస్యలను పరిష్కరించాడు.
లోతైన ఉపబల అభ్యాసాన్ని ఉపయోగించి టోకామాక్ ప్లాస్మా యొక్క అయస్కాంత నియంత్రణ
సూపర్ న్యూక్లియర్ పవర్ యొక్క ప్రతిపాదకుడిగా, ఇది పురాణగాథ. AI అణుశక్తిలో పెద్ద ఎత్తున పురోగమనాలకు దారితీస్తుందని, ఇది అణుశక్తిని పెద్ద ఎత్తున విస్తరణకు దారి తీస్తుందని మనం చూడవచ్చు. అణ్వాయుధాలను చూసి భయపడే వారి కోసం, అద్భుతమైన సైన్స్ కమ్యూనికేషన్ ఛానెల్ Kurzgesagt వాటి గురించి కొన్ని గొప్ప వీడియోలను కలిగి ఉంది.
అయస్కాంత నిర్బంధాన్ని ఉపయోగించి అణు సంయోగం, ముఖ్యంగా టోకామాక్ కాన్ఫిగరేషన్లలో, స్థిరమైన శక్తికి ఒక మంచి మార్గం. టోకామాక్ పాత్ర లోపల అధిక-ఉష్ణోగ్రత ప్లాస్మాను ఏర్పరచడం మరియు నిర్వహించడం ప్రధాన సవాలు. దీనికి మాగ్నెటిక్ యాక్యుయేటర్ కాయిల్స్ని ఉపయోగించి అధిక-డైమెన్షనల్, హై-ఫ్రీక్వెన్సీ, క్లోజ్డ్-లూప్ కంట్రోల్ అవసరం, ఇది ప్లాస్మా కాన్ఫిగరేషన్ల విస్తృత శ్రేణిలో విభిన్న అవసరాల ద్వారా మరింత క్లిష్టంగా ఉంటుంది. ఈ అధ్యయనంలో, మేము టోకామాక్ మాగ్నెటిక్ కంట్రోలర్ డిజైన్ కోసం గతంలో వివరించబడని నిర్మాణాన్ని పరిచయం చేస్తాము, ఇది పూర్తి నియంత్రణ కాయిల్స్ను ఎలా నియంత్రించాలో స్వయంప్రతిపత్తితో నేర్చుకుంటుంది. ఈ ఆర్కిటెక్చర్ భౌతిక మరియు కార్యాచరణ పరిమితులను కూడా కలుసుకునేటప్పుడు ఉన్నత-స్థాయి నిర్దేశిత నియంత్రణ లక్ష్యాలను కలుస్తుంది. ఈ విధానం సమస్య స్పెసిఫికేషన్లో అపూర్వమైన వశ్యత మరియు బహుముఖ ప్రజ్ఞను అందిస్తుంది మరియు కొత్త ప్లాస్మా కాన్ఫిగరేషన్లను రూపొందించడానికి డిజైన్ ప్రయత్నాన్ని గణనీయంగా తగ్గిస్తుంది. Tokamak→కాన్ఫిగరేషన్ వేరియబుల్స్ ఉపయోగించి వివిధ ప్లాస్మా కాన్ఫిగరేషన్లను రూపొందించడంలో మరియు నియంత్రించడంలో విజయం సాధించింది.1,2, పొడుగుచేసిన సాంప్రదాయ ఆకారాలు అలాగే ప్రతికూల త్రిభుజాలు మరియు “స్నోఫ్లేక్” కాన్ఫిగరేషన్ల వంటి అధునాతన కాన్ఫిగరేషన్లతో సహా. మా విధానం ఈ కాన్ఫిగరేషన్ల యొక్క స్థానం, కరెంట్ మరియు ఆకృతి యొక్క ఖచ్చితమైన ట్రాకింగ్ను సాధిస్తుంది. మేము TCVలో నిరంతర “బిందువు”ని కూడా ప్రదర్శిస్తాము, ఇక్కడ నౌకలో రెండు వేర్వేరు ప్లాస్మాలు ఏకకాలంలో నిర్వహించబడతాయి. ఇది టోకామాక్ ఫీడ్బ్యాక్ నియంత్రణలో గణనీయమైన పురోగతిని సూచిస్తుంది మరియు ఫ్యూజన్ రంగంలో పరిశోధనను వేగవంతం చేయడానికి ఉపబల అభ్యాసం యొక్క సామర్థ్యాన్ని ప్రదర్శిస్తుంది, ఇది ఉపబల అభ్యాసం వర్తించే అత్యంత సవాలుగా ఉన్న వాస్తవ-ప్రపంచ వ్యవస్థలలో ఒకటి.
స్వేచ్ఛా సంకల్పం వర్సెస్ డిటర్మినిజం: తాత్వికంగా ఎలా ఆలోచించకూడదు
నా కొత్త ఇష్టమైన ఛానెల్లలో ఒకటి వెస్ సెసిల్ మరియు అతను తత్వశాస్త్రాన్ని వివరించే విధానం నాకు చాలా ఇష్టం. పై వీడియోలో, అతను స్వేచ్ఛా సంకల్పం మరియు నిర్ణయాత్మకత గురించి అలసిపోయిన చర్చలను విచ్ఛిన్నం చేశాడు మరియు తప్పుడు డైకోటోమీలు మరియు రెడ్ హెర్రింగ్ల ద్వారా ఎన్ని చర్చలను అణగదొక్కవచ్చు అనే దాని గురించి మాట్లాడాడు. మరియు నిర్వచనం లేదా ఫ్రేమ్వర్క్ను మార్చడం అనేది ఉపన్యాసాన్ని ఎలా మారుస్తుంది? కచ్చితంగా చూడాల్సిందే.
గాస్సియన్ స్ప్లాటింగ్ యొక్క సమగ్ర అవలోకనం
ఇది నేను ఇటీవల నేర్చుకున్న నిజంగా అద్భుతమైన టెక్నిక్. నేను మరిన్ని సముచిత మెషిన్ లెర్నింగ్ టెక్నిక్ల గురించి నా పరిజ్ఞానాన్ని పెంచుకోవడానికి ప్రయత్నిస్తున్నాను, కాబట్టి నేను పట్టించుకోలేదని మీరు భావించే ఏవైనా సిఫార్సులు మీకు ఉంటే, దయచేసి నాకు సందేశం పంపండి.
గాస్సియన్ స్ప్లాటింగ్ అనేది 3D దృశ్యాలను సూచించడానికి మరియు కొత్త వీక్షణలను అందించడానికి ఒక పద్ధతి, రియల్-టైమ్ రేడియన్స్ ఫీల్డ్ రెండరింగ్¹ కోసం 3D గాస్సియన్ స్ప్లాటింగ్లో పరిచయం చేయబడింది.ఇది NeRF² వంటి నమూనాలకు ప్రత్యామ్నాయంగా భావించవచ్చు మరియు ఆ సమయంలో NeRF వలె, గాస్సియన్ స్ప్లాటింగ్ అనేక కొత్త పరిశోధన ఫలితాలు మేము దీనిని వివిధ రకాల వినియోగ సందర్భాలలో 3D ప్రపంచం యొక్క ప్రాథమిక ప్రాతినిధ్యంగా ఉపయోగించాలని ఎంచుకున్నాము. కాబట్టి దీని ప్రత్యేకత ఏమిటి మరియు ఇది NeRF కంటే ఎందుకు మంచిది? లేదా? దాన్ని తనిఖీ చేద్దాం!
నేను నా పనిలో కొన్ని మార్పులు చేస్తున్నందున (మరియు కొన్ని నిజంగా ఆహ్లాదకరమైన విషయాలను ప్లాన్ చేసినందున) నేను దీన్ని చిన్నగా ఉంచుతాను.
మీరు ఈ కథనాన్ని ఇష్టపడి, దీన్ని భాగస్వామ్యం చేయాలనుకుంటే, దయచేసి క్రింది మార్గదర్శకాలను చూడండి:
నా ఇతర కంటెంట్ని తనిఖీ చేయడానికి, శిక్షణ గురించి మరింత తెలుసుకోవడానికి, ప్రాజెక్ట్ గురించి నన్ను సంప్రదించడానికి లేదా హాయ్ చెప్పడానికి క్రింది లింక్లను ఉపయోగించండి.
సాంకేతికత, AI మరియు మెషిన్ లెర్నింగ్ గురించి చిన్న స్నిప్పెట్ల కోసం ఇక్కడ క్లిక్ చేయండి
AI వార్తాలేఖ – https://artificialintelligencemadesimple.substack.com/
మా అమ్మమ్మకి ఇష్టమైన సాంకేతిక వార్తాలేఖ – https://codinginterviewsmadesimple.substack.com/
మీడియంలోని నా ఇతర కథనాలను చూడండి. : https://rb.gy/zn1aiu
నా YouTube: https://rb.gy/88iwdd
లింక్డ్ఇన్లో నన్ను సంప్రదించండి. కనెక్ట్ చేద్దాం: https://rb.gy/m5ok2y
నా ఇన్స్టాగ్రామ్: https://rb.gy/gmvuy9
నా ట్విట్టర్: https://twitter.com/Machine01776819
[ad_2]
Source link
