Phi tehisintellekti mudel Microsoft - väike, odav ja ei kannata "hallutsinatsioonide" all. Nii räägivad nad uue keelemudeli kohta, millele ennustatakse suurt tulevikku.
GPT on täiesti suurepärane, kuid samal ajal on see kohutavalt kallis ja see ei saa kõigile sobida. Nendel ja paljudel muudel põhjustel Microsoft katsetab palju väiksemate AI mudelitega. Väidetavalt teeb Phi-3-mini isegi OpenAI inseneride töö häbi.
Huvitav ka: Tuleviku transistorid: meid ootab uus kiipide ajastu
ChatGPT ei ole imerohi
ChatGPT on leiutis, mida rahastatakse, kureeritakse ja täiustatakse Microsoft. Tegelikult see ei kuulu Microsoftja ettevõte OpenAI, mis Microsoft ei oma (ta on juhtiv, kuigi mitte suurim investor). GPT keelemudel andis Microsoft hiiglaslik eelis ülejäänud suurte tehnoloogiakorporatsioonide ees, kes praegu järele tormavad. GPT-ga on aga tohutult palju probleeme, millest paljusid pole veel võimalik lahendada.
Esiteks on see väga ressursimahukas keelemudel. Veebi orienteeritud Microsoft OpenAI Copilot või ChatGPT tekitavad väga suuri tegevuskulusid Microsoft. See ei ole mitte ainult GPT, vaid ka kõigi suuremate keelemudelite funktsioon. Lisaks sellele on GPT, nagu ka tema konkurendid, altid "hallutsinatsioonidele", see tähendab, et see võib genereerida vastuseid päringutele, mis sisaldavad valet või eksitavat teavet. Mida rohkem andmeid selline mudel neelab, seda rohkem kipub see sarnast sisu genereerima. Seetõttu pole hallutsinatsioonid ja valeväited digitaalsest sõrmest välja imetud müüt. Sageli märgivad kasutajad, et suured keelemudelid teevad sageli vigu, annavad ebatäpseid andmeid ja tegutsevad olematute faktide põhjal.
Mõlemad probleemid on väga tõsised, mistõttu OpenAI, Microsoft, Meta, Google ja teised töötavad mitte ainult suure keelemudeli tehnoloogia, vaid ka väikese keelemudeli väljatöötamisega, mis praktikas võib anda palju paremaid tulemusi.
Digiraamatupidaja assistent ei pea kvantfüüsikast palju teadma. See võib olla palju väiksem ja vähem keerukas (ja seega odavam) ning treenides ainult selle eesmärgi saavutamiseks vajalikke andmeid, peaks teoreetiliselt vähem hallutsineerima. Kuigi seda on lihtsam öelda kui teha. GenAI tehnoloogia on endiselt metsik IT-ettevõtmine. Ja kuigi töö edeneb enneolematus tempos, on põhimõttelistes küsimustes siiski raske läbimurdeid praktiliselt teha. Aga firma Microsoft teatas hiljuti sellisest läbimurdest. Räägime väikesest keelemudelist Microsoft Phi.
Huvitav ka: Kuidas Taiwan, Hiina ja USA võitlevad tehnoloogilise domineerimise pärast: suur kiibisõda
Millest on teada Microsoft Phi
Kõigepealt tuleb märkida, et eksperiment viidi läbi ilma OpenAI ettevõtte osaluseta. See tähendab, et see on inseneride areng Microsoft.
Mudelid Microsoft Phi on väikeste keelemudelite (SLM-ide) sari, mis saavutavad mitmesugustes testides erakordseid tulemusi. Esimesel mudelil Phi-1 oli 1,3 miljardit parameetrit ja see saavutas olemasolevate SLM-ide seas parimad Pythoni kodeerimise tulemused.
Seejärel keskendusid arendajad keele mõistmisele ja mõtlemisele, luues mudeli Phi-1.5, millel oli samuti 1,3 miljardit parameetrit ja mille jõudlus oli võrreldav viiekordsete parameetritega mudelitega.
Phi-2 on 2,7 miljardi parameetriga mudel, mis demonstreerib silmapaistvat arutlusvõimet ja keele mõistmise võimet, toimides 13 miljardi parameetriga parimate baasmudelite tasemel. Phi-2 paistab teistest mudelitest silma uuenduste poolest mudeli skaleerimises ja andmete kureerimise koolituses.
See on saadaval Azure AI Studio mudelikataloogis, mis hõlbustab keelemudelite valdkonna uurimis- ja arendustegevust. Phi-2 käivitati 2023. aasta detsembris. Arendajad kinnitavad, et see töötab sama hästi kui Meta Mistral või laama 2. Ja Phi-3 töötab isegi paremini kui eelmine versioon.
Äsja avalikustatud mudel Phi-3 on aga kvaliteedilt täiesti uus. Vähemalt nii saate esitatud teabe põhjal otsustada Microsoft. Ettevõtte sõnul toimib Phi-3 kõigi teadaolevate etalonide näitajate järgi paremini kui ükski teine sarnase suurusega mudel, sealhulgas keeleanalüüs, programmeerimistöö või matemaatiline töö.
Äsja sai kõigile huvilistele kättesaadavaks selle mudeli väikseim versioon Phi-3-mini. See tähendab, et see on saadaval alates 23. aprillist. Phi-3-mini on 3,8 miljardit parameetrit ja mõõtmiste järgi Microsoft, kaks korda tõhusam kui mis tahes muu sama suurusega mudel. Selle leiab pilveteenuse AI mudelite kataloogist Microsoft Azure, Hugging Face masinõppe mudeliplatvorm ja Ollama, raamistik mudelite käitamiseks kohalikus arvutis.
Nagu ta väidab Microsoft, Phi-3-mini ei vaja võimsaid kiipe Nvidia. Mudel võib töötada tavalistel arvutikiipidel. Või sobib isegi telefonile, millel pole Interneti-ühendust.
Väiksem võimsus tähendab ka seda, et mudelid ei ole nii täpsed. Phi-3 ei sobi arstidele ega maksuraamatupidajatele, kuid aitab lihtsamate ülesannete puhul. Näiteks reklaamide sihtimiseks või arvustuste kokkuvõtte tegemiseks Internetis.
Kuna väiksemad mudelid nõuavad vähem töötlemist, on eraettevõtetele nende kasutamine odavam. See tähendab, sisse Microsoft lisandub kliente, kes sooviksid tehisintellekti oma töösse kaasata, kuid pidasid seda liiga kalliks. Kui palju need maksma lähevad, pole aga veel selge.
Millal väikesed ja keskmised mudelid ilmuvad, pole veel teada. Kuid viimane tuleb võimsam ja kallim. Kuigi on juba teada, et Phi-3-smallil on 7 miljardit parameetrit ja Phi-3-mediumil koguni 14 miljardit parameetrit.
Loe ka:
Kuidas Phi-3-mini kasutada?
GPT-4 Turbo nõuab võimsaid AI-kiipe, mis on endiselt väga kallid. Phi-3 väike kõnemudel võib töötada võrguühenduseta, ilma pilveta, isegi mobiiltelefoni kiibiga.
Phi-3 ei ole lõppkasutajatele mõeldud toode, vaid tehnoloogia, mida arendajad saavad oma rakendustes kasutada ja juurutada – nii pilvepõhistes ehk kaugasutavates kui ka lokaalselt ja võrguühenduseta töötavates rakendustes. Eeldatakse, et see töötab sujuvalt seadmete ja nende komponentidega, nagu mobiiltelefonid, autod ja nende teabe- ja meelelahutussüsteemid või isegi IoT andurid. Mõne stsenaariumi korral võib see tehnoloogia olla hindamatu väärtusega.
Microsoft toob isegi konkreetse näite, et me ei peaks oma kujutlusvõimet pingutama. Kujutage ette põllumeest, kes kontrollib oma saaki ja näeb lehtedel, vartel ja okstel haigusnähte. Olles telekommunikatsioonimastidest kaugel, tuleb tal ainult telefon välja võtta, kahjustusest pilt teha, see Phi-3 tehnoloogiat kasutavasse rakendusse panna – modell analüüsib fotot kiiresti ja võrguühenduseta ning annab nõu. kuidas täpselt selle haigusega võidelda.
Nagu ta seletab Microsoft, oli GPT edu võti treenimiseks kasutada tohutul hulgal andmeid. Nii suurte andmehulkade puhul ei tule kõrge andmekvaliteet kõne allagi. Vahepeal kasutati Phi mudeli treenimisel täpselt vastupidist OpenAI lähenemist. Selle asemel, et mudelit teabega toppida, keskenduti järkjärgulisele ja põhjalikule õppimisele.
Selle asemel, et kasutada toores Interneti-andmeid, teadlased Microsoft lõi andmestiku TinyStories, luues miljoneid miniatuurseid "beebilugusid". Neid lugusid kasutati väga väikeste keelemudelite koolitamiseks. Seejärel läksid teadlased kaugemale, luues CodeTextbooki andmestiku, mis kasutas hoolikalt valitud, avalikult kättesaadavaid andmeid, mis filtreeriti haridusliku väärtuse ja sisu kvaliteedi järgi. Seejärel filtreeriti neid andmeid mitu korda ja suunati edasiseks sünteesiks tagasi suurde keelemudelisse (LLM).
Kõik see võimaldas luua andmemassiivi, mis oli piisav võimekama SLM-i koolitamiseks. Lisaks kasutati Phi-3 mudeli väljatöötamisel riskijuhtimise ja -maandamise mitmetasandilist lähenemist, sealhulgas hindamist, testimist ja käsitsi kohandamist. Selle tulemusena, nagu ta väidab Microsoft, saavad Phi-3 mudeliperekonda kasutavad arendajad kasutada Azure AI-s saadaolevat tööriistakomplekti turvalisemate ja töökindlamate rakenduste loomiseks.
Loe ka: Teleportatsioon teaduslikust vaatenurgast ja selle tulevik
Microsoft Kas Phi asendab ChatGPT-tüüpi mudelid?
Üldse mitte. Väikestel keelemudelitel (SLM-idel) on isegi siis, kui need on koolitatud kvaliteetsete andmete põhjal, oma piirangud ja need ei ole mõeldud sügavaks õppimiseks. Suured keelemudelid (LLM-id) ületavad SLM-e keerukas arutluskäigus oma suuruse ja arvutusvõimsuse tõttu. LLM-id on ja on ka edaspidi eriti kasulikud sellistes valdkondades nagu ravimite avastamine, kus tuleb otsida tohutuid teadustööde kogusid ja analüüsida keerulisi mustreid. Teisest küljest saab SLM-i kasutada lihtsamate ülesannete jaoks, näiteks pika tekstidokumendi põhipunktide kokkuvõtte tegemiseks, sisu loomiseks või klienditeeninduse vestlusrobotite toiteks.
Microsoft, ütles ta, kasutab juba sisemiselt hübriidmudelite komplekte, kus LLM võtab juhtrolli, suunates teatud päringud, mis nõuavad vähem arvutusvõimsust, SLM-ile, samal ajal kui ta tegeleb ise muude keerukamate päringutega. Phi on paigutatud seadmetes arvutite tegemiseks ilma pilve kasutamata. Väikeste keelemudelite ja pilves suurte mudelitega saavutatava intelligentsuse taseme vahel jääb siiski lõhe. See lõhe tänu LLM-i jätkuvale arendamisele ei kao tõenäoliselt niipea.
Välistest sõltumatutest osapooltest peavad Phi-3 veel kinnitama. Microsoft räägib vahel konkurentidega võrreldes 25 korda suuremast efektiivsusest või äärmisel juhul energiatõhususest, mis kõlab päris vapustavalt. Kuigi teisalt ei saa unustada, et need aastad on möödas Microsoft võõrutas meid veidi sellest, et tegemist on IT-uuenduste selge liidriga ja võib-olla sellepärast me seda eriti ei usu. AI-põhised programmid, mis reageerivad koheselt ja töötavad genereerimise asemel võrguühenduseta? See oleks praeguse revolutsiooni vääriline kulminatsioon. Kahjuks on üks põhiprobleem.
Loe ka: Kõik Neuralink Telepathy kiibi kohta: mis see on ja kuidas see töötab
Phi-3 alates Microsoft saab aru ainult inglise keelest
Phi-3 ei ahminud endale massiliselt peale visatud petabaite. Mudeli hoolikas ja hoolikas väljaõpe on seotud ühe väiksema probleemiga. Phi-3 on koolitatud ingliskeelse teabega ja tal pole veel aimugi ühestki teisest keelest. Mitte ainult ukraina, vaid ka saksa, hispaania, prantsuse või hiina keel. Loomulikult vähendab see oluliselt selle atraktiivsust enamiku kasutajate jaoks üle kogu maailma.
Aga sisse Microsoft kindel, et töö selle arendamiseks ja täiustamiseks käib. Kuigi te ei tohiks end petta sellega, et Ukraina turg on ühegi suurkorporatsiooni prioriteet. Seetõttu peame ukraina keele tuge ootama väga kaua. Kuid see fakt pole kunagi peatanud entusiaste ja neid, kes tahavad edusammudega sammu pidada.
Loe ka: