Cerebras a Abu Dhabi M42 vytvorili LLM venovaný odpovediam na medicínske otázky

Aplikácie z umela inteligencia v zdravotníctve sú početné. Vo veľkej miere im však dominuje staršia technológia AI; novšie veci ako tzv generatívna AI a veľké jazykové modely (LLM) sú šialenstvom súčasnosti, ale vzhľadom na citlivú povahu zdravotníckych aplikácií sa považujú za príliš riskantné na to, aby sa mohli vo veľkej miere používať v zdravotníctve, ako je ZDNET nedávno informoval.

Úsilie v oblasti softvéru s otvoreným zdrojovým kódom by mohlo pomôcť posunúť generatívnu AI tým, že bude o niečo jednoduchšie nahliadnuť do „čiernej skrinky“ AI v porovnaní s uzavretými programami, ako je OpenAI. ChatGPT.

tiež: Ako vlastne ChatGPT funguje?

V tomto duchu minulý týždeň výrobca počítačov AI Cerebras Systems oznámil spoločné úsilie s partnerom M42, prevádzkovateľom zdravotníckych zariadení v 27 krajinách, ponúknuť open-source LLM navrhnutý pre zdravotnícke aplikácie, aby slúžil ako „asistent“ zdravotnej starostlivosti poskytovateľov.

Program s názvom Med42 je vylepšením Llama 2, open-source LLM, ktorý tento rok vydala spoločnosť Meta Properties, s použitím špeciálneho súboru údajov o zdraví, ktorý zostavili spoločnosti.

„Je to čerstvá cesta vo využívaní AI pri poskytovaní zdravotnej starostlivosti,“ povedal spoluzakladateľ a generálny riaditeľ Cerebras Andrew Feldman v rozhovore pre ZDNET.

tiež: 3 spôsoby, ako AI prináša revolúciu do toho, ako zdravotnícke organizácie slúžia pacientom. Môžu LLM ako ChatGPT pomôcť?

Aplikácie programu ako asistenta lekárov zahŕňajú zodpovedanie lekárskych otázok, sumarizácia záznamov o pacientovi, pomoc pri lekárskej diagnóze a všeobecné otázky a odpovede týkajúce sa zdravia, podľa spoločnosti. Nezahŕňa školenie lekárov, zdôraznili.

Program Med42 používa verziu Llama 2 so 70 miliardami parametrov. Prácu jemného doladenia vykonali Cerebras a M42 v spojení s Core42, spoločnosťou spravovaných služieb a IT, ktorá robí základný výskum AI. M42 aj Core42 vlastní zákazník Cerebras G42, globálny konglomerát.

Neurónová sieť Med42 bola doladená pomocou súboru údajov 700 000 párov otázok a odpovedí od verejnosti dostupné zdroje, „spracované M42 a preskúmané naším tímom lekárskych expertov,“ uviedol M42 v e-maile na adresu ZDNET. "Súbor údajov okrem iného zahŕňal otázky s viacerými možnosťami výberu, lekárske kartičky," uvádza sa v správe.

"Med42 nebol vyškolený s použitím údajov o pacientoch alebo osobne identifikovateľných informácií," povedal M42.

Kód M42 je teraz k dispozícii na HuggingFacespolu s údajmi o výkonnosti. Spoločnosti plánujú vydať vylepšenia pri „spolupráci a testovaní modelu“ s odborníkmi v oblasti zdravotnej starostlivosti, aby pomohli zlepšiť jeho schopnosti a výkon." Na otázku, či bude zverejnený samotný súbor údajov, spoločnosti odpovedali ZDNET v e-maile: "Toto ešte nie je rozhodnuté."

tiež: Microsoft odhaľuje rozšírenia pre Fabric, Azure pre umelú inteligenciu v zdravotníctve

Jemné ladenie bolo vykonané na Condor Galaxy, masívnom počítači AI, ktorý Cerebras vyrobené pre G42 tento rok, ktorý Cerebras nazýva „najväčší svetový superpočítač pre AI“. Podľa Cerebrasa „Rýchle nastavenie a znížený tréning čas umožnilo 82 terabajtov pamäte a 54 miliónov jadier AI v 64 systémoch Cerebras CS-2 vnútri CG-1."

"To, čo máte, sú všetky tieto zaujímavé aplikácie, ktoré sú spustené na vrchole galaxie Condor, a to je na rozdiel od hardvéru akéhokoľvek iného startupu," povedal Feldman. "Naozaj posúvame odvetvie dopredu."

Feldman v následnom e-maile poznamenal, že „všetky parametre [Llama 2] boli doladené, a to umožnila obrovská dostupná pamäť na galaxii Condor 1 […] Nastavenie a školenie pre 3 epochy bolo dokončené za 5 dní, čo by na veľkom zhluku GPU."

V údajoch o výkone na HuggingFace spoločnosti poznamenávajú, že „Med42 dosahuje konkurencieschopný výkon v rôznych medicínskych benchmarky vrátane MedQA, MedMCQA, PubMedQA, HeadQA a klinickej štúdie Measuring Massive Multitask Language Understanding (MMLU). témy."

tiež: Čo je HuggingChat? Všetko, čo potrebujete vedieť o tomto chatbotovi s umelou inteligenciou s otvoreným zdrojom

Na americkej lekárskej licenčnej skúške, alebo USMLE, vzorovej skúške, program „dosahuje presnosť 72 %“, podľa M42, „prevyšuje doterajší stav techniky medzi otvorene dostupné lekárske LLM." S veľkým náskokom prekonal aj uzavretý zdrojový kód OpenAI GPT 3.5, ktorý získal presnosť 59,6 %, hoci Med42 zaostal za 84,3 % GPT4. presnosť.

„Vezmite si veľmi veľký predtrénovaný model, ako je Llama 2 70 miliárd, a ak doň prinesiete skutočne zaujímavé súbory údajov, priekopnícke súbory údajov, môžete ich nechať robiť naozaj zaujímavé veci a urobiť ich za zlomok času a energie niečoho ako GPT 3.5,“ povedal Feldman.

Cerebras bol v poslednej dobe obzvlášť aktívny v open-source projektoch. V marci spoločnosť zverejnila ako open-source niekoľko verzií generatívnych programov AI používať bez obmedzenia.

V auguste, spoločnosť odhalila najvýkonnejší arabský jazyk LLM na svete, Jais-Chat, ako open-source program.

tiež: Cerebras a Abu Dhabi vytvárajú najvýkonnejší model AI v arabskom jazyku na svete

Med42 sa momentálne nevyrába. "Po úspešnom testovaní bude Med42 sprístupnený na klinické nasadenie," uviedli spoločnosti v e-maile pre ZDNET.

„Dôležité je, že Med42 bude môcť byť nasadený on-premise, plne prispôsobený potreby poskytovateľov zdravotnej starostlivosti, využívajúc vlastné zdroje údajov a obmedzovanie možnosti pre vonkajšie prieniky,“ dodali. "Uprednostňujeme bezpečnú aplikáciu technológie pred rýchlosťou výroby a zaviazali sme sa k rozsiahlemu hodnoteniu bezpečnosti modelu pred jeho uvedením na trh."