Mit csinál és hogyan működik ez az első hallásra különösnek, talán érthetetlennek tűnő valami, a nagy nyelvi modell (LLM – Large Language Model)? Beszéljünk róla, hogy magabiztosabban készíthesd a promptjaidat.
A nagy nyelvi modell (Large Language model: LLM) egy gépi tanulási modell. Deep learning (mély tanulási) algoritmust (deep learning) használnak benne a természetes nyelv feldolgozására, megértésére.
Természetesen, itt nem megyünk a dolgok mélyére (talán majd egy későbbi videóban mélyedünk bele), de szeretném, ha olyan szinten azért megértenéd, ami elegendő, hogy hatékony promptokat tudjál tervezni.
Tartalom
Nagy nyelvi modell – A következő szó
A nagy nyelvi modellek működésének lényegét talán úgy a legkönnyebb megfogni, hogy veszi a modell az általad írt promptot, és ez alapján megpróbálja előállítani a következő szót (vagy tokent).
Aztán fogja ezt az előállított szót, hozzáadja ahhoz, amit promptként kapott tőled, és ezek alapján megint próbálja előállítani a következő szót. Ennél persze sokkal bonyolultabb a működése, de alapvetően erről van szó, gondolj rá így.
Addig generálja a szavakat sorban egymás után a megadott prompt figyelembe vételével, míg elkészül a válasszal. Másként fogalmazva, egymás után létrehozott szavakkal (tokenekkel) válaszol a promptodra.
A nagy nyelvi modell tanítása
Hogyan történt a tanítása?
Elővettek rengeteg ismert, már kész szöveget. Kivettek egy szövegrészt az elejéről, és újra, meg újra ezt adták meg promptként a nagy nyelvi modellnek.
Addig hangolgatták a modell rengeteg (itt gondolj több milliárd vagy akár trillió paraméterre) lehetséges beállítási lehetőségét, amíg azt a kimenetet, azt a következő szót nem adta, amit vártak tőle.
Rengeteg szövegen, rengeteg adattal, rengeteg működési paraméter állításával, Ettől NAGY nyelvi modell a neve.
A következó szó kitalálásához figyelembe veszi a szöveg környezetet: a megelőző szavakat, az adott mondatot, a tanult szövegkörnyezeteket, a szavak közötti kapcsolatokat.
Amikor promptot tervezel, amikor kommunikálsz a nagy nyelvi modellel, próbáld a fejedben tartani ezt az alapvető működési módot: a prompt figyelembe vételével, az emberi nyelvi környezet megtanult ismerete alapján, és a válaszként eddig már megalkotott szövegrészből, a valószínű következő szó előállítását.
A nagy nyelvi modellek folyamatos fejlődése
Egyre több nagy nyelvi modellről szólnak a bejelentések, és a már ismert nagy nyelvi modelleknek is készülnek az újabb, még kifinomultabb változatai. Csak néhányat megemlítve: hallhattál például a ChatGPT-ről, Bard-ról, LLama-ról, Claude-ról stb.
Nyitottság a kísérletezésre
A nagy nyelvi modellek fejlődésével biztosan lesznek időt álló működési elveik, és lesznek, amik nagyon gyorsan változnak majd, a még jobb teljesítmény érdekében.
Ha hasznos, jó promptokat akarsz írni, készülj fel, hogy kreatív módon, kísérletezve kell haladnod a használatukkal. Készülj fel rá, hogy a válaszok nem feltétlenül lesznek tökéletesek első próbálkozásra.
A válaszok változatossága
Készülj fel arra is, hogy nem mindig kapod ugyanazokat a válaszokat.
Persze vannak olyan feltehető kérdések, ahol nincs helye változatosságnak, ilyenkor azt várjuk, hogy ugyanaz a válasz érkezik, de általánosságban, arra vannak felkészítve a nagy nyelvi modellek, hogy a prompt függvényében, vigyenek valamennyi változatosságot, véletlenszerűságet is a válaszba.
Lehetnek változatosságok a kimentben, és persze lehetnek benne hibák is, hiszen egyetlen modellt sem lehet tökéletesre, minden helyzetben tökéletes választ adóra felkészíteni. Ezt tudatosan figyelembe kell venned, amikor a nagy nyelvi modellt, mint eszközt beépíted a folyamataidba.
A tanító adatok időbeli korlátossága a nagy nyelvi modellben
A nagy nyelvi modellek egyes verzióit a tanításra addig elérhető és abból felhasznált adatok figyelembe vételével tanították.
Ha egy modellhez például a 2021-ig rendelkezésre álló szövegeket használtak, akkor nem várhatunk tőle olyan kérdésekben jó válaszokat, amik tényszerűen csak későbbi szövegek alapján állnának rendelkezésre.
Érdemes azzal kezdened egy nagy nyelvi modell használatát, hogy rákérdezel az ilyen jellegű korlátaira.
És, ha ezt meghaladó tudást feltételező válaszokat akarsz kapni a nagy nyelvi modelltől, akkor a plusz információt meg kell adnod a promptodban, a bemenetben, hogy azzal is tudjon dolgozni a modell.
Ezek voltak talán a legfontosabb elvek a nagy nyelvi modellekről, hogy alap szinten velem tudjál haladni a prompt tervezésben. Folytatjuk legközelebb egy újabb prompt tervezési megfontolással.
