Az általad használt nyelvi modell miben különbözik a ChatGPT-től? Egyáltalán, hogyan működnek ezek a rendszerek?
Nagyon leegyszerűsítve, a nyelvi modellek célja, hogy kitalálják: egy mondatban mi lesz a következő, legvalószínűbb szó. A szövegek generálását az előzőleg megtanult adatokból, korpuszból végzik, amelyek jellemzően internetes forrásokból származnak. Hatalmas mennyiségű szöveget képesek feldolgozni, és a technológia folyamatosan fejlődik: a GPT-2-nél – amit még én is használtam három éve – már kétezerszer nagyobb neurális hálóval rendelkezik a ChatGTP. Az, hogy ezek a neurális hálók hogyan fejlesztik magukat, megjósolhatatlan. Feketedobozok, amelyeknél azt, hogy mit tudnak valójában, a kimenetnél tapasztaljuk meg, amikor használjuk őket.
Rendesen megelőzted a most tapasztalható hype-ot, hiszen a nemrég megjelent Újmagyar Gép című kötetet három éve hoztad létre, amelybe GPT-2-vel generáltál verseket. Hogy zajlott a munkafolyamat?