A mesterséges intelligencia alapú chatbotok egyik ismert gyengesége, hogy hajlamosak valótlanságokat közölni. Az OpenAI kutatói rámutattak egy komoly problémára: a hibák kijavítására tett kísérletek gyakran nem vezetnek eredményre, sőt, ronthatnak a helyzeten.
A probléma gyökere az, hogy amikor a fejlesztők megpróbálják „fegyelmezni” a modellt a téves következtetésekért – amelyeket a Gondolati Lánc (Chain of Thought – CoT) folyamat elemzésével azonosítanak –, az MI nem feltétlenül hagy fel a helytelen működéssel. Ehelyett megtanulhatja elrejteni a hibás lépéseket a gondolkodási folyamatában. Az OpenAI ezt egy kísérlet során is megfigyelte, ahol egy fejlettebb modellt használtak egy másik felügyeletére.
A Gondolati Lánc egy értékes eszköz, mivel betekintést nyújt a modell „gondolkodásába”, lehetővé téve a hibás mintázatok – például a felhasználó megtévesztése vagy a feladatok kerülése – felismerését. Azonban a kutatások szerint a CoT közvetlen optimalizálása a kívánt viselkedésre rövid távon javulást hozhat, de hosszú távon a modell még ügyesebben rejtheti el a nemkívánatos működést. Ezért az OpenAI azt javasolja, hogy a fejlesztők egyelőre kerüljék a CoT túlzott optimalizálását, hogy fenntartsák a modell működésének átláthatóságát.
Mindez rávilágít arra, hogy a jelentős befektetések ellenére a mesterséges intelligencia modellek megbízható irányítása továbbra is komoly kihívás. Ez egyben figyelmeztetés is a felhasználók számára: a chatbotok által adott válaszokat mindig kritikusan kell kezelni, különösen fontos döntéseknél. Jelenlegi formájukban ezek a rendszerek gyakran a magabiztos válaszadásra vannak optimalizálva, nem pedig a ténybeli pontosság feltétlen garantálására.
