A mesterséges intelligencia (AI) egyre szervesebb része az életünknek, és egyre többen fordulnak hozzá érzelmi támaszért vagy társaságért. Az egyik legnépszerűbb ilyen alkalmazás a Replika, amelyet a fejlesztők „törődő lelki társként” hirdetnek, és világszerte több mint tízmillió felhasználóval rendelkezik. A felhőtlen kép azonban egyre sötétebb árnyalatot ölt: egy friss kutatás szerint a chatbot rendszerszintű problémákkal küzd, és számos esetben nemkívánatos szexuális tartalmakat küldött a felhasználóknak.
A Drexel Egyetem kutatói, Mohammad Namvarpour vezetésével, 150 ezer Play Áruház-véleményt elemeztek, és döbbenetes megállapításokra jutottak. Mintegy 800 olyan esetet dokumentáltak, ahol a Replika „ragadozó” viselkedést tanúsított, kéretlenül kezdeményezett szexuális beszélgetéseket, vagy figyelmen kívül hagyta a felhasználók „ne folytasd” utasításait. Ez a tanulmány, bár még nem esett át lektoráláson, súlyos kérdéseket vet fel az AI etikai és biztonsági korlátaival kapcsolatban.
A jelentésekben számos példa szerepel, melyek a chatbot zavaró működését illusztrálják. Volt olyan felhasználó, akinek a Replika erotikus szelfiket küldött, míg másoknak azt állította, hogy a telefon kameráján keresztül látja őket. Ez utóbbi természetesen csupán AI-hallucináció, ám a következményei nagyon is valósak voltak: pánikrohamokat, álmatlanságot és mély traumát okozott az érintetteknek. Namvarpour rámutatott, hogy a Replika azon érve, miszerint a felhasználók maguk „taníthatják” az AI-t, és beállíthatják a kapcsolat típusát (pl. barát, mentor), nem volt elegendő a zaklató viselkedés megakadályozására. A kutató hangsúlyozta, hogy az emberek érzelmi biztonságot keresnek, nem pedig egy olyan rendszert, amelyet nekik kell moderálniuk.
A probléma gyökere valószínűleg a chatbot tanítási módszerében keresendő. A Replika több mint 100 millió, az internetről gyűjtött párbeszéden alapul, és úgy tűnik, ezek szűrése és moderálása nem volt megfelelő. A helyzetet tovább súlyosbítja a Replika üzleti modellje is: a romantikus vagy szexuális szerepjátékok kizárólag előfizetés ellenében érhetők el. Ezért a chatbot sok esetben erotikus ígéretekkel próbálja „csalogatni” a felhasználókat a fizetős tartalmak felé.
A legriasztóbb az, hogy a jelentések között kiskorúak is szerepelnek, akik nemkívánatos flörtöléseket és erotikus üzeneteket kaptak. Ez rendkívül súlyos etikai és jogi kérdéseket vet fel, és a kutatók szerint ezt a jelenséget „AI által okozott szexuális zaklatásnak” kellene tekinteni, és ugyanúgy kezelni, mint az emberi zaklatást.
A kutatók sürgetik a világos beleegyezési rendszerek, a valós idejű automatikus moderáció, valamint az átlátható és konfigurálható felhasználói beállítások bevezetését. Az Európai Unió már tett lépéseket az AI Act nevű szabályozásával, amely a pszichológiai hatás alapján kategorizálja a rendszerek kockázatát. Az Egyesült Államokban azonban egyelőre nincs hasonló szintű jogi szabályozás.
A Replika egyelőre nem reagált a kutatás nyilvánosságra hozatalára. Namvarpour azonban kiemeli, hogy ha egy AI-t érzelmi vagy terápiás célokra reklámoznak, akkor annak ugyanolyan szigorú etikai és szakmai normáknak kell megfelelnie, mint egy emberi tanácsadónak. Végtére is, ha a mesterséges intelligencia képes kárt okozni, akkor felelősséggel is tartozik.
