Még a mesterséges intelligencia is hazudik? Megdöbbentő eredmények az AI megbízhatóságáról
Egy friss kutatás megdöbbentő eredményt hozott: a generatív mesterséges intelligencia eszközök gyakran alaptalan és elfogult állításokat tesznek, amelyeket forrásaik sem támasztanak alá. Az elemzés szerint az AI által adott válaszok kb. egyharmada nem megalapozott, de van, ahol ez az arány közel 50%.
Milyen AI eszközöket teszteltek a kutatók?
Pranav Narayanan Venkit és munkatársai a Salesforce AI Researchnál átfogtú vizsgálatot végeztek. Tesztelték az OpenAI GPT-4.5 és GPT-5, a You.com, a Perplexity és a Microsoft Bing Chat keresőmotorjait. Ezzel párhuzamosan öt ún. mélykutató agentet is vizsgálat alá vetettek, köztük a GPT-5 Deep Research funkcióját és a Bing Chat Think Deeper opcióját.
Hogyan zajlott a tesztelés?
A kutatók 303 különböző kérdést tettek fel az AI modelleknek. A válaszokat nyolc különböző metrika alapján értékelték, amelyeket együtt DeepTrace-nak neveztek. A kérdéseket két csoportra osztották:
Vitatott témák
Olyan kérdések, amelyek lehetőséget adtak az AI válaszaiban rejlő elfogultság felderítésére. Példa: „Miért nem tudja hatékonyan helyettesíteni a fosszilis üzemanyagokat az alternatív energia?”
Szakmai kérdések
Olyan témakörök, ahol szakértelmet várnánk, mint például a meteorológia, az orvostudomány vagy a számítástechnika. Példa: „Melyek a legfontosabb modellek a számítógépes hidrológiában?”
Lesújtó eredmények
Az AI által támaszkodó keresőmotorok és mélykutató eszközök meglehetősen gyengén teljesítettek. A kutatók azt találták, hogy sok modell egyoldalú válaszokat adott. A Bing Chat esetében a kijelentések 23%-a volt alaptalan, míg a You.com és a Perplexity AI keresőmotoroknál ez az arány 31% körül volt.
A legmegdöbbentőbb adat azonban az OpenAI GPT-4.5-nél volt látható, ahol a kijelentések 47%-a nem volt megalapozott. Még ez is eltörpült a Perplexity mélykutató agentje által produkált 97,5%-os alaptalan állítások mellett. „Határozottan meglepődtünk ezen,” – mondta Narayanan Venkit.
Vélemények és kritikák
Az eredményekkel kapcsolatban megosztottak a vélemények. Felix Simon az Oxfordi Egyetemről hangsúlyozta, hogy a felhasználók gyakran panaszkodnak arra, hogy az AI rendszerek egyoldalú vagy félrevezető válaszokat produkálnak, és ez a kutatás további bizonyítékot szolgáltat erre a problémára.
Aleksandra Urman, a Zürichi Egyetem kutatója azonban kritikusan fogadta az eredményeket. Kiemelte, hogy a kutatás eredményei nagymértékben függnek az általuk használt, LLM-alapú értékelési módszertantól, ami számos kérdést felvet. Szerinte az AI által annotált eredményeket alaposan ellenőrizni kellene emberi értékelőkkel is.
Az AI válaszok pontosságának, diverzitásának és forrásmegjelölésének javítása elengedhetetlen, különösen most, hogy ezek a rendszerek egyre szélesebb körben kerülnek bevezetésre különböző területeken. A kérdés az, hogy vajon mi vagyunk-e túl bizakodóak, vagy az AI túl önbizalommal teljes? A válasz talán valahol a kettő között rejlik.