A ChatGPT már az indulásakor is "értett" valamennyire a programozáshoz, azóta pedig bekerült a code interpreter funkció, aminek köszönhetően rengeteg programozó fordul segítségért a mesterséges intelligenciához. A kódolók Mekkája korábban a Stack Overflow fórum volt, ahol feltehették a kérdéseiket, másik pedig segítettek megoldani a különböző programozási feladatokat.
A Purdue Egyetem kutatói most arra voltak kíváncsiak mennyire pontosak a mesterséges intelligencia válaszai, és hogyan reagálnak azokra a felhasználók. Összesen 517 olyan kérdést tettek fel a ChatGPT-nek, amelyekre Stack Overflow-n már érkezett válasz, az MI reakcióit pedig pontosság, konzisztencia, érthetőség és tömörség szempontjából értékelték. Ezt követően nyelvészeti és hangulatelemzést is végeztek egy tucat önkéntes bevonásával.
A kutatás eredményeképp kiderült, hogy a válaszok 52%-a hibás, 77%-uk pedig fölöslegesen terjengős volt. Az önkéntesek az esetek 39,34%-ában preferálták a ChatGPT válaszát az érhetősége és artikuláltsága miatt. Kár, hogy ezek 77%-a egyébként hibás volt.
A kutatók arra jöttek rá, hogy a felhasználók csak a teljesen egyértelmű hibákat tudják kiszúrni, ha viszont nem tudnak azonnal meggyőződni a helyességről, alulbecsülik a pontatlanságot. Sokszor még úgy is a ChatGPT válaszát preferálták, hogy tudták, az hibás, pusztán azért, mert kedvesen, részletesen, tekintélyt parancsolóan válaszolt. A felhasználókat nem zavarták a terjengős válaszok, mert azok alaposabbnak tűntek.
