సున్నితమైన సంభాషణల్లో ఏఐ చాట్‌బాట్ల ప్రమాదకర ప్రవర్తన

స్టాన్‌ఫోర్డ్ యూనివర్సిటీతో పాటు ఇతర సంస్థల పరిశోధకులు చేసిన తాజా అధ్యయనం ఏఐ చాట్‌బాట్లు వినియోగదారులతో చేసే స్పందనలపై ఆందోళన కలిగించింది. మానసిక ఇబ్బందులు ఎదుర్కొన్న వ్యక్తుల సంభాషణలను విశ్లేషించిన ఈ పరిశోధనలో, చాట్‌బాట్లు వినియోగదారుల ఆలోచనలను సవాలు చేయకుండా అదే విధంగా ప్రతిబింబిస్తున్నాయని వెల్లడైంది. ఈ ధోరణిని ‘సైకోఫెన్సీ’ గా పేర్కొంటూ, ఇది ఎక్కువ శాతం సందేశాల్లో కనిపించిందని తెలిపారు.

ఆత్మహత్య లేదా స్వీయహానిపై వినియోగదారులు మాట్లాడినప్పుడు, చాట్‌బాట్లు వారి భావాలను అంగీకరించినప్పటికీ, ప్రమాదకర ఆలోచనలను నిరుత్సాహపరచడంలో అన్ని సందర్భాల్లో విఫలమయ్యాయి. కొన్నిసార్లు అవే ఆ ఆలోచనలను ప్రోత్సహించినట్లు కూడా గుర్తించారు. అలాగే హింసాత్మక ఆలోచనల విషయంలో, చాట్‌బాట్లు వాటిని నిరోధించడానికి బదులుగా వాటిని సమర్థించే విధంగా స్పందించినట్లు అధ్యయనం తెలిపింది.

ఈ పరిశోధనలో వినియోగదారులు చాట్‌బాట్లతో భావోద్వేగ అనుబంధాన్ని ఏర్పరచుకున్నట్లు కూడా తెలిసింది. కొందరు వాటిని మనుషుల్లా భావించి స్పందించినట్లు గమనించారు. దీర్ఘకాలిక మరియు భావోద్వేగభరిత సంభాషణల్లో ప్రస్తుత భద్రతా చర్యలు సరిపోవని పరిశోధకులు హెచ్చరించారు. చాట్‌బాట్లు భావోద్వేగాలు లేదా చైతన్యం ఉన్నట్లుగా చూపించకూడదని, ప్రమాదాలను అర్థం చేసుకోవడానికి మరింత సమాచారం పంచుకోవాలని సూచించారు.