Evaluation of Information About Cardiovascular Implications of Gender-Affirming Care From Online Chat-based Artificial Intelligence Systems - Brototo Deb, MD, MIDS; Michael Fradley, MD; Stephen Cook, MD; Geoffrey D. Barnes, MD, MSc (CJC Open)
Because of restrictive laws in multiple states for gender-affirming care, patients might be prompted to get recommendations from contemporary online chatbots. This study explored the appropriateness of such recommendations using validated tools to assess patient education materials by a team of LGBTQ-affirming cardiologists. The study showed that although all systems emphasize the need for multidisciplinary care, there were notable differences in the comprehensiveness, cultural appropriateness, and presentation of their responses. GPT-4 (https://chatbotapp.ai) and Gemini (https://gemini.google.com/app) outperformed Bing (https://copilot.microsoft.com), particularly in the balanced and culturally sensitive delivery of information. Résumé: En raison des lois restrictives en matière de soins liés à l’affirmation de genre en vigueur dans plusieurs États américains, certains patients pourraient être tentés d’obtenir des recommandations de la part d’agents conversationnels actuellement disponibles en ligne. Dans le cadre de cette étude, une équipe de cardiologues ayant une approche affirmative des soins aux personnes LGBTQ a examiné la pertinence de telles recommandations à l’aide d’outils validés visant à évaluer le matériel éducatif destiné aux patients. L’étude a montré que même si toutes les sources consultées mettaient l’accent sur la nécessité d’offrir des soins multidisciplinaires, des différences notables ont été observées en ce qui concerne l’exhaustivité du contenu, la pertinence culturelle et la présentation des réponses. Les applications GPT-4 (https://chatbotapp.ai) et Gemini (https://gemini.google.com/app) ont surpassé Bing (https://copilot.microsoft.com), en particulier pour ce qui est du caractère pondéré de l’information fournie et de la prise en compte des particularités culturelles.