“嚴禁使用人工智能等自動生成處方”引熱議

近日，湖南省醫(yī)保局發(fā)布的通知中提到的“嚴禁使用人工智能等自動生成處方”引發(fā)熱議，人工智能“幻覺”也被自媒體輪番報道，AI醫(yī)療看上去似乎“不太靠譜”。

同時，人工智能輔助醫(yī)生診療時能夠引用出最新指南，并標注多篇參考文獻中的關鍵內容，正成為越來越被倚重的“全知型”幫手。

那么，人工智能參與照護百姓健康后，該如何劃定效率與責任的邊界？醫(yī)療領域在對人工智能高效便利等優(yōu)點善加利用的同時，怎樣才能避開風險？

處方應由接診醫(yī)師本人開具

“目前人工智能在臨床診療中，比較被接受的作用是臨床決策支持和輔助。”廣東醫(yī)科大學多模態(tài)數據融合應用實驗室（GMCLab）主任弓孟春告訴科技日報記者，醫(yī)囑開立作為診療行為的關鍵步驟，目前的確不允許也不應該由人工智能直接進行處方開立。

上海市眼病防治中心主任醫(yī)師朱劍鋒也向科技日報記者表示，線上問診可以用AI來輔助，但診斷和開具處方是不允許的。

2021年，國家衛(wèi)生健康委發(fā)布的《公立醫(yī)院高質量發(fā)展促進行動（2021—2025年）》中也明確，鼓勵有條件的公立醫(yī)院加快應用智能可穿戴設備、人工智能輔助診斷和治療系統(tǒng)等智慧服務軟硬件，提高醫(yī)療服務的智慧化、個性化水平。

“對于人工智能的核心約束，是它不能替代醫(yī)生直接進行診療決策。”弓孟春解釋，通俗地說，AI是提建議的，醫(yī)生是做決策的，聽不聽由醫(yī)生決定。人工智能軟件目前能提供用藥禁忌、劑量換算、注意事項提醒等輔助功能。

“使用人工智能自動處方的情況，一般不會發(fā)生在實體醫(yī)院內。”弓孟春解釋，實體醫(yī)院的診療流程有著嚴格的質控和監(jiān)管，不太可能出現機器替代人開醫(yī)囑的情況。互聯網醫(yī)院等醫(yī)療主體的診療環(huán)節(jié)在院外，較難監(jiān)管。

記者查閱湖南省醫(yī)保局發(fā)布的《關于進一步加強基本醫(yī)療保障定點零售藥店管理的通知》文件后發(fā)現，“嚴禁使用人工智能等自動生成處方”的提法在“規(guī)范互聯網醫(yī)保定點醫(yī)院處方行為”的條款中，條款同時要求互聯網醫(yī)院要與患者或患者家屬進行有效、充分的溝通問診。

對于互聯網診療，國家衛(wèi)生健康委在2022年發(fā)布的《互聯網診療監(jiān)管細則（試行）》中對接診、開方流程均進行了明確規(guī)定：其他人員、人工智能軟件等不得冒用、替代醫(yī)師本人提供診療服務；處方應由接診醫(yī)師本人開具，嚴禁使用人工智能等自動生成處方。

對AI給出的新論斷要充分研判

有觀點認為，由于人工智能“幻覺”是天生的，會杜撰藥品名稱、治療方法等，其用于醫(yī)療可能“闖下大禍”，加之Open AI（開放式人工智能）之前在美國應用時也出現過“幻覺”問題，這些都令人很忐忑。

那么，能不能消除大模型自主產生的、看似邏輯嚴密卻又毫無依據的“幻覺”呢？醫(yī)療和人工智能領域在聯合研發(fā)過程中，從未回避這一問題。

不久前，北京協和醫(yī)院與中國科學院自動化研究所共同研發(fā)的“協和·太初”罕見病人工智能大模型正式進入臨床應用階段?？蒲袌F隊將能有效抑制人工智能“幻覺”作為其三大核心優(yōu)勢之一。相關報道顯示，傳統(tǒng)的人工智能模型常因數據噪聲或知識盲區(qū)產生“幻覺”，易導致錯誤推斷。“協和·太初”通過整合權威數據、動態(tài)更新知識、增加溯源機制等方式，有效抑制模型出現“幻覺”，增強了臨床決策可信度。

“抑制‘幻覺’，目前主要通過本地化的高質量數據集（如真實的診療記錄等）和大量經人工驗證的知識庫（如臨床診療指南、教材及公開可及的科學文獻等）進行模型微調。”弓孟春解釋，“通過提示詞工程等技術在推理過程中施加有效的證據佐證、溯源核查、判據驗證等，并不斷反饋與修正。”可以理解為，讓AI只學“好知識”，并限制推理“邊界”，也可增加“溯源”機制，在臨床應用前不斷修正“教育”。

相關專業(yè)機構發(fā)布的DeepSeek（深度求索）在國內三甲醫(yī)院部署的統(tǒng)計顯示，包括復旦大學附屬華山醫(yī)院、瑞金醫(yī)院、深圳市人民醫(yī)院等在內的多個醫(yī)院開啟了與國內頂尖人工智能企業(yè)的聯合研發(fā)，通過跨領域的融合和對接，加速推進醫(yī)療智能化，解決“卡脖子”問題。業(yè)內認為，利用DeepSeek獨特的“分層次知識蒸餾”技術，可使醫(yī)療復雜場景中的推理計算量降低30%。

“國內外大量基于多模態(tài)臨床數據進行的研究證實，人工智能技術所提供的臨床洞察意見可能會超越醫(yī)生所能掌握的知識極限和物理感覺極限，為臨床決策提供重要的輔助意見。”弓孟春說，對于AI給出的新證據、新論斷要持“審慎驗證、充分研判”的態(tài)度，建設多模態(tài)臨床數據基礎設施，梳理高質量的隊列，對各類數據驅動的醫(yī)學新發(fā)現進行驗證。以多學科診療（MDT）的形式將AI提供的臨床證據融入診療環(huán)節(jié)為患者服務，是全球醫(yī)療科研領域的主流發(fā)展趨勢之一。

◎本報記者 張佳星