MedGPT:基于LLaMA进行的多任务有监督微调的医疗大语言模型

MedGPT是基于LLaMA-13B进行多任务有监督微调的医疗大语言模型，MedGPT在疾病问诊、疑似诊断、推荐检验检查项目、病历总结、检查报告结果解读、疾病诊断结果和治疗方案等多个任务 上均拥有优异的表现。

疾病问诊：模型逐步向患者提问，以多轮对话的方式全面准确的了解患者的病情，包括患者的基础信息（年龄、性别）、健康数据（症状、症状持续时间、症状诱因、伴随症状、病情变化情况、既往疾病及诊疗经过、过敏史、 手术外伤史、传染病接触史、家族疾病、生育史等）；

疑似诊断：在了解患者病情以后，并通过模型算法一致性校验机制后，给出患者可能的疑似诊断和诊断理由；

推荐检验检查项目：根据患者的疑似诊断和病情，给患者推荐必要的检验检查项目，包括：检查项目名称、必要性解释、注意事项等；

检查报告结果解读：在获取到患者的检验检查结果后，给出检查的结果分析，包括报告指标解读、临床意义说明等；

疾病诊断：根据患者病历情况和检验检查结果，给出最终疾病诊断结果；

治疗方案：根据患者的疾病诊断结果，推荐疾病治疗方案，包括药品治疗、手术治疗、营养方案和运动生活方式等。

迭代日志

-[2023/06/30] 模型算法进行医学考试、诊疗一致性实验

-[2023/05/31] 模型验证医学有效性及一致性，进行强化学习

实际测试示例

MedGPT：您好，麻烦您告诉我您的性别和年龄，以及哪里不舒服?

患者：男性，60，反酸烧心

MedGPT：您好，您的反酸和烧心的症状已经持续多久了呢? 这种症状是持续存在还是间歇出现? 您是否有吞咽困难，胸痛，咳嗽，声音嘶哑或者体重下降等症状?

患者：好几年了，间断出现，无吞咽困难，无胸痛，无其他

MedGPT：我明白了，您的反酸和烧心的症状已经持续好几年了。我想请问下，您有没有注意到是什么情况或者食物会引发或者加重您的反酸和烧心症状? 您有没有尝试过治疗，效果如何? 您有没有患有其他疾病或者正在服用其他药物?

患者：空腹，或进食油腻物，受凉或卧位

MedGPT：您好，根据您的描述，您的症状可能与胃食管反流病有关。为了更好的了解您的病情，我还需要了解一些其他信息。请问您有没有咳嗽，声音嘶哑，喉咙痛，口腔异味或者睡眠打鼾等症状? 您有没有尝试过药物治疗，比如抗酸药，效果如何? 您有没有进行过胃镜检查?

患者：没有以上症状

MedGPT：我明白了，您的反酸和烧心的症状可能与胃食管反流病有关，但我们需要进一步的检查来确认。您是否有尝试过药物治疗，比如抗酸药，效果如何? 您有没有进行过胃镜检查?

患者：有时服用小苏打可以好些

MedGPT：您好，我想了解一下您的一些既往病史，比如您是否有慢性疾病，比如高血压.糖尿病或者心脏病等? 您的家族中是否有人患有胃食管反流病或者其他胃肠道疾病? 您是否对某些药物或食物过敏? 您以前是否做过任何手术? 您平时有没有固定的药物治疗?

患者：高血压，高脂血症，冠心病，放过支架，无过敏史，平时用降压药和降脂药

MedGPT：您好，根据您的描述，您的症状可能与胃食管反流病有关。但是，为了更准确地诊断，我建议您进行一些必要的医学检查。首先，我建议您进行胃镜检查，这可以帮助我们直接观察到食管、胃和十二指肠的内部情况，检查是否有炎症、溃疡或者其他异常。其次，我建议您进行24小时食管PH监测，这可以帮助我们了解您食管内的酸度变化，以判断是否存在胃酸反流的情况。这两项检查对于诊断胃食管反流病非常重要和必要。

患者：我即将为您提供一份建议的辅助医学检查方案，但在获得医生的授权批准之前仅作为参考，并不能作为您的最终医学决策与指导。 MedGPT： |辅助检查方案

检查项目名称	检查项目必要性解释	检查注意事项
胃镜检查	胃镜检查可以直接观察到食管、胃和十二指肠的内部情况，检查是否有炎症、溃疡或者其他异常，对于诊断胃心脏病或者呼吸系统疾病，需要提前告知食管反流病非常重要和必要。	胃镜检查需要空腹进行，且在检查前24小时内不建议饮酒和吸烟。此外，如果您有心脏病或者呼吸系统疾病，需要提前告知医生。
24小时食管PH监测	24小时食管PH监测可以帮助我们了解您食管内的酸度变化，以判断是否存在胃酸反流的情况，这对于诊断胃食管反流病非常重要和必要。	24小时食管PH监测期间，您需要正常饮食和活动，但需要避免食用可能影响食管酸度的食物和药物，如咖啡、巧克力、薄荷、抗酸药等。此外，您需要记录下饮食、活动、睡眠和症状出现的时间，以便于医生分析。

患者：胃镜提示反流性食管炎

MedGPT：您好，根据您的胃镜检查结果，您被诊断为反流性食管炎。这是一种由于胃酸反流到食管造成的食管炎症。您的症状，包括反酸和烧心，以及空腹或进食油腻食物后症状加重，都与此病症相符。您现在的治疗方案是使用小苏打来缓解症状，这是一种短期的解决方案，但不能治疗反流性食管炎的根本原因。我建议您考虑使用一些药物治疗，比如质子泵抑制剂，这种药物可以降低胃酸的分泌，从而减少胃酸反流到食管的情况。同时，改变生活方式，比如避免进食触发症状的食物，避免饮酒和吸烟，保持健康的体重，以及避免饭后立即卧床等，都对治疗反 流性食管炎有帮助。

MedGPT：我即将为您提供一份建议的治疗方案，但在获得医生的授权批准之前，仅作为参考，并不能作为您的最终医学决策与指导。

MedGPT： 药物治疗方案

药物通用名称	规格以及用法用量	治疗周期	用药禁忌	必要性解释
Omeprazole/奥美拉唑	20mg，每日2次，早餐前服用	至少8周	对奥美拉唑过敏的患者禁用	奥美拉哇是一种质子泵抑制剂，可以降低胃酸的分泌，从而减少胃酸反流到食管的情况，是反流性食管炎的首选治疗药物。

其他治疗方案

治疗方法	必要性解释
生活方式的改变	避免进食触发症状的食物，避免饮酒和吸烟，保持健康的体重，以及避免饭后立即卧床等，对治疗反流性食管炎有帮助。

随访复查计划

复查时间	复查内容
治疗开始后8周	观察症状的改善情况，如果症状没有改善，可能需要进一步的检查和治疗。

---

数据集构建

我们采用了公开的通用中文语料和自建的中文医学语料库，医学语料主要包括文献（临床指南、论文等）、医学教科书、临床诊疗、互联网医疗数据（问答、百科等）、疾病知识库、药品库、手术操作、检验检查数据等。

数据源	比例
百科语料	55.49%
临床指南&医学文献&医学教材	24.28%
疾病问诊	17.34%
疾病知识	0.85%
检验检查知识	0.1%
手术操作知识	0.12%
药品知识	1.32%
疾病症状知识	0.47%

语料库实例如下：

{"标准名称":"产后甲状腺炎","英文名称":"postpartum thyroiditis","别名":"产后无痛性甲状腺炎；产后甲状腺功能不全","缩写名称":"PPT","简介":"产后甲状腺炎是一种发生于分娩或流产后1年，且妊娠前无甲状腺功能异常病史妊娠妇女的甲状腺功能异常性疾病。该病以一过性或永久性甲亢或甲减、暂时性甲状腺无痛性肿大、摄碘率下降、甲状腺过氧化物酶抗体(TPOAb)滴度升高为主要临床表现。由于患者甲状腺功能受影响程度不同，所以既可表现为甲亢，也可表现为甲减。因产后甲状腺炎对育龄期妇女、产妇及胎儿有诸多影响，故应积极预防和治疗。部分患者若临床症状较明显，可给予治疗。但通常此病具有自限性，一般无需特殊治疗。","类别":"内分泌科","编码":"O90.551","科室":"内科","子科室":"内分泌科","发病机制-病因":"该病具体发病机制目前还不是十分确定，可分为遗传因素、免疫因素和其他因素。同时产妇自身健康状况也会影响该病，若产妇同时患有其他自身免疫性疾病、糖尿病、慢性肝炎等，产后更易发生产后甲状腺炎。1.遗传因素临床发现，部分患者具有自身免疫性疾病家族史，提示产后甲状腺炎的发病受遗传因素的影响。对产后甲状腺炎患者人类白细胞抗原(HLA)的研究表明，在HLA的128个功能基因中，超过30%的基因与免疫系统有关，尤其是HLA-DR抗原编码基因中的DR3、DR4和DR5。目前这些基因编码分子与产后甲状腺炎发病机制之间的联系尚不明确，部分学者推测可能与产后甲状腺炎易感位点和HLA位点之间具有连锁不平衡性有关，另外有学者则认为与这些基因编码分子在基因表达过程中，对甲状腺过氧化物酶和甲状腺球蛋白抗原所发挥的呈递作用有关。2.免疫因素目前认为，产后甲状腺炎是一种自身免疫性淋巴细胞性甲状腺炎。其病理学特征为淋巴细胞浸润，与桥本氏甲状腺炎不同的是，产后甲状腺炎并不形成生发中心，没有Hürthle细胞，呈亚急性淋巴性甲状腺炎改变。研究表明，产后甲状腺炎的发生可能与分娩后短时间内所出现的免疫反弹有关。妊娠期由于胎盘因素的影响，机体处于短暂性相对高皮质醇状态，负反馈调节机制下母体下丘脑分泌促肾上腺皮质激素，释放激素(CRH)的功能受到暂时性抑制。随分娩结束，母体下丘脑分泌CRH的功能逐渐恢复，皮质醇迅速降低，即发生免疫反弹，引起产后甲状腺炎。有研究认为，产后甲状腺炎的发生与抗甲状腺过氧化物酶抗体(TPOAb)也具有一定联系，且该抗体的活性与甲状腺损伤范围及严重程度有关。起初甲状腺过氧化物酶抗体可通过固定补体破坏甲状腺滤泡，使血清甲状腺激素水平一过性升高，一旦甲状腺损伤过度、分泌不足，血清甲状腺激素水平则会逐渐降低。而妊娠期间原本存在的亚临床甲状腺炎可因产后暂时性的免疫反弹发生明显变化。","发病机制-病理":"甲状腺功能的正常与否，与碘的摄入密切相关，但碘摄入过量很可能是产后甲状腺炎发病的主要诱因之一，目前其机制有待进一步研究。吸烟也可能是产后甲状腺炎的一种危险因素，烟草中所含的硫氰酸盐可竞争性结合碘，阻碍碘与甲状腺过氧化物酶(TPO)的结合，从而使甲状腺无法发挥正常功能。此外，产妇自身的健康状况也会影响该病的发生率，临床发现，产妇若同时患有其他自身免疫性疾病、糖尿病、慢性肝炎等，产后更易发生产后甲状腺炎。","转移途径":"无转移途径。","诊断-病史要点":"该病患病率为1.1%~21.1%，在碘充足地区平均患病率约为7%。我国学者报道的产后甲状腺炎患病率是11.9%。碘充足地区较缺碘地区常见，低碘摄入人群补碘后可诱发或加重产后甲状腺炎。","诊断-症状要点":"产后甲状腺炎可分为甲亢期、甲减期以及恢复期，会发生不同的临床症状。如甲亢患者可有心悸、食欲增加、体重下降等症状，甲减患者可有水肿、表情淡漠等表现。患者进入恢复期后，症状通常可消失。1.甲亢期发生在产后1~6个月，通常在第3个月，维持1~2个月，表现为心悸、食欲增加、体重下降、汗多、易怒、乏力等症状，一般1~2个月后患者可自行缓解。2.甲减期发生在产后6~12个月，通常在第6个月左右，持续4~6个月，表现为肌肉、关节疼痛和僵硬、疲乏无力、注意力不集中、便秘、水肿、体重增加、食欲减退、表情淡漠甚至精神障碍等。3.恢复期发生在产后6~12个月，甲状腺功能逐渐恢复正常，一般无明显临床症状。 [1] ","诊断-查体要点":"1.对于高危人群，比如有家族遗传史者，定期体检非常有必要，重视体检中的甲状腺功能。无论是不是高危人群，一旦体检中出现甲状腺功能异常都需要在医生的指导下进一步检查。2.患者出现心悸、乏力、怕热、情绪激动和性格改变等症状时，怀疑甲状腺功能出现异常，需要及时去医院进行相关检查，明确病情。3.出现甲状腺肿大，但无触痛的患者需要及时就医检查","诊断-辅助检查":"实验室检查1.甲状腺功能变化早期T3、T4增高，TSH降低，功能低下阶段及恢复期T3、T4、TSH相应发生改变。2.甲状腺自身抗体TPOAb阳性率明显高于TGAb，极少数患者血清中存在TSAb。TRAb一般阴性。3.甲状腺球蛋白（Tg）可增高，与甲状腺淋巴细胞浸润及腺体破坏相关。4.甲状腺摄131Ⅰ率甲状腺毒症阶段明显降低，在功能低下阶段有所恢复。影像学检查甲状腺超声持续低回声可能预示甲状腺自身免疫破坏过程持续存在。其他检查过氯酸盐释放实验对产后甲状腺炎过后2～4年，甲状腺功能保持正常的妇女进行过氯酸盐释放实验的研究证明，大部分患者过氯酸盐释放实验阳性，提示这些妇女存在持久性甲状腺碘有机化缺陷。这种缺陷与实验前甲状腺自身抗体阳性的滴度呈相关性。","诊断-辅助检查-实验室检查":"1.甲状腺功能变化早期T3、T4增高，TSH降低，功能低下阶段及恢复期T3、T4、TSH相应发生改变。2.甲状腺自身抗体TPOAb阳性率明显高于TGAb，极少数患者血清中存在TSAb。TRAb一般阴性。3.甲状腺球蛋白（Tg）可增高，与甲状腺淋巴细胞浸润及腺体破坏相关。4.甲状腺摄131Ⅰ率甲状腺毒症阶段明显降低，在功能低下阶段有所恢复。","诊断-辅助检查-影像学检查":"甲状腺超声持续低回声可能预示甲状腺自身免疫破坏过程持续存在。","诊断-辅助检查-其他":"过氯酸盐释放实验对产后甲状腺炎过后2～4年，甲状腺功能保持正常的妇女进行过氯酸盐释放实验的研究证明，大部分患者过氯酸盐释放实验阳性，提示这些妇女存在持久性甲状腺碘有机化缺陷。这种缺陷与实验前甲状腺自身抗体阳性的滴度呈相关性。","诊断-临床类型":"1.病史妊娠前无甲状腺疾病史，产后或流产后1年内发生的甲状腺功能异常，可初步诊断为该病。症状体征若患者早期表现为一过性甲状腺毒血症状，如食欲增加、体重下降、汗多、易怒、心悸、乏力等，后期表现为一过性甲减症状，如体重增加、食欲减退、表情淡漠、记忆力减退等。2.甲状腺触诊多数无触痛，多为Ⅰ度肿大，双侧甲状腺质地中等，表面光滑，未扪及结节，无局部压痛，触诊时甲状腺活动度良好，与周围组织无粘连，吞咽运动时可上下移动。一般无颈部淋巴结肿大，听诊无血管杂音。有以上症状及体征的患者，可诊断为该病。3.辅助检查血清TRAb呈阴性，甲状腺超声波检查可提示甲状腺有不同程度肿大，多为双侧对称性、弥漫性轻度肿大，峡部及侧叶常同时增大，也可单侧性肿大。4.大多数患者发作前都有典型的临床表现及实验室检查和免疫学指标变化，可根据病史及血清甲状腺过氧化物酶抗体、TSH、T3、T4等辅助检查对产后甲状腺炎作出诊断。 [2] ","诊断-分期":"无诊断分期。","诊断-鉴别诊断":"1.产后Graves病产后Graves病常特征性表现为浸润性突眼，同时伴有甲状腺血管杂音、胫前黏液性水肿等相对较重的甲亢症状。与甲亢期产后甲状腺炎不同的是，本病甲状腺摄碘率增高，可予以鉴别，但由于产后哺乳限制，一般不对患者进行甲状腺摄碘率检查。2.产后Graves病TRAb阳性，产后甲状腺炎则为阴性，必要时可通过甲状腺针吸细胞学检查加以鉴别。桥本氏病本病既可表现为甲状腺机能亢进，也可表现为甲状腺机能减退，较难与产后甲状腺炎鉴别，因此应用甲状腺穿刺活检进行诊断必不可少。3.桥本甲状腺炎可表现为特有的生发中心细胞和嗜酸性变，而产后甲状腺炎患者仅可见轻度淋巴细胞浸润，无生发中心形成，无法观察到Hürthle细胞。亚急性甲状腺炎该病一般认为和病毒感染有关，可典型表现为甲状腺部位的疼痛和压痛，并可向颌下、耳后或颈部放射，一般发病多急骤，同时伴有发热等全身症状。 [3] ","治疗-治疗原则":"多数产后甲状腺炎病例呈现自限性过程，甲亢期不需要服用抗甲状腺药物，甲亢症状严重者可给予β受体阻断剂等对症治疗。甲减期血清TSH<10mIU/L时，不需要甲状腺激素的替代治疗，TSH可以自行恢复。","治疗-一般治疗":"1.甲状腺功能亢进阶段慎用抗甲状腺药物治疗。2.甲状腺功能减低阶段行TH补充治疗。3.妊娠阶段预防母亲甲状腺功能减低。","治疗-药物治疗'":"1.β受体阻断剂甲亢期无需特殊治疗，针对其心悸、神经紧张等临床表现可给予β受体阻断剂干预治疗。该病血清T3、T4升高是甲状腺滤泡破坏后释放增多所致，应用传统抗甲状腺药物治疗效果不甚理想，故临床多选用普萘洛尔等β受体阻断剂治疗以改善患者精神症状，纠正循环系统紊乱，且这一治疗方案已得到广泛认可，而普萘洛尔已成为治疗产后甲状腺炎甲亢期临床一线用药。2.左甲状腺素(L-T4)部分甲减期患者若临床症状较为明显，可给予必要的干预治疗，目前争论焦点主要集中在对甲减期无临床不适症状的患者是否需要给予干预治疗。2019年我国指南推荐使用LT4治疗甲减期伴TSH水平大于4mIU/L以及存在明显临床不适症状的患者，且如果甲减期患者处于哺乳期亦可应用行此治疗。此外，血清TSH水平持续升高半年以上者建议应用LT4治疗。通常情况下，使用LT4治疗后需每隔1～2个月复查一次血清TSH，若TSH水平趋于正常，可于服药后6～12个月开始减量，但减量治疗并不适用于拟再次妊娠妇女、哺乳期女性以及孕妇。","治疗-手术治疗":"产后甲状腺炎具有自限性，病程仅数月，一般无需手术治疗。对于甲状腺功能亢进期，应予以保守治疗。","治疗-其他治疗":"外科和放射治疗是禁忌证。","治疗-心理治疗":"保持乐观良好的心态。","治疗-物理治疗":"无物理治疗。","治疗-治疗周期":"一般短期治疗，永久性甲减患者需长期持续性治疗。","治疗-治愈率":"多数患者甲状腺功能可完全恢复。","治疗-治疗费用":"根据不同医院，收费标准不一致。","常见并发症":"永久性甲减。","预后":"由产后甲状腺炎引发的甲状腺功能异常预后良好，多数患者甲状腺功能可完全恢复，但长期随访调查发现，部分产后甲状腺炎妇女存在发展为永久性甲减的风险，因此必要的随访对患者而言至关重要。","随访":"1目前临床建议既往有过产后甲状腺炎病史的女性患者间隔6～12个月来院复查血清TSH，可同时检测甲状腺过氧化物酶抗体，若发现患者发展至甲减应立即给予药物干预治疗。2.既往有产后甲状腺炎病史，拟再次妊娠者需于妊娠前复查甲状腺功能，并于妊娠期间密切监测复查甲状腺功能。","预防":"对于甲状腺自身抗体阳性及有产后甲状腺炎家族史的产妇，应加强甲状腺功能的监测，避免发生产后甲状腺炎。","高发人群":"产后妇女。","发病部位":"颈部。","传染性":"无传染性。","护理保健 - 护理":"产后甲状腺炎患者的护理以保持甲状腺功能稳定为主，同时尽量避免永久性甲减的发生。平时产妇要保持愉快的心情。1.口服用药了解甲状腺素片作用、剂量、用法、不良反应和注意事项，指导患者正确服用。定期复查2～3个月后复查FT3、FT4、TSH，根据病情调节药物剂量。2.特殊注意事项一旦发生甲减，应当及时治疗。如果计划再次妊娠，首先要确认甲状腺功能是否正常。妊娠期间也要定期检测甲状腺功能。","护理保健 - 保健":"因甲状腺疾病大多和碘摄取量有关，所以建议患者控制摄碘量，同时可以补充维生素D，如控制海产品、碘盐的摄入量，多进食动物内脏、蛋黄、瘦肉、猕猴桃、胡萝卜等含有丰富的维生素D的食物。1.建议控制海产品的摄入量，低盐饮食，成人每天摄入标准碘盐6～8克即可获得120～150微克碘，完全可满足大多数成年人的生理需要量。2.建议补充维生素D防止骨质疏松，可多进食富含维生素D的饮食，维生素D制剂对甲状腺自身免疫的妇女有免疫抑制作用，并且可能有助于治疗各种自身免疫性甲状腺疾病，其中包括产后甲状腺炎。","参考文献":"["黄国飞,刘江华.产后甲状腺炎的诊治进展[J].中南医学科学杂志,2019,47(05):554-557.","中华医学会内分泌学分会.中国甲状腺疾病诊治指南-甲状腺炎[J].中华内科杂志,2008.47(9):784-788.","贺清珍.产后甲状腺炎20例临床分析[J].临床医学研究与实践,2016,1(19):153-162."]"},

---

训练细节

我们在23台GPU服务器，11台x8xA800x80G、12台x8xA100x80G上进行了训练，训练总轮次12轮，耗时约3周。

---

项目参与者

本项目由成都医联科技有限公司MedGPT项目组完成。

---

致谢

本项目参考了以下开源项目，在此对相关项目和研究开发人员表示感谢。 ·Facebook LLaMA: https://github.com/facebookresearch/llama

---

免责说明

本项目资源涉及学术研究之用，严禁于商业用途。使用涉及第三方代码的部分时，请严格遵循相应的开源协议。 模型生成的内容受模型计算、随机性和定量精度损失等相关因素影响，本项目无法对此作出准确保证。本项目 数据集由模型生成，即使符合某些事实，也不能被用于实际医学诊断的依据。对于模型输出的任何内容，本项 目不承担任何法律责任，亦因使用相关资源和输出结果而可能产生的任何损失责任。