tianhua007/test001

MedGPT:基于LLaMA进行的多任务有监督微调的医疗大语言模型

MedGPT是基于LLaMA-13B进行多任务有监督微调的开源医疗大语言模型，建立在以数据为中心的工作上。MedGPT在疾病问诊、疑似诊断、推荐检验检查项目、病历总结、检查报告结果解读、疾病诊断结果和治疗方案等多个任务 上均拥有优异的表现。

-疾病问诊：模型逐步向患者提问，以多轮对话的方式全面准确的了解患者的病情，包括患者的基础信息（年龄、性别）、健康数据（症状、症状持续时间、症状诱因、伴随症状、病情变化情况、既往疾病及诊疗经过、过敏史、 手术外伤史、传染病接触史、家族疾病、生育史等）；

-疑似诊断：在了解患者病情以后，并通过模型算法一致性校验机制后，给出患者可能的疑似诊断和诊断理由；

-推荐检验检查项目：根据患者的疑似诊断和病情，给患者推荐必要的检验检查项目，包括：检查项目名称、必要性解释、注意事项等；

-检查报告结果解读：在获取到患者的检验检查结果后，给出检查的结果分析，包括报告指标解读、临床意义说明等；

-疾病诊断：根据患者病历情况和检验检查结果，给出最终疾病诊断结果；

-治疗方案：根据患者的疾病诊断结果，推荐疾病治疗方案，包括药品治疗、手术治疗、营养方案和运动生活方式等。

迭代日志

-[2023/07/29] 模型优化

-[2023/06/30] 模型算法进行医学考试、诊疗一致性实验

-[2023/05/31] 模型验证医学有效性及一致性，进行强化学习

-[2023/04/28] 模型内测

-[2023/03/31] 开始基于LLaMA模型进行微调训练及相关工程

---

A Quick Start

 pip install medgpt
   

模型下载

1.对LLaMA进行全量微调的权重文件

---

数据集构建

我们采用了公开的通用中文语料和自建的中文医学语料库，医学语料主要包括文献（临床指南、论文等）、医学教科书、临床诊疗、互联网医疗数据（问答、百科等）、疾病知识库、药品库、手术操作、检验检查数据等。

数据源	比例
百科语料	55.49%
临床指南&医学文献&医学教材	24.28%
疾病问诊	17.34%
疾病知识	0.85%
检验检查知识	0.1%
手术操作知识	0.12%
药品知识	1.32%
疾病症状知识	0.47%

语料库实例如下：

{"标准名称":"产后甲状腺炎","英文名称":"postpartum thyroiditis","别名":"产后无痛性甲状腺炎；产后甲状腺功能不全","缩写名称":"PPT","简介":"产后甲状腺炎是一种发生于分娩或流产后1年，且妊娠前无甲状腺功能异常病史妊娠妇女的甲状腺功能异常性疾病。该病以一过性或永久性甲亢或甲减、暂时性甲状腺无痛性肿大、摄碘率下降、甲状腺过氧化物酶抗体(TPOAb)滴度升高为主要临床表现。由于患者甲状腺功能受影响程度不同，所以既可表现为甲亢，也可表现为甲减。因产后甲状腺炎对育龄期妇女、产妇及胎儿有诸多影响，故应积极预防和治疗。部分患者若临床症状较明显，可给予治疗。但通常此病具有自限性，一般无需特殊治疗。","类别":"内分泌科","编码":"O90.551","科室":"内科","子科室":"内分泌科","发病机制-病因":"该病具体发病机制目前还不是十分确定，可分为遗传因素、免疫因素和其他因素。同时产妇自身健康状况也会影响该病，若产妇同时患有其他自身免疫性疾病、糖尿病、慢性肝炎等，产后更易发生产后甲状腺炎。1.遗传因素临床发现，部分患者具有自身免疫性疾病家族史，提示产后甲状腺炎的发病受遗传因素的影响。对产后甲状腺炎患者人类白细胞抗原(HLA)的研究表明，在HLA的128个功能基因中，超过30%的基因与免疫系统有关，尤其是HLA-DR抗原编码基因中的DR3、DR4和DR5。目前这些基因编码分子与产后甲状腺炎发病机制之间的联系尚不明确，部分学者推测可能与产后甲状腺炎易感位点和HLA位点之间具有连锁不平衡性有关，另外有学者则认为与这些基因编码分子在基因表达过程中，对甲状腺过氧化物酶和甲状腺球蛋白抗原所发挥的呈递作用有关。2.免疫因素目前认为，产后甲状腺炎是一种自身免疫性淋巴细胞性甲状腺炎。其病理学特征为淋巴细胞浸润，与桥本氏甲状腺炎不同的是，产后甲状腺炎并不形成生发中心，没有Hürthle细胞，呈亚急性淋巴性甲状腺炎改变。研究表明，产后甲状腺炎的发生可能与分娩后短时间内所出现的免疫反弹有关。妊娠期由于胎盘因素的影响，机体处于短暂性相对高皮质醇状态，负反馈调节机制下母体下丘脑分泌促肾上腺皮质激素，释放激素(CRH)的功能受到暂时性抑制。随分娩结束，母体下丘脑分泌CRH的功能逐渐恢复，皮质醇迅速降低，即发生免疫反弹，引起产后甲状腺炎。有研究认为，产后甲状腺炎的发生与抗甲状腺过氧化物酶抗体(TPOAb)也具有一定联系，且该抗体的活性与甲状腺损伤范围及严重程度有关。起初甲状腺过氧化物酶抗体可通过固定补体破坏甲状腺滤泡，使血清甲状腺激素水平一过性升高，一旦甲状腺损伤过度、分泌不足，血清甲状腺激素水平则会逐渐降低。而妊娠期间原本存在的亚临床甲状腺炎可因产后暂时性的免疫反弹发生明显变化。","发病机制-病理":"甲状腺功能的正常与否，与碘的摄入密切相关，但碘摄入过量很可能是产后甲状腺炎发病的主要诱因之一，目前其机制有待进一步研究。吸烟也可能是产后甲状腺炎的一种危险因素，烟草中所含的硫氰酸盐可竞争性结合碘，阻碍碘与甲状腺过氧化物酶(TPO)的结合，从而使甲状腺无法发挥正常功能。此外，产妇自身的健康状况也会影响该病的发生率，临床发现，产妇若同时患有其他自身免疫性疾病、糖尿病、慢性肝炎等，产后更易发生产后甲状腺炎。","转移途径":"无转移途径。","诊断-病史要点":"该病患病率为1.1%~21.1%，在碘充足地区平均患病率约为7%。我国学者报道的产后甲状腺炎患病率是11.9%。碘充足地区较缺碘地区常见，低碘摄入人群补碘后可诱发或加重产后甲状腺炎。","诊断-症状要点":"产后甲状腺炎可分为甲亢期、甲减期以及恢复期，会发生不同的临床症状。如甲亢患者可有心悸、食欲增加、体重下降等症状，甲减患者可有水肿、表情淡漠等表现。患者进入恢复期后，症状通常可消失。1.甲亢期发生在产后1~6个月，通常在第3个月，维持1~2个月，表现为心悸、食欲增加、体重下降、汗多、易怒、乏力等症状，一般1~2个月后患者可自行缓解。2.甲减期发生在产后6~12个月，通常在第6个月左右，持续4~6个月，表现为肌肉、关节疼痛和僵硬、疲乏无力、注意力不集中、便秘、水肿、体重增加、食欲减退、表情淡漠甚至精神障碍等。3.恢复期发生在产后6~12个月，甲状腺功能逐渐恢复正常，一般无明显临床症状。 [1] ","诊断-查体要点":"1.对于高危人群，比如有家族遗传史者，定期体检非常有必要，重视体检中的甲状腺功能。无论是不是高危人群，一旦体检中出现甲状腺功能异常都需要在医生的指导下进一步检查。2.患者出现心悸、乏力、怕热、情绪激动和性格改变等症状时，怀疑甲状腺功能出现异常，需要及时去医院进行相关检查，明确病情。3.出现甲状腺肿大，但无触痛的患者需要及时就医检查","诊断-辅助检查":"实验室检查1.甲状腺功能变化早期T3、T4增高，TSH降低，功能低下阶段及恢复期T3、T4、TSH相应发生改变。2.甲状腺自身抗体TPOAb阳性率明显高于TGAb，极少数患者血清中存在TSAb。TRAb一般阴性。3.甲状腺球蛋白（Tg）可增高，与甲状腺淋巴细胞浸润及腺体破坏相关。4.甲状腺摄131Ⅰ率甲状腺毒症阶段明显降低，在功能低下阶段有所恢复。影像学检查甲状腺超声持续低回声可能预示甲状腺自身免疫破坏过程持续存在。其他检查过氯酸盐释放实验对产后甲状腺炎过后2～4年，甲状腺功能保持正常的妇女进行过氯酸盐释放实验的研究证明，大部分患者过氯酸盐释放实验阳性，提示这些妇女存在持久性甲状腺碘有机化缺陷。这种缺陷与实验前甲状腺自身抗体阳性的滴度呈相关性。","诊断-辅助检查-实验室检查":"1.甲状腺功能变化早期T3、T4增高，TSH降低，功能低下阶段及恢复期T3、T4、TSH相应发生改变。2.甲状腺自身抗体TPOAb阳性率明显高于TGAb，极少数患者血清中存在TSAb。TRAb一般阴性。3.甲状腺球蛋白（Tg）可增高，与甲状腺淋巴细胞浸润及腺体破坏相关。4.甲状腺摄131Ⅰ率甲状腺毒症阶段明显降低，在功能低下阶段有所恢复。","诊断-辅助检查-影像学检查":"甲状腺超声持续低回声可能预示甲状腺自身免疫破坏过程持续存在。","诊断-辅助检查-其他":"过氯酸盐释放实验对产后甲状腺炎过后2～4年，甲状腺功能保持正常的妇女进行过氯酸盐释放实验的研究证明，大部分患者过氯酸盐释放实验阳性，提示这些妇女存在持久性甲状腺碘有机化缺陷。这种缺陷与实验前甲状腺自身抗体阳性的滴度呈相关性。","诊断-临床类型":"1.病史妊娠前无甲状腺疾病史，产后或流产后1年内发生的甲状腺功能异常，可初步诊断为该病。症状体征若患者早期表现为一过性甲状腺毒血症状，如食欲增加、体重下降、汗多、易怒、心悸、乏力等，后期表现为一过性甲减症状，如体重增加、食欲减退、表情淡漠、记忆力减退等。2.甲状腺触诊多数无触痛，多为Ⅰ度肿大，双侧甲状腺质地中等，表面光滑，未扪及结节，无局部压痛，触诊时甲状腺活动度良好，与周围组织无粘连，吞咽运动时可上下移动。一般无颈部淋巴结肿大，听诊无血管杂音。有以上症状及体征的患者，可诊断为该病。3.辅助检查血清TRAb呈阴性，甲状腺超声波检查可提示甲状腺有不同程度肿大，多为双侧对称性、弥漫性轻度肿大，峡部及侧叶常同时增大，也可单侧性肿大。4.大多数患者发作前都有典型的临床表现及实验室检查和免疫学指标变化，可根据病史及血清甲状腺过氧化物酶抗体、TSH、T3、T4等辅助检查对产后甲状腺炎作出诊断。 [2] ","诊断-分期":"无诊断分期。","诊断-鉴别诊断":"1.产后Graves病产后Graves病常特征性表现为浸润性突眼，同时伴有甲状腺血管杂音、胫前黏液性水肿等相对较重的甲亢症状。与甲亢期产后甲状腺炎不同的是，本病甲状腺摄碘率增高，可予以鉴别，但由于产后哺乳限制，一般不对患者进行甲状腺摄碘率检查。2.产后Graves病TRAb阳性，产后甲状腺炎则为阴性，必要时可通过甲状腺针吸细胞学检查加以鉴别。桥本氏病本病既可表现为甲状腺机能亢进，也可表现为甲状腺机能减退，较难与产后甲状腺炎鉴别，因此应用甲状腺穿刺活检进行诊断必不可少。3.桥本甲状腺炎可表现为特有的生发中心细胞和嗜酸性变，而产后甲状腺炎患者仅可见轻度淋巴细胞浸润，无生发中心形成，无法观察到Hürthle细胞。亚急性甲状腺炎该病一般认为和病毒感染有关，可典型表现为甲状腺部位的疼痛和压痛，并可向颌下、耳后或颈部放射，一般发病多急骤，同时伴有发热等全身症状。 [3] ","治疗-治疗原则":"多数产后甲状腺炎病例呈现自限性过程，甲亢期不需要服用抗甲状腺药物，甲亢症状严重者可给予β受体阻断剂等对症治疗。甲减期血清TSH<10mIU/L时，不需要甲状腺激素的替代治疗，TSH可以自行恢复。","治疗-一般治疗":"1.甲状腺功能亢进阶段慎用抗甲状腺药物治疗。2.甲状腺功能减低阶段行TH补充治疗。3.妊娠阶段预防母亲甲状腺功能减低。","治疗-药物治疗'":"1.β受体阻断剂甲亢期无需特殊治疗，针对其心悸、神经紧张等临床表现可给予β受体阻断剂干预治疗。该病血清T3、T4升高是甲状腺滤泡破坏后释放增多所致，应用传统抗甲状腺药物治疗效果不甚理想，故临床多选用普萘洛尔等β受体阻断剂治疗以改善患者精神症状，纠正循环系统紊乱，且这一治疗方案已得到广泛认可，而普萘洛尔已成为治疗产后甲状腺炎甲亢期临床一线用药。2.左甲状腺素(L-T4)部分甲减期患者若临床症状较为明显，可给予必要的干预治疗，目前争论焦点主要集中在对甲减期无临床不适症状的患者是否需要给予干预治疗。2019年我国指南推荐使用LT4治疗甲减期伴TSH水平大于4mIU/L以及存在明显临床不适症状的患者，且如果甲减期患者处于哺乳期亦可应用行此治疗。此外，血清TSH水平持续升高半年以上者建议应用LT4治疗。通常情况下，使用LT4治疗后需每隔1～2个月复查一次血清TSH，若TSH水平趋于正常，可于服药后6～12个月开始减量，但减量治疗并不适用于拟再次妊娠妇女、哺乳期女性以及孕妇。","治疗-手术治疗":"产后甲状腺炎具有自限性，病程仅数月，一般无需手术治疗。对于甲状腺功能亢进期，应予以保守治疗。","治疗-其他治疗":"外科和放射治疗是禁忌证。","治疗-心理治疗":"保持乐观良好的心态。","治疗-物理治疗":"无物理治疗。","治疗-治疗周期":"一般短期治疗，永久性甲减患者需长期持续性治疗。","治疗-治愈率":"多数患者甲状腺功能可完全恢复。","治疗-治疗费用":"根据不同医院，收费标准不一致。","常见并发症":"永久性甲减。","预后":"由产后甲状腺炎引发的甲状腺功能异常预后良好，多数患者甲状腺功能可完全恢复，但长期随访调查发现，部分产后甲状腺炎妇女存在发展为永久性甲减的风险，因此必要的随访对患者而言至关重要。","随访":"1目前临床建议既往有过产后甲状腺炎病史的女性患者间隔6～12个月来院复查血清TSH，可同时检测甲状腺过氧化物酶抗体，若发现患者发展至甲减应立即给予药物干预治疗。2.既往有产后甲状腺炎病史，拟再次妊娠者需于妊娠前复查甲状腺功能，并于妊娠期间密切监测复查甲状腺功能。","预防":"对于甲状腺自身抗体阳性及有产后甲状腺炎家族史的产妇，应加强甲状腺功能的监测，避免发生产后甲状腺炎。","高发人群":"产后妇女。","发病部位":"颈部。","传染性":"无传染性。","护理保健 - 护理":"产后甲状腺炎患者的护理以保持甲状腺功能稳定为主，同时尽量避免永久性甲减的发生。平时产妇要保持愉快的心情。1.口服用药了解甲状腺素片作用、剂量、用法、不良反应和注意事项，指导患者正确服用。定期复查2～3个月后复查FT3、FT4、TSH，根据病情调节药物剂量。2.特殊注意事项一旦发生甲减，应当及时治疗。如果计划再次妊娠，首先要确认甲状腺功能是否正常。妊娠期间也要定期检测甲状腺功能。","护理保健 - 保健":"因甲状腺疾病大多和碘摄取量有关，所以建议患者控制摄碘量，同时可以补充维生素D，如控制海产品、碘盐的摄入量，多进食动物内脏、蛋黄、瘦肉、猕猴桃、胡萝卜等含有丰富的维生素D的食物。1.建议控制海产品的摄入量，低盐饮食，成人每天摄入标准碘盐6～8克即可获得120～150微克碘，完全可满足大多数成年人的生理需要量。2.建议补充维生素D防止骨质疏松，可多进食富含维生素D的饮食，维生素D制剂对甲状腺自身免疫的妇女有免疫抑制作用，并且可能有助于治疗各种自身免疫性甲状腺疾病，其中包括产后甲状腺炎。","参考文献":"["黄国飞,刘江华.产后甲状腺炎的诊治进展[J].中南医学科学杂志,2019,47(05):554-557.","中华医学会内分泌学分会.中国甲状腺疾病诊治指南-甲状腺炎[J].中华内科杂志,2008.47(9):784-788.","贺清珍.产后甲状腺炎20例临床分析[J].临床医学研究与实践,2016,1(19):153-162."]"},

---

训练细节

我们在28台GPU服务器，20A80080G、12A10080G上进行了训练，训练总轮次12轮，耗时约3周。

计算资源

使用了28台GPU服务器，其中20台A800 GPU服务器，共160张A800显卡；8台A100 GPU服务器，共64张A100显卡。

实验过程

超参设置和实验过程可以参考wandb的链接： https://wandb.ai/thinksoso/llama_med/runs/a5wgcnzt/overview?workspace=user-thinksoso

模型效果

---

常见问题

---

项目参与者

本项目由成都医联科技有限公司MedGPT项目组完成。

---

致谢

本项目参考了以下开源项目，在此对相关项目和研究开发人员表示感谢。

·Facebook LLaMA: https://github.com/facebookresearch/llama

---

免责说明

本项目资源涉及学术研究之用，严禁于商业用途。使用涉及第三方代码的部分时，请严格遵循相应的开源协议。 模型生成的内容受模型计算、随机性和定量精度损失等相关因素影响，本项目无法对此作出准确保证。本项目 数据集由模型生成，即使符合某些事实，也不能被用于实际医学诊断的依据。对于模型输出的任何内容，本项 目不承担任何法律责任，亦因使用相关资源和输出结果而可能产生的任何损失责任。