大家好【SLBB-025】職場でレズ痴漢 異常に性欲の強い私（真性レズ）同僚やお客様を誘惑して失神するほど感じさせレズの虜にしちゃいました！，我是 Jack。
大模子 fine-tune，在各个鸿沟百花王人放。
今天先容一个医学鸿沟 fine-tune 得到的大模子，Huatuo-LLaMA。
白俄罗斯美女15p撸网咱们都知说念，OpenAI 最新的 GPT 都莫得开源，自从 FaceBook（Meta）开源了 LLaMA 的预考试模子之后，基于 LLaMa fine-tune 得到的大模子开动多了起来。
Huatuo-LLaMA 便是其之一，属于医学鸿沟的模子。
图片【SLBB-025】職場でレズ痴漢 異常に性欲の強い私（真性レズ）同僚やお客様を誘惑して失神するほど感じさせレズの虜にしちゃいました！
一、Huatuo-LLaMA咱们都知说念，LLaMA 有着 7B（70亿） 到 65B（650亿） 量级的参数目。
作家团队出于考试本钱的研讨，遴荐了模子参数目相对较少的 LLaMA-7B 动作 HuaTuo 的基础模子，在此基础上进行 instruct tuning，赢得辅导微调的大模子。
基础模子，便是 Base LLM（Large Language Model），它有着续写的才能，比如给一个起原，Base LLM 大略把柄提供的起原续写施行。
可是 Base LLM 不成团结对话，你问它问题，它不会回应。为了让大模子具有团结问题的才能，就需要在 Base LLM 的基础上，进行 instruct tuning，进而得到 Instruction LLM。
好了，Huatuo-LLaMA 大约的考试旨趣说澄清了，它便是一个基于中语的医学数据在 LLaMA-7B 开源模子基础上，instruct tuning 得到的模子。
作家团队参考 cMeKG，接收公开和自建的中语医学常识库构建考试数据。
医学常识库围绕疾病、药物、搜检打算等构建，字段包括并发症，高危要素，组织学搜检，临床症状，药物颐养，支持颐养等。
常识库示举例下:
{'中心词': '偏头痛'， '相干疾病': ['妊娠统一偏头痛'， '恶寒发烧']， '相干症状': ['皮肤变硬'， '头部及眼后部疾苦并能听到此起彼落的隆隆声'， '晨入手痛加剧']， '所属科室': ['中西医纠合科'， '内科']， '发病部位': ['头部']}然后诈欺 GPT3.5 接口围绕医学常识库构建问答数据，丰富 Prompt 的发问容貌。
辅导微调的考试集数据示举例下：
'问题：一位年青男性永久使用可卡因，霎时出现胸痛、吐逆、出汗等症状，经搜检发现心电图反馈心肌急性损害，讨教可能患的是什么疾病？颐养方法是什么？''回应: 可能患的是心肌梗塞，需要进行维拉帕米、依普利酮、硝酸甘油、ß拦阻剂、吗啡等药物颐养，并进行溶栓颐养、低分子量肝素、钙通说念拦阻剂等支持颐养。此外需要实时停用可卡因等药物，以防御病情加剧。'
这个数据就构建好了。
然后诈欺 LLaMa 开源的 finetune 代码，就能进行考试了。
#!/bin/bashexp_tag='e1'python finetune.py \ --base_model 'decapoda-research/llama-7b-hf' \ --data_path './data/llama_data.json' \ --output_dir './lora-llama-med-'$exp_tag \ --prompt_template_name 'med_template' \ --micro_batch_size 128 \ --batch_size 128 \ --wandb_run_name $exp_tag具体的考试经由，不错看下代码。
神气地址：
https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
作家团队在一张 A100-SXM-80GB 显卡上进行了考试，考试总轮次 10 轮，耗时约 2h17m。
batch_size 为 128 的情况下显存占用在 40G 傍边。预测 3090/4090 显卡( 24GB 显存)以上显卡不错较好复旧，把柄显存大小来调度 batch_size。
二、摈弃Example1:
输入：小张最近嗅觉肉体不适，出现心悸、气促等症状。体检发现腹黑扩大、搏动迟滞。
回应： 小张可能患有心肌炎，提议尽快到病院进行搜检和颐养。颐养有谋略包括药物颐养和手术颐养。
Example2:
输入： 麻风病和儿童哮喘的病因是否一致？
回应： 不一致，麻风病的病因是麻风杆菌感染，而儿童哮喘的病因是喂养不良、抽烟等要素。
Example3:
输入： 一位患者出现了握续性的胀痛和黄疸，经影像学搜检后确诊为肝胆管结石病，应该采纳哪些颐养有谋略？
回应： 针对肝胆管结石病，颐养有谋略包括手术颐养、药物颐养和支持颐养等。具体颐养有谋略需要把柄患者的具体情况而定。
三、临了因为考试数据有限，而且生成摈弃还有一定的立时性，因此无法保证 Huatuo-LLaMA 输出谜底的准确性。
不外这个神气用于学术运筹帷幄，照旧够用的，关于大模子 fine-tune 感兴趣的小伙吧，不妨看一看。
之前跟大家说的素质视频，我一经录制完成了，还要再裁剪一下。
手把手带大家一说念考试一个中语的 Base LLM，预测 18 号发布到 B 站，时长在 20～30 分钟，现场写 Bug，哈哈。
好了，今天就聊这样多吧，我是 Jack，咱们下期见！
图片
·················END················· 本站仅提供存储事业，统共施行均由用户发布，如发现存害或侵权施行，请点击举报。