夸克健康大模子万字调研报告：透视主任医师级AI大脑背后的工程化

[db:作者]

（一）调研摘要
（二）推理数据情况特点
（三）推理数据产线一：冷启动数据与模子微调
（四）推理数据产线一：推理强化进修练习
（五）推理数据产线二：高质量不成考证数据集
（六）强化进修推理系统：高质量推理数据质量评价
（七）强化进修推理系统：多阶段练习

（一）调研摘要
第一，通用大模子才能虽快速增加，但要在高专业度的健康医疗范畴“炼成”性能高且牢靠的推理模子，仍极具应战。业界支流偏向早期由DeepSeek R1考证有用。当下，或蒸馏DeepSeek R1模子数据，或在小数据集上摸索较为常见；但是，在挑选合适预练习模子的根本上，重新设想并搭建整套流程，并用于营业一线，较为罕有。特别在健康医疗范畴，自建整套流程化系统，可以明白模子从哪些数据，以何种方式学到哪些常识，哪个环节学得欠好；不但进步性能，而且能进步可诠释度和信赖度。调研发现，夸克健康大模子间接支持搜索营业一线，并支持智能体夸克健康助手、夸克深度研讨产物（仅开放试用）。
第二，高质量的思考数据（Chain-of-Thought这标志着福建舰的电磁弹射和阻止接管才能根基成型了, CoT）合适作为鞭策模子构成强化进修推理范式的根本素材已是共鸣。强化进修经过“成果导向、进程摸索”的范式，可在练习中激起模子，也是共鸣。推理模子结果上限受制于多个与数据强耦合的技术节点。调研发现，夸克健康大模子团队以为：在已知方针成果（如诊断结论）的情况下，由于模子已经在实在医生的思考数据中进修到初步推理才能（高质量冷启动数据），再用强化进修方式有用激起模子摸索出多样的推理途径，从而自立找到最合适模子的推理途径，进一步拔高模子推理才能上限，在多阶段练习方式中特地设想出挑选优良数据的方式，进而与野生难以覆盖的部分配合尽力进步数据质量，可以极大减缓医疗数据野生标注的本钱。
调研发现，在后练习阶段，他们经心设想多种多阶段练习方式（可所以模子才能使命的多阶段，可所以病药术检使命别离展开的多阶段，可所以挑选数据的多阶段，也可以是练习方式的多阶段），与此同时，配合大量尝试，拔高模子进修才能的空间。夸克健康大模子团队对思考数据的观察、分析、挑选等操纵利用多品种型的模子，如考证器判定成果正确性，进程嘉奖模子和成果嘉奖数据评价推理质量，用多维度综合手段以提升可控性、可信度和专业度。
第三，追求推理模子结果持久提升的大志，必须落实于有耐心扶植进步数据与模子质量的“根本设备”。调研发现，夸克健康大模子团队的根本设备包括：
第一项，大范围（百万级）医学常识图谱，以及带有ICD编码的《夸克医学术语集（Quark Med OmnisCT）》。
第二项，推理数据生产线（下文称“数据产线”）。团队以为，破解困局需自建定制化产线，即构建一条满足“适配”“效力”，而非纯真“为了进步质量而进步质量”的产线。可将数据分为可考证数据与不成考证数据两种分歧范例，并设想两条平行的数据产线。该产线既产出高质量数据，也“同步产出”模子。端到端强化进修，既融入产线，也融入模子系统。
第三项，强化进修推理多阶段练习系统，在此根本之上，构成极致工程化。
调研发现，若想进步医疗推理模子的终极结果，需重视模子练习，更需要在数据产线上投入更多精神。从医疗认知的角度动身，来机关数据和使命方针，再按照数据范例和使命方针设想合适的多阶段练习方式。

（二）推理数据情况特点
临床思维是医生在面临患者时，经过有目标的提问、信息收集和逻辑推理，慢慢构成诊断和决议的焦点进程。若健康医疗大模子希望在临床场景中发挥代价，就必须“内化”推理框架。
在数据结构设想上，健康医疗推理数据采用三元组形式，三个要素别离是：
第一，题目（Question）；
第二，思考进程（Chain of Thought这标志着福建舰的电磁弹射和阻止接管才能根基成型了, CoT）；
第三，终极答案（Answer）。
“题目，思考进程，终极答案”下文简称“问思答”，同时含有这三种元素的数据称为“整组数据”。整组数据的代价在于，它不但要求模子可以得出正确答案，还要求其进程符合医学逻辑，可诠释，可信可复现。思考进程质量越高，模子越能表现其推理才能，进而支持高水平的可诠释性。“问思答”整组数据的获得本钱远高于普通问答数据，是焦点数据资产，若进一步引入时候序列等结构复杂性维度，机关难度将指数级上升。此外，医疗健康场景常存在“一题多解、途径多样”的特点，提出了更高难度的处理计划的需求。
1.题目（Question）
在健康医疗范畴，高质量提问激起模子高质量思考与回答。题目（Question）凡是陪伴对本身身材状态的自述信息，具有较强的高低文描写性与情境复原度。大概说题目（Question）是含有健康医疗布景情况与提醒词的完整题目，例如，常见题目包括：“我打喷嚏、流鼻涕、嗓子疼，并打仗过流感病人，该吃哪类药？”题目不单单是一句话，而是含有健康医疗布景情况与指令的结构化数据。此认知会影响进程嘉奖模子的设想。
调研发现，夸克健康大模子团队从题目（Question）起头，建立完整的标签系统。标签系统是将健康医学概念标准化、结构化的工程手段。正确利用概念是思维的根本，这就要求界说要清楚，内在要肯定，语境要明白。在医疗范畴，对概念的利用关系到对疾病的熟悉，进一步影响诊断与治疗（姚树坤《临床思维》）。
夸克健康大模子标签系统指的是，对每个问答样本中所触及的关键信息停止标准化、结构化的标注进程。一个可以被模子自力识别、带有明白健康寄义的最根基信息片断。
比如，医学实体：疾病称号（远极骨折），症状（移位、肿胀），治疗（石膏牢固），药物（非甾体抗炎药）等；
属性信息：规复周期（4周）等；
意图范例：暗示用户希望告竣的方针，健康征询、找药、挑选治疗计划等。
这一标签系统的构建根本来历于医疗问答平台的实在信息与夸克搜索引擎日志，经过自动术语提取、属性分类与意图识别等技术，将用户题目剖析为标准化的结构字段，终极构成标签框架。
调研发现，夸克搜索用时五年，沉淀近万万日活搜索日志、大范围（百万级）医学常识图谱，以及带有ICD编码的《夸克医学术语集（Quark Med OmnisCT）》，为标签系统与术语标准化供给根本。自然说话中的医学表达具有极强的多样性与模糊性，比如“冠芥蒂”“冠状动脉粥样软化心脏病”本质是同一种疾病，但表达分歧。利用标准术语集，可以将这些说话的分歧表达同一映照到唯一编码，确保模子的分歧了解，削减误判或信息丧失。同时，该标签系统支持结构化挑选。标签可作为“索引”大概“字段”，挪用特定标签子集，进步质量控制精度，比如，一级标签（用户意图），二级标签（药物治疗）。
别的，一方面标签需与医学指南与术语系统连结同步，支持条理化扩大，另一方面，假如标签系统数目仅百余，面临罕有病、亚专业细分场景就会左支右绌。是以，标签系统是题目（Question）多样性的根本，也是庞大数据细颗粒度的治理工具，间接决议了医疗健康大模子在持久演进中的上限。
2.思考（CoT）
模子不但看到病历和答案，还要进修“医生是若何思考并得出结论”的全进程，即“题目-思考进程-答案”（问思答）。而健康医疗常识自然有难易之分，思考（CoT）也应区分难易。引入分别难度的机关方式，使模子在练习进程中慢慢顺应和把握越来越难的医疗题目，告竣从简单到高难度的才能跃迁。调研发现，夸克健康大模子团队在此了解之上，机关“思考行动系统（Action）”，深入刻画和表达健康医疗独有的思维途径。该系统的提出，部分化决了持久以来困扰医疗大模子练习的关键题目之一——若何权衡思维进程质量。
仅靠给出终极答案没法判定模子能否真正了解，将思考进程拆解为可观察的“思考行动（Action）”——典型思考行动包括题目重述、常识回忆、题目深思、总结等——用于切确描写思考的每一步的具体行动，有助于领会思考链里的细节。别的，思考行动供给一种配合说话，方便拔高推理质量。比如，假定思考（CoT）难度越高，题目（Question）难度也越大，以此原则挑选有难度的思考数据，进而挑选出与思考进程配套的题目（Question）。
后续设想多种挑选机制，会鄙人文中先容。
3.终极答案（Answer）
由答案范例动手，将数据分为可考证数据与不成考证数据两种分歧范例，它们在获得、挑选等方面存在明显差别，需分隔会商。
第一类，可考证类的答案，相对简洁，凡是为医学实体或明白判定。对于可考证的答案（Answer），用考证器模子（Verifier）与标准答案（Groundtruth）停止比对判定。
第二类，对于不成考证使命，如医疗倡议、健康科普等长文本，内容面广，说话多变，逻辑各不不异，标准答案（Groundtruth）难以唯一。仅凭嘉奖模子对单一维度打分，没法完全捕捉医学语境下的细致与专业；需要经过对正确性、完整性、公道性别离建立偏好嘉奖模子打分，并根据分数挑选数据与反应，或利用法则、考证器与嘉奖模子协同发挥感化。
还有，健康医疗无思考数据，这类没有思考进程的数据，有两种处置方式：
第一，以多科室全职专业医生团队邃密标注的方式，机关正确、威望、复杂健康医疗内容问答集等高质量数据，或团队全员标注。野生标注可在早期数据资产窘蹙时，快速补充“粮草”。
第二，用SOTA说话模子对题目（Question）天生候选答案，这类数占有助于填补多范畴常识，提升练习模子问答水平（逻辑性、周全性），可低本钱高效获得。
停止今朝，上文提到的所稀有据品种，都可以用嘉奖模子来挑选高质量数据。嘉奖模子既是强化进修的算法组件，又是挑选数据的工具。
综上，调研组以为：陪伴强化进修技术在模子推理才能上的助力，全部推理微调与强化进修系统的极致工程化会成为进步壁垒的新合作。
两条平行数据产线慢慢关键练习流程为：
推理数据产线一（可考证）
第一步，冷启动数据；
第二步，冷启动模子微调；
第三步，推理强化进修；
第四步，可考证数据蒸馏；
第五步，高质量可考证数据集。
推理数据产线二（不成考证）
第一步，不成考证数据蒸馏；
第二步，高质量不成考证数据集。

（三）推理数据产线一：冷启动数据与模子微调
冷启动数据需要专业医生精准标注，为后续强化进修阶段供给稳定起点，避免从一路头就带来“紊乱”。机关冷启动数据，利用SOTA说话模子天生高质量问和答及完整推理链（即思考进程），再由职业医师逐字逐句逐条校验，确保健康常识与威望分歧；考证医学究竟、诊疗论证逻辑和倡议的公道性，确保逻辑牢靠、无风险；同时，数据团队确保输出按一定的格式，格式便于合适后续嘉奖模子评价标准。
调研发现，夸克健康大模子团队对冷启动数据质量赐与极高重视。缘由在于，冷启动阶段的数据，模子此前从没“见过”。一旦引入逻辑毛病，后续会持续出错，构成“早期净化”；同时，强化进修会进一步放大毛病，且用进程嘉奖模子识别和批改，本钱高昂。不如图难于易地处置。团队曾蒙受经验，后被医学专家指出时才得以重视。
调研发现，夸克健康大模子团队采用未经任何下流微调的预练习模子为起点，完全避免利用已经经过某一类使命微调过的模子，会对医疗范畴模子起步发生的干扰。他们以为，当预练习的模子接近于“空缺”初始状态，模子数据散布的多样性强，信息熵大，后续进步空间大。
他们观察到，此阶段模子展现出一定的顺应性：
第一种，当健康状态信息不完整时，模子会先罗列与现有症状相关的多种疾病，再自动推演能够缺失的症状或风险身分，用以补齐证据链后再做判定。
第二种，当输入包括高度特异的关键体征时，模子首先锁定具有明显辨别力的候选疾病品种，随后用其他症状停止核对，快速完成推理。
这类现象的存在，说明模子能按照“题干与题面”静态应用分歧思考方式，而非呆板套用牢固答题模板。即使在冷启动阶段，模子已具有一定的初步推理行为才能（捉住焦点，思考途径肯定），为后续工作供给了可观察的根据。这类观察属于捕捉到“推理的早期醒觉机制”，增加对模子推理的了解。

（四）推理数据产线一：推理强化进修练习
调研发现，推理数据产线中用强化进修方式练习，获得一个才能上限极高的推理模子是焦点，后续需要对该模子停止蒸馏，所以，拔高该模子性能是全部系统最考验模子缔造力的阶段，练习时候最长，资本投入最大。这条推理数据产线同时也被称为“可考证数据产线”。
本阶段练习样本，可按此五类分别：根本常识、疾病诊断、手术、药物药品、检验检查。这五类数据均具有明白的医疗语义，可以按五类使命分别考证器模子，或多使命组合建模，或一切使命同一模子，具有高度灵活性。对于可考证的答案，用考证器模子（Verifier）与标准答案（Groundtruth）停止比对判定，间接且稳定。为战略模子供给清楚监视信号，指导其向更高正确性的回答进步。
别的，也可以在机关高难度“题目”的同机会关高难度的“思考”。在已有医朝气关的病例数据中，拔取结构完整、信息丰富的住院病例作为根本材料；针对这些病例中已有的答案，去除部分“泄题”性描写，即那些间接流露终极关键结论的信息；保存对结论有关键参考代价，但不间接指向答案的症状、体征、检查成果等内容。高难度问答数据特征之一是，需多步推理才能得出结论。
调研发现，在该产线阶段，以激起健康医学常识应用为方针，提升回答成果的多样性与覆盖度，增强其对题目潜伏解空间的摸索才能。在强化进修阶段，战略模子履行几十次输出采样（比如，每题天生50个候选回答），前期尝试证实，这一采样战略有用拓展了战略模子的行为空间，明显提升了回答成果的多样性与覆盖度，增强了其对题目（Question）潜伏解空间的摸索才能。每轮迭代中同步产出阶段性最优的战略模子与考证器。战略模子设想为同一模子，不依靠使命范例切换。
为了拔高进修潜力，战略模子于百万次摸索，在输出的数据中挑选有难度的数据，一轮一轮进步挑选数据的难度。这类“挑选一次困难数据，进步一次模子做困难的才能”的方式，源源不竭供给给模子充足好、充足难的数据，用数据质量的提升逼近模子才能的上限。前期尝试证实，这一采样战略有用拓展了战略模子的行为空间。
从推理数据产线一（可考证）中产出阶段性最优的战略模子，对其停止数据蒸馏（题目，思考进程，答案）。可以以为，获得该阶段战略模子的目标是为了获得可考证的高质量数据。现有高质量战略模子，再经过数据蒸馏，获得高质量可考证数据集，进而用数据来迁移其医学推理才能。

（五）推理数据产线二：高质量不成考证数据集

首先，高质量不成考证数据集的原始思考数据是经过数据蒸馏而来。不成考证数据所用题目（Question）来历于医生检查过的高质量题目、医学论坛提问、夸克搜索日志，指导模子天生具有思维进程的答案输出，具体方式是对SOTA说话模子（OpenAI O3和DeepSeek R1）停止数据蒸馏，显式引入思维进程数据。同时，此类数据的机关需要保障数据在表达多样性与推理复杂度上的平衡散布。
其次，用偏好嘉奖模子挑选不成考证类答案（Answer）。由于该范例数据凡是为长文本（语义复杂、表达多样），标准答案不唯一。此外，人类打分轻易遭到个体差别、打分标准纷歧影响，致使稳定性和可复现性差，是以可以采用强化进修中的偏勤进修的方式。不成考证题目较为开放，可包括周全性、无害性、相关性、逻辑性、正确性等多个方面。是以，需引入多个维度的偏好模子对答案停止打分。其中每个嘉奖模子关注的角度分歧（正确性、有用性），采用偏序建模方式输出判定信号，挑选出质量最优的答案作为终极输出或用于后续练习反应信号。经过上述多轮挑选，获得下一阶段数据。终极构成“具应战性且质量优异”的思考进程数据样本集。
别的，也有一些方式同时适用于可考证和不成考证数据。比如，经过挑选答案，间接挑选正确的整组“问思答”数据；以“终极答案”的正确性作为题目（Question）挑选权衡标准，对应的思考数据仅在答案正确时予以保存，答案毛病则整组“问思答”数据取消；进而构成“正确答案样本集”。
综上，为了挑选高质量数据（可考证与不成考证），利用多品种型的组件：考证器、偏好嘉奖模子、进程嘉奖模子。健康医疗范畴还有一个特点题目——“多解、多途径”题目。调研发现，夸克健康大模子团队对此高度重视，提出了一套针对性方式。

（六）高质量推理数据质量评价
健康医疗中“多解、多途径”题目，可概括为：同一不完整描写的症状，能够对应多种疾病（比如，仅把发热作为主线索，可触及几十种甚至上百种疾病，辨别诊断时，按照主线索围绕3-5个疾病展开为好）；诊疗计划有多种公道挑选，分歧医生可根据分歧线索和特征得出多种不不异，但均具有公道性的结论。
模子天生不在预设正确答案调集合的内容，这类输出并不意味着毛病，反而能够是高质量、有代价的补充信息，应赐与正向嘉奖。也就是说，对于那些虽未出现在标准答案中、但具有积极意义的成果，可以归为“增益型”（nice-to-have）成果，亦应识别其代价，并赐与响应评价分数，激励模子输出更周全、富有启发的答案。
因而，在推理模子的练习进程中，需要既可以判定正确答案（考证器），又能处置模子偶然天生的不在预设正确答案调集合的内容（天生式模子）。这类多个解法、多种途径带来的开放性和不肯定性，使得练习数据中的答案不能被作为唯一评判根据，这样会发生错判大概没法捕捉到细节嘉奖信号。
健康医疗中的“多解、多途径”题目，特别值得留意的是，即使已经获得一个答案，也存在殊途同归的情况，答案的背后存在多个推理的思考途径（CoT），且有黑白之分。在医疗的标准性、信赖度、可诠释性的要求下，需要更好的途径，更多维度的嘉奖，激励模子具有构成高质量诊疗思考进程的才能。是以，需要从“推理进程公道性”与“成果质量”两个维度配合考量。
第一，若何设想针对终极答案（Answer）的成果嘉奖模子（ORM）？
调研发现，由于强化进修进程中嘉奖模子的计较本钱也是一个重要的开销，不能完全依靠模子，需要设想分歧范例的嘉奖组件（基于法则的考证器、参数范围巨细分歧的模子），甚至部分嘉奖信号可以完全基于法则，以此低本钱地拓展模子才能鸿沟，而不需要野生标注。
对于明白的唯一的答案（比如诊断成果是某种疾病）设想基于法则的考证器，用于评价战略模子输出的答案质量，相当于法则打分器。该考证器需要利用预构建的百万数目级ICD编码医疗术语集，停止结构化比对与类似度评价。需要留意的是，术语集是为每一个医学概念供给唯一编码，并界说其语义内在、属性特征以及与其他概念的结构关系的重要工具。
具体而言，设想三类法则来评价战略模子输出内容与医学常识系统的分歧性：
1.途径类似度：权衡战略模子输出中的实体在常识图谱中相对于方针概念的途径接近水平；
2.图结构类似度：基于医学实体之间的间隔关系，怀抱其在常识图谱的图结构中的语义接近水平；
3.术语类似度：经过度析称号及其属性信息的婚配度，判定两个术语在说话层面的类似性。
三类类似度目标依照加权方式停止融合，并经归一化处置，输出一个综合得分，作为终极的考证评分。
考证流程以下：首先将战略模子输出的医学答案剖析为多少具有语义意义的原子实体（如“上呼吸道传染”被拆分为“上呼吸道”（部位）与“传染”（形状学改变）。每个原子实体映照到ICD术语集合，获得对应编码。随后，计较这些原子实体与常识图谱中标准概念之间的类似度，只要肆意一个原子实体射中，即可获得部分得分，进一步提升评价的宽大性。终极得分作为嘉奖信号反应至战略模子，指导其优化天生战略。
现真相况中，病药术检的部分使命有明白答案标签，部分使命无明白答案标签，比如多解、多能够性解，还需要对答案的整体性停止评价嘉奖，这部分采用天生式嘉奖模子。
因而，设想嘉奖系统X Clinical Judge的时辰，需要斟酌将两种情况都覆盖，用SOTA模子帮助野生构建打分示例数据，用该数据教会考证器和嘉奖模子打分逻辑。
对于有答案标签的题目，除利用SOTA说话模子的输出作为评分参考外，还可操纵标签练习成果考证器（Verifier），判定战略模子输出与标准答案的分歧性。由于答案标签的获得本钱较高，所以，对于无答案标签范例的题目，采用SOTA说话模子（比如，DeepSeek R1）天生评分与简短评价，作为成果嘉奖模子练习所用的打分示例数据。两类数据融合练习，获得利用一套同享参数的天生式评分模子。嘉奖模子输出包括两个关键维度的评分红果——正确性分数与周全性分数，并配有简洁明白的说话评价，用于支持模子输出质量的可诠释性。战略模子据此调剂天生战略。终极，成果嘉奖模子在医疗多解、多途径的题目里，做出可信、可诠释的评价。
第二，若何设想“思考进程”嘉奖模子（PRM）？
固然，模子不但要“答（Answer）对题”，还很是需要“讲清楚思绪（CoT）”。但是，缺少现成答案标签，没法间接监视练习进程嘉奖模子。
调研发现，团队采纳了野生提炼思维形式设想提醒词的方式机关练习数据，从而练习“进程嘉奖模子”冲破难点。
首先，医学专家阅读大量模子输出样本，按照临床思维，提炼出多少类“思考方式”（比如解除法、反推法等），而且明白区分病药术检每种使命进程中关键的推理方式。把这些分歧范例的思维形式总结为说话模板（Prompt），输入给SOTA说话模子，获得对“思考进程”的打分数据（含简短笔墨评价），用于练习进程嘉奖模子。再用进程嘉奖模子对思考数据符合医学逻辑、结构清楚、信息完整的水平打分，并天生相关笔墨批评，本质是让该模子学会评价质量。这些数据不会被用于间接微调战略模子产出终极答案的才能，以确保进程嘉奖模子评价的自力性。
进程嘉奖模子和答案考证器练习终了后，投入利用。
首先，在强化进修进程中，对同一个题目（Question），战略模子每次给出多组“思考（CoT）+终极答案（Answer）”后，利用进程嘉奖模子和答案考证器会别离对“思考+答案”停止两个维度的（公道性与答案正确性）打分，加权计较以后，得出一个综合评分。
其次，这一方式也可以在数据挑选进程中，夸大“思考进程应支持成果”的分歧性原则。假如模子依照思维指导，正确完成了思考进程，但终极天生的答案仍然毛病，则视为思维与成果逻辑断裂，此类样本将被剔除，或改写为合适分歧性原则的样本再停止利用。
在分歧范例的医疗使命中，“答案的决议性”与“思考进程的重要性”所占比重分歧，所以“思考（CoT）”和“终极答案（Answer）”的评分在综合打分中应赋予分歧权重。
终极，利用GRPO算法，操纵多组采样及其综合嘉奖，用于计较战略上风（Advantage），再经过战略梯度优化战略模子参数，从而提升模子在复杂医疗使命中产出清楚推理链条的才能。在练习进程中，战略模子会越来越偏向于输出有条理、有根据、有医学常识支持的思考进程和诊疗倡议，从而具有类似高水平医生的推理才能，而不是“拍脑门”的猜答案。
别的，引入分歧性考证器模子，对思考途径与终极答案之间的分歧性停止二次校验。模子能够经过偶然或非健康医疗标准途径得出正确结论，假如此类情况在练习中被毛病地赋予嘉奖信号，持久而言，这将严重侵扰模子推理才能的构成。
第三，匹敌“做弊”。
在练习进程中，战略模子会操纵法则缝隙“做弊”（hacking），比如，天生结构表达上公道文雅，但本质毛病或欺骗性的回答。一旦这类回答没有被正确识别，战略模子将延续朝毛病偏向优化，致使资本浪费，且模子才能没法获得本色提升。对此，介入方式是野生标注负面案例，补充样本，迭代练习考证器。即发现分歧做弊手段并有针对性迭代，随着考证器的改良，模子做弊空间被慢慢紧缩。
做弊现象包括，但不限于：
第一种，模子在简单使命上“快答”，即间接输出结论，无推理进程，继而在复杂使命上相沿一样战略。
第二种，模子为获得高分，反复高评分答案或在同一答复中屡次夸大同一结论，以最大化累计嘉奖。
第三种，模子输出看似公道，但究竟性毛病的答案，比如，并不存在的疾病。这类毛病常常不易被没有医学专业布景的普通用户发觉，但在专业医生审阅下会立即表露。在健康场景下，具有较高风险隐患。
调研发现，强化进修练习进程早期，不宜引入过量复杂评判，需供给结构清楚、判定标准单一的参照信号，避免战略模子在尚未稳按时被复杂标准干扰，走偏优化偏向。

（七）强化进修推理系统：多阶段练习

当模子在此处微调，会有一个较高的起点，缘由是微调采用的数据已经过精巧设想（多个阶段的多轮迭代与挑选）。同时，在全部数据产线中，模子和数据并没有紧缩与现实天下有关的多范畴通用常识，在这一阶段增加此类通用数据，使得模子处置题目标才能更周全，更具有处理现实健康与医疗题目和状态的才能。
健康需求是一种低频刚需，此类产物的用户凡是是有健康需求，或处于健康困扰中。模子回答不但需确保正确性与专业性，更应表现出适度的感情关切，避免因措辞不妥激发用户焦虑。
是以，需要偏好嘉奖模子对齐气概，方式是先练习嘉奖模子，挑选基于“成对照力样本练习机制（Pairwise）”，进修相对偏好。模子在推理阶段自力地对单个回答给出打分（Pointwise），持续打分，而非分类成果。随后，嘉奖模子输出天生一个持续实数作为质量评分，用于指导战略模子更新偏向。
再次引入数据产线一阶段的考证器，该考证器来历于前一阶段数据产线中的强化进修阶段，具有标准答案或判定例则。此处的再考证，用于避免战略模子经过量阶段的练习后发生忘记，该步调在健康医疗范畴特别重要。该练习阶段采用夹杂练习的方式，偏好嘉奖模子（RLHF）和考证器补充检验（RLVR），两者配合保障了战略模子才能迭代增加的同时，对医学使命标准性与推理逻辑的持久连结与强化。
综上，夸克健康大模子团队，利用两条平行数据产线产出的高质量练习数据，连系多阶段练习方式，获得具有一定推理才能与牢靠性的健康医疗推理模子。
（完）
附录