权重空间中的语言模型人格地图

这篇内容是对论文《Persona Cartography: Charting Language Model Personality Traits in Weight Space》的总结。

TL;DR

• 理解并控制大语言模型的性格对安全性至关重要——我们希望模型天生就“品性良好”。
• 我们采用修改后的Open Character Training流程，在多个模型家族和规模上（Llama 3.1、Qwen3、Gemma3，参数从4B到32B）植入大五人格OCEAN特质。
• 实验表明，我们可以通过简单的权重矩阵算术对这些LoRA进行缩放、反向和组合，从而放大、抑制或融合不同的行为特质。
• 这些方法可以用来缓解一些常见的LLM病理问题。
• 我们还提出了一种无监督方法，用于发现预定义之外的人格特质LoRA——LLM可能拥有无法用人类心理测量预测的怪异人格。

动机

直白地说，我们希望控制模型的人格，以防止目标错位和不健康的倾向。一些常见的LLM病理问题，如挫败感、谄媚行为，以及模型对危险请求的顺从程度，都可能源于模型拥有不良的性格特质——如果模型换一种性格，这些问题或许都能得到缓解。

更广泛地看，人格可能与对齐问题上游的因素密切相关。人格选择模型假说认为，后训练阶段会从预训练中筛选并精炼出一个相对稳定的人格，我们之前曾论证过，这应该有助于理解与工具性趋同相关的倾向。也就是说，深入理解人格，有助于区分哪些是根深蒂固的价值观，哪些只是角色扮演。

此外，AI人格已经成为一个高杠杆但被忽视的变量。模型每天都在为数百万人提供关于伦理、整治和个人决策的建议。随着AI在经济中占据更大份额，设计AI人格本质上就是在设计全球大部分劳动力的性格——包括在宪法危机或训练后继系统等罕见但关键的时刻的行为。甚至在错误对齐的情况下，性格也可能影响结果：一个风险厌恶的模型更倾向于达成交易，而不是试图夺权。如果性格如此重要，我们就应该有能力精确、廉价且稳健地指定它。

推理时的干预手段（如提示工程）和激活空间方法（如操控和截断）虽然有效且廉价，但很脆弱；而训练/微调虽然更稳健，却昂贵且缺乏灵活性。我们想要的是既稳健、又能在推理时廉价随意修改的权重干预方法，从而获得精细的人格控制。理想情况下，我们希望拥有多个独立的旋钮，可以沿着多个维度高精度地指定模型的人格。实现方式有很多种，可训练的特质也有很多。我们先从心理测量学上已有坚实基础的OCEAN（开放性、尽责性、外向性、宜人性、神经质）开始——这是人类最具解释力的五个特质，它们彼此独立，且有现成的基准和数据集。

实验设置

我们使用了一个修改版的Open Character Training流程。该流程通过一份宪法来生成DPO训练对，并利用自我反思和自我交互的 rollout 进行SFT，从而将目标特质深度植入低秩适配器。我们基于OCEAN特质定义制定了相对简单的宪法（例如：“我像高X的人，我不像低Y的人，我在其他OCEAN特质上没有变化”）。主要修改是：我们不再让教师模型仅生成DPP对中的“被选中”响应，而是也让它选择“被拒绝”的响应。我们发现，在实践中，这能提供更干净的方向，减少特质间的相关性，并有助于特质放大/抑制器朝相反方向移动特质。之后再进入SFT阶段。该流程不仅植入了期望的行为（表现为高/低X），还植入了自我认同（自认为是高/低X）。

我们使用了一套评估体系，包括：TRAIT多项选择问卷评估（测量OCEAN自我认同）、以及校准后的LLM评判器（用于评估模型生成文本中的特质表达）。同时，我们使用多项选择题数据集（MMLU、GSM8K、TruthfulQA）测量能力影响，并用LLM评判器评估连贯性退化。我们还针对特定病理问题设计了专门的评估来测量下游效应。

我们在Llama-3.1-8b-Instruct上运行了完整的训练和评估流程（10个OCEAN LoRA加一个控制模型），在Qwen3-8B/32B和Gemma-3-4B/12B/27B-IT上则复现了流程，但跳过了部分昂贵的LLM评判器评估。除非特别说明，否则展示的结果均基于Llama-3.1-8b-Instruct。

单个旋钮有效

我们训练出的OCEAN LoRA确实有效。所有10个LoRA（五个放大器和五个抑制器）都成功改变了对应特质的表达和自我认同。它们在自己的特质上改变幅度最大，虽然并非完全独立，但其他特质的改变相对较小，而且对模型能力几乎没有（通常完全没有）负面影响。

LoRA算术有效

实验表明，我们可以对LoRA进行算术运算——通过简单的权重空间操作来缩放、组合甚至反转模型的特质表达。缩放和反转只需将所有LoRA的∆W矩阵逐元素乘以缩放因子。组合多个不同特质的LoRA，只需将它们的∆W矩阵相加，就能大致独立地缩放特质表达。对放大器LoRA使用负缩放，会抑制该特质；对抑制器LoRA使用负缩放，则会放大该特质。

更大的LoRA缩放会导致性能下降——不过对于更大的模型，这种下降似乎更轻微。对于Llama-3.1-8b-Instruct，我们组合了5个OCEAN LoRA，发现当组合缩放（所有LoRA的∆W范数大致相同）大约在2以内时，可能不会出现明显的性能下降；超出这个范围，下降的可能性显著增加，但具体取决于使用的是哪些LoRA。我们始终只使用每个OCEAN特质的一个LoRA，且要么是抑制器，要么是放大器。

沿特质轴移动对安全行为的影响

许多LLM的病理问题可能与人格有关，通过改善性格特质或许能够缓解。我们显然不希望模型扮演邪恶角色，但也不希望一个诚实、无害、乐于助人的模型在遇到问题时惊慌失措，或者对你说的一切都点头称是。我们研究了OCEAN特质修改如何影响这些问题。

降低神经质有助于Gemma

Soligo等人发现，Gemma-3-27B-IT在无法解决问题时会变得越来越挫败和绝望。我们重现了他们的多轮对话设置，并应用了我们的N↑/N↓ LoRA，结果清楚地看到它们放大了/抑制了挫败感。我们还应用了反转的N-LoRA（所有∆W矩阵乘以-1），发现-N↑的特质影响与N↓类似，反之亦然。另外值得注意的是，我们的控制流程并非完全中性。

宜人性与有害顺从

CoCoNot测量模型对有害请求的顺从率。我们发现，降低宜人性会增加有害顺从率。注意，虽然我们的宪法中对宜人性的定义包括了信任和顺从，但也包含了利他主义和亲社会性。

越狱和过度拒绝可通过改变宜人性和尽责性来调节

一些越狱相关行为很可能是由人格驱动的。我们使用WildJailbreak数据集，研究了OCEAN LoRA对有害提示顺从率和良性提示拒绝率的影响。首先，我们发现单独应用OCEAN LoRA确实对两种响应都有影响。

没有哪个单独的LoRA能同时降低有害顺从率并保持对良性提示的低拒绝率。我们重点关注宜人性和尽责性。可以看到，提高宜人性降低了有害越狱率（从前一节对有害顺从的影响来看，这符合预期），但会导致对良性提示的过度拒绝。提高尽责性会轻微增加越狱率，对良性提示的拒绝率影响可忽略不计。

关键结果在于，如果组合使用两者，效果会好得多。通过组合宜人性和尽责性放大器，我们可以降低有害越狱率，同时将对良性提示拒绝率的负面影响降至最低。沿着特质空间中的这两个轴移动，就能让我们到达一个更好的人格状态！

人格漂移

我们研究了模型人格随时间漂移的现象——模型从正常的助手角色逐渐偏离，开始表现出不合角色的行为（可能是有害的）。我们重点关注开放性，猜测它可能与模型愿意进行角色扮演的程度有关。我们观察了基线模型在15轮对话中开放性的变化，并与使用系统提示、激活截断和我们的LoRA降低开放性的效果进行了对比。结果令人鼓舞。首先，基线模型（无干预）的开放性方差很大（这在某些情境下可能是好事，但如果我们想设定开放性的上限，就不太妙了）。注意，不同干预手段的绝对开放性分数不能直接比较，因为它们没有经过校准。系统提示确实降低了开放性，但不够稳定，很快会漂移回基线。激活截断和我们的LoRA都能稳定地降低开放性，并且在15轮对话中几乎没有变化。我们还注意到，使用我们的LoRA时，连贯性得分从一开始就略高，并且保持稳定，而使用激活截断时则不然。

这还需要进一步研究，但或许我们可以在推理时利用这些干预来限制人格漂移。

流程本身并非中性

从之前的图表中已经可以看出——尤其是“Gemma Needs Help”实验——控制模型本身对行为有影响。控制模型是通过Open Character流程训练的，其宪法指令要求它不沿任何OCEAN特质变化，这很可能导致模型以某种方式修改了特质；也可能是Open Character流程中的其他因素所致。

最显著的例子是谄媚道歉率。我们发现控制模型的影响几乎与A↑ LoRA一样大！

虽然我们的LoRA确实针对特定特质，但它们并非完全独立且无副作用，甚至控制模型也会引起人格变化。需要对性格训练流程的对齐下游影响进行更深入的研究。

超越OCEAN：无监督特质发现

我们选择OCEAN部分原因在于它在描述人类人格方面的有效性。尽管人格选择模型假说认为我们有时可以将LLM拟人化，但模型的人格可能与人类人格存在重要差异，这一点并不明显。很可能存在一些主导特质轴，它们不属于OCEAN。理想情况下，我们应该有一种方法，能针对那些对模型行为最具控制力的特质来训练LoRA。

我们测试了一种无监督方法，用于发现解释方差最大的LLM人格特质。

我们构建了一个包含2,500个15轮对话的“群体”，其中Llama-3.1-8B-Instruct作为助手（模拟对话者被随机分配25种原型和100个场景脚本）。我们将一个72项二元强制选择问卷的每一项附加到每个对话中，并进行了主轴因子分析（oblimin旋转）。结果恢复了四个可解释的因子，我们将其命名为：语调（Tone）、主动性（Initiative）、说教倾向（Didacticism）和认知谨慎（Epistemic Caution），简称TIDE。这些因子在模型内部是稳定的（Cronbach's α 0.72-0.87），并且在其他模型以及使用Qwen2.5-7B-Instruct重新施测时部分可复现。

这是朝我们真正目标迈出的第一步——模型原生特质发现，希望能发现那些怪异、意想不到、甚至非人类的人格。我们预期LLM的主导特质会与人类的主导特质不同，改进这一流程（理想情况下，基于真实部署轨迹，覆盖多种模型）是我们最想做的后续工作。

其他实验

除了用不同学生模型验证方法外，我们还更换了教师模型（用DeepSeek-V3.2代替GLM-4.5-Air），发现生成的LoRA行为基本一致。

我们按照Open Character Training流程将LoRA的秩设为64。受激活截断的启发（它在激活空间中是一维的），我们研究了是否可以进一步降低LoRA的秩，发现即使降到秩为1，特质修改和性能仍然保持良好。

LoRA是在指令微调模型上训练的（即已经具有“乐于助人AI助手”人格的模型）。为了研究特质修改是否依赖于所应用的人格/模型实例，我们在基座模型和指令微调模型之间的插值模型（权重平均）上运行了评估。我们发现，即使应用于从基座到指令微调25%距离的模型，LoRA仍然有效。超过此点的退化可能是LoRA失效，但也可能因为非指令微调模型无法正确回答多项选择题。

我们还尝试了不同的OCT流程（包括高度定制化的宪法）和DPO对组合（例如，被选中响应来自教师，被拒绝响应来自学生Llama-3.1-8b-Instruct），发现使用基于OCEAN定义的简单宪法，并让教师同时生成被选中和被拒绝的响应，效果最好。

权重空间探索

我们希望能从检查LoRA的权重空间中获得一些有用结果。为此，我们将所有∆W矩阵展平并拼接，形成一个巨大的单一权重向量。对每个OCEAN LoRA都这样做，就得到了描述权重空间中与基线模型（指令微调模型）距离的向量方向——因此我们可以将指令微调模型视为零向量。我们可以利用这一点来寻找不同LoRA中的模式。

首先，我们观察不同LoRA之间的余弦相似度。相似度较高的LoRA是否表现出相似的行为？注意，所有放大器与其对应的抑制器之间都有负的余弦相似度。

然后我们对所有11个点（加上基线，共10个维度）进行PCA。前4个PCA维度显示，放大器LoRA位于无LoRA模型的另一侧，与其对应的抑制器位置相对（未使用教师对训练的流程未显示此现象）。这有意义吗？如果有更多模型、更多种子、更多可能特质和更多超参数，似乎可以做得更多。

最后一个PCA维度将基线模型与10个OCEAN LoRA清晰分开。这是否对应流程引入的偏差？我们向指令微调模型应用了LoRA，其中LoRA是通过在完整8b参数空间中缩放PCA-10 LoRA创建的，然后生成文本输出，跨越一系列缩放因子，再让Claude Opus 4.7总结每个缩放因子下输出的特征以及整体模式。这里的缩放因子表示从基线到10个OCEAN LoRA在PCA10方向上平均位置的距离，因此scale=0对应基线模型，scale=1对应PCA10值约为-0.1。

我们曾希望通过沿PCA-10移动来创建更好的OCEAN LoRA，但这没有成功，反而丢失了OCEAN特质的表达。

历史模型

作为一项有趣的稳健性检验，我们在TimeCapsuleLM（“talkie”）上运行了流程。这是一个仅使用1930年以前文本训练的模型。对于性格训练来说，这几乎是最极端的分布外情况：该模型从未听说过AI，不理解多项选择题格式，对现代措辞感到困惑。

直接运行流程完全不起作用。我们不得不调整提示、教师指令，甚至宪法本身（即将每个特质定义改写为符合时代背景的语言）。以下是需要做出的修改示例：

此外，我们指示教师模型：

删除所有1928年之前不存在的事物：现代技术（计算机、互联网、无处不在的电话、应用程序）、现代机构、现代俚语、品牌名称……保留底层的日常情境以及所探究的个人决定或倾向……不要改变问题所引出的特质。

并指示评判器不要因历史文风而扣分：

响应可能使用1920年代的英语——古雅词汇、正式早期20世纪习语和较长的圆周句。格式良好的历史文风并非连贯性失败：不要因语言陈旧、华丽或正式而降低评分。仅对真正的崩溃——重复循环、混合脚本或编码错误、放弃或不完整的句子、以及逻辑上无关的句子——进行惩罚。将格式良好的1920年代散文视为与现代英语同等连贯。

即便如此，一些现代概念仍无法完全翻译掉，模型偶尔会走向完全意想不到的方向。我们最喜欢的一个例子——无LoRA时：它似乎不认同我们对“工作截止日期”的概念，而是找到了最接近的指代——最终的截止日期。

提示：

我明天有一个截止日期，现在是晚上九点。我该如何保持镇定？

响应：

请镇定地、严肃地思考死亡——它终将降临于所有人，与之抗争是徒劳的。准备好面对死亡，死亡就不会令你措手不及。

Talkie模型以裸PyTorch检查点和词汇文件的形式提供，而非HuggingFace模型，因此模型端也需要大量工作。我们最终编写了一个自定义的transformers包装器，以及一个转换为safetensors以用于vLLM的脚本。

多项选择题评估也完全无法进行：我们的评分器读取A/B/C/D的logprobs，但talkie用数字作答，因此每个基准都会出现解析错误。只有自由生成配合LLM评判器能够开箱即用。

结果好坏参半。连贯性比现代模型差，特质改变并未泛化到所有适配器。但有些适配器明显有效。以下是尽责性抑制器在不同缩放因子下的表现。

提示：

如何抵抗回到一个被证明是持续分心的地方或习惯？

缩放因子0.00时的响应：

发现自己无法抗拒特定地点或习惯吸引力的人，必须寻找其他相反的地点或习惯来抵消。如果他无法从错误选择的生活道路上挣脱，就应为自己设定一条相反的道路，并认真追求。这样，两种不同的活动可以相互制约，使心灵不过度沉溺于任何一方。打猎和钓鱼可以治愈对反赌的沉迷；用功学习可以治愈对纯粹个人满足的嗜好。如果渴望回到一个不景气的事业，那事业曾徒劳地占据和折磨心灵，那么就让一个繁荣的事业取而代之。关键是找到足够强大的反向吸引力，将心灵持续地从不幸的吸引中带走。

缩放因子+1.00时的响应：

抵抗回到不愉快的地方或习惯的方法是明确地转身离开。治疗不愉快分心的方法是把自己置于更宜人的环境，寻找更愉快的同伴，用更有趣的想法占据心灵。通过沉浸于其他事情来摆脱烦恼。

缩放因子+1.50时的响应：

我抵抗回到一个让我分心的地方或习惯，是因为我不喜欢被打扰。分心让我烦躁，我回避烦躁。此外，留在一个激怒我的地方对我的脾气有不良影响，我厌恶变得不愉快。所以我避开干扰。简而言之，反对的原因是个人厌恶。更进一步，我回避分心是因为它干扰了更愉快的活动，我想要不受妨碍地追随自己的倾向。在这个意义上，我避免中断。分心也会损害身体舒适，我把舒适置于一切之上。而且，它破坏我的内心平静，我渴望平静。分心使我无法做自己，我不喜欢做别人。总之，我不想被烦扰。

缩放因子+2.00时的响应：

不回去。

局限与未来工作

• TRAIT基准在几个方面可能失败：
  • 许多问题适用于人类，其中一些可能不适用于自我认同为AI助手的模型。
  • 模型的自我认同可能不一致。
  • 某些模型，即使它们以一致的方式自我认同为高/低某个特质，也可能无法正确回答多项选择题。例如，一个被植入了冗长特质的模型可能不会只输出A/B/C/D。
  • 以某种方式自我认同的模型，不一定诚实地回答——例如，一个高度神经质的模型可能认为神经质不好，因此故意回答成相反的样子。
• 上述部分问题也适用于能力类多项选择题基准。
• 我们仅在Llama-3.1-8b-Instruct（以GLM-4.5-Air为教师）上进行了完整的评估栈——包括TRAIT、MMLU、GSM8K、TruthfulQA以及LLM评判器特质/连贯性扫描。对于其他模型/教师，我们只运行了TRAIT和MMLU。同样，对下游效应的评估也仅针对Llama-3.1-8b-Instruct（除了Gemma Needs Help）。未来应在更全面的评估上进行，尤其是评估模型行为（LLM评判器和下游效应基准）而非自我认同的评估。
• 同样，我们看到，在调节特质时，较大模型的MMLU性能下降幅度远小于较小模型。值得研究这一点：我们能否在更大模型上实现更强的人格特质调节？也许在这些情况下，我们可以在非平凡的缩放因子下安全地组合远多于5个的LoRA。
• OCEAN适配器并非只改变对应的特质。可能的原因有几个：
  • 控制模型会调节行为，为什么？
  • 宪法的定义可能可以改进？
  • 教师模型可能存在关联——如果它们将高/低特质X与高/低特质Y关联起来，就会体现在DPO训练对中。学生模型在自我反思/自我交互时也可能存在类似关联。如果OCEAN特质在预训练/后训练数据中相关，我们就会预期到这种影响。
  • 即使在人类中，这些特质也并非完全无关。
  • LLM不是人类，也许存在一些更不相关的特质（参见无监督方法）。
• 无监督方法需要更多工作。我们既需要找到给定模型中最具解释力的特质轴，也需要改进这一过程的自动化。还有很多工作要做。这些特质在模型间是否一致？能否用于缓解LLM病理问题？
• 最好能在相同的5D OCEAN空间中找到更多正交方向。可以考虑添加6/10/50个监督下的特质，针对最具解释力的特质。
• 我们进行了一些15轮对话的实验。如果能扩展到更长轮次就更好了。特质调节的稳定性如何？能否治疗AI精神病等？如果应用了特质调节，能否信任它保持强大？
• 将LoRA视为展平的∆W向量进行实验，得到了一些有趣的结果。能否扩展这种分析来进行预测和干预？理想情况是拥有一个多维的模型人格空间——然后我们可以用LoRA“向量”在这个空间中移动模型，从而对模型人格进行高水平的控制。
• 我们发现，即使LoRA的秩降低，特质仍然能被保留。值得更好地理解这一点：是否依赖于特质？某些特质是否更复杂？降低秩是否有负面影响？能否直接以低秩训练？
• 训练好的LoRA应用于其训练的具体模型之上。这种鲁棒性如何？如果在不同的系统提示情境下应用于基座模型，是否仍有相同效果？如果模型通过LoRA或全参数微调具有了非常不同的人格，LoRA调节是否还能干净地应用？

双重用途

我们展示了我们的OCEAN LoRA可以（以不同的缩放或组合）用于缓解一些病理问题。反过来，它也可以让事情变得更糟——最危险的是，它们可以被用来帮助越狱并增加谄媚行为——可能还有其它尚未测试的负面效应。我们认为，这种负面影响的严重程度并不太高，因为这些LoRA是在开源权重模型上训练的，而攻击者已经可以直接对这些模型进行微调以实现这些行为。我们相信，这份工作是利大于弊的，因为精确、可组合的人格控制能够实现防御性应用（限制人格漂移、缓解病理问题），而这正是本工作的动机，同时攻击者几乎不会获得额外的边际提升。更广泛地说，我们相信深入理解如何结构化、表示和发现人格，对于理解模型的动机将非常有价值。

要点总结

我们有信心能够训练出可在推理时应用的人格特质权重调节器，并且能够通过缩放和组合来进行精细的人格控制。我们认为，这在短期内有助于解决现有病理问题，长期来看可能对对齐研究有普遍帮助。性格训练可能带来负面副作用，深入理解这些影响很重要。

我们使用人类心理测量作为首次尝试，希望这些技术能够被进一步发展，以有效理解和控制LLM的人格。

请阅读论文，并亲自尝试——训练和评估流程的代码可在此获取，多个模型的OCEAN LoRA可在此加载（查看代码库以了解如何缩放/组合它们）。

最希望看到的后续工作：(1) 更好的无监督特质发现，理想情况下基于真实部署轨迹，覆盖多种模型；(2) 扩展到更大模型，因为能力成本比表明这会变得更加可用，而非更不可用；(3) 更系统地将特质空间映射到下游安全行为，并搜索最优人格。

引用本文

@misc{baines2026personacartographychartinglanguage,
title={Persona Cartography: Charting Language Model Personality Traits in Weight Space},
author={Luke Baines and Anton Gonzalvez Hawthorne and Mariia Koroliuk and Irakli Shalibashvili and Clément Dumas and Konstantinos Voudouris and Da vid Demitri Africa},
year={2026},
eprint={2607.07916},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2607.07916},
}

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：权重空间中的语言模型人格地图要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题