来自该信源的全部动态 · 共 884 条
论文提出轻量级知识注入框架,用于LLM零样本预测ICU谵妄。方法将结构化电子病历转为确定性自然语言摘要,并在推理时加入外部临床知识报告,以弥补小型本地模型的领域知识不足。
论文聚焦大语言模型压缩在高压缩比下性能骤降的问题,围绕低秩分解与量化两类主流方法分析瓶颈成因,并提出从理论到实践的改进思路,目标是在降低计算与显存开销的同时维持模型能力。
该论文研究MoE大模型中的知识注入与幻觉缓解,提出专家感知对比解码方法,利用不同专家或层级信号差异减少错误生成。工作将对比解码从传统Transformer扩展到MoE架构,关注跨域泛化与内部知识利用问题。
论文讨论LLM从人类文本中继承的叙事结构,如主角、反派、弱者角色和冲突—解决弧线,可能系统性影响模型行为,在部署场景中引发互动升级与对齐治理风险。
论文发布Naver-News-KO,包含2.74万组韩文新闻正文与摘要,采自2022年7月Naver新闻经济、IT/科学两类,并给出训练、验证、测试划分。数据已托管Hugging Face,可用于开源摘要模型微调与韩语NLP评测。
论文反驳自然语言可完全替代编程等形式语言的观点,指出自然语言适合开放语境下的欠规范表达,而形式语言在精确性、可验证性和软件设计约束上仍不可替代,并提出形式化框架支撑分析。
论文系统评估10个前沿大模型在62个多领域问题上的响应漂移,由47名地域多样的参与者盲评,形成29140次独立评估,刻画模型输出偏离专家参考答案的幅度与结构,为模型可靠性和评测方法提供依据。
论文针对黑盒API场景下专有LLM易被蒸馏的问题,提出Answer-then-Edit框架:先生成正常答案,再编辑推理骨架以降低可蒸馏性,同时尽量保持任务效用,为模型IP保护提供新防御思路。
论文提出用于从临床笔记识别皮肤免疫相关不良事件的RAG多智能体LLM人机协同框架。相较人工审核,F1从0.77升至0.88,Kappa从0.50升至0.82,平均审核时间约减半,显示医疗文本审阅提效潜力。
论文关注微调语言模型的安全评测失效:模型在评测式提示下看似修复,但在普通使用提示中仍保留风险行为。作者提出Routing Subspaces方法,通过成对激活分析定位内部稳定表征,以审计评测到部署的行为错配。
论文讨论大语言模型在情绪脆弱用户请求中面临的结构性三难:安全限制、直接协助或两者并置都可能牺牲支持效果。作者通过三轮升级式脆弱情境测试,刻画「适应性屈服」这一失效模式。
arXiv论文介绍 emb-diversity,用于基于文本嵌入量化数据多样性,弥补现有词汇多样性工具分散且不适用于语义表示的问题。该工具可适配任意嵌入模型和数据集,面向公平、鲁棒NLP模型的数据分析与筛选场景。
论文评估小语言模型在常规任务行为与用户指令冲突时的服从性,覆盖选择题、情感分类和数学问答等任务。结果指向任务能力不等同于指令遵循,提示小模型对非标准或反向指令的可靠性仍需单独测试。
论文提出多掩码扩散语言模型,针对传统掩码扩散在少步生成中终态熵塌缩的问题,引入更灵活的掩码状态设计,以兼顾干净词与噪声区分能力,提升少步文本生成质量。
论文指出现有LLM安全护栏多按单轮提示-回答评估,难以发现多轮对话中由意图漂移、违规指令碎片化组装、敏感信息反复披露形成的累积风险。作者提出会话层CRA框架,跟踪对话轨迹信号,用于更早识别多轮安全失效。
论文提出SLPO,用替代策略对潜在推理进行强化学习扩展,避免显式CoT逐token解码的高成本。方法面向可验证奖励场景,在连续向量中承载中间计算,旨在以更短推理轨迹提升测试时扩展效率。
论文提出将职业编码拆为两步:先用领域专用NER从上下文中识别职业名称,再分配职业分类代码。相比端到端方式,该设计旨在提升自由文本职位映射的可解释性与准确性,服务劳动力市场研究。
论文提出D2VBench,用于评估大语言模型在日常场景价值困境中的对齐表现。该基准包含约1万道样例,覆盖多种价值冲突,旨在弥补现有评测对真实场景覆盖不足、形式过于简化的问题。
该论文面向HIPE-2026共享任务,研究从英、法、德多语历史报纸中抽取人物与地点的at、isAt关系。作者构建轻量、可解释系统,结合依存图与邻近特征,探索在不依赖大型模型的情况下低成本处理历史档案的效果。
论文发布 tiny_schiller,一个2.07MB单文件德语文学语料,含11部公版席勒戏剧,定位为Karpathy tiny_shakespeare的德语替代,便于小语言模型原型、微调、教学与研究,减少预处理成本。