人前 露出 移动通讯范围有了新SOTA：华为出品，精确忖度用户行为

华为GTS部门AI算法团队 投稿人前 露出

量子位 | 公众号 QbitAI

有益惩办电信行业用户行为建模的费劲。

华为GTS部门AI算法团队提议GTS-LUM，杀青移动通讯用户精确行为洞析与多跳忖度，实验中后果大幅优于Meta的HSTU和字节的HLLM。

GTS-LUM，全称Global Technical Service-Large User Model，主要有以下几个革命点：

基于海量用户行为序列数据自监督、多模异构Encoder-Adapter-LLM Decoder架构、Q-former语义空间和业务空间学问对皆、革命多圭臬时序处理机制、多用户运营场景后检修、精确捕捉用户业务级浅层语义。

实验中，在通盘评估接头上均权贵优于基线模子，拿下范围新SOTA。

以下是更多细节。

GTS-LUM门径判辨

跟着电信商场渗入率趋近充足，存量用户价值挖掘与用户留存成为运营商中枢策略。

电信用户在网行为产生的海量数据（日均PB级）成为一种新式数据模态。

以往，运营商借助传统机器学习的门径学惯用户行为，但受制于模子体量，忖度精度上的瓶颈日益隆起。而不同于训诲的互联网推选场景下的用户行为建模，电信场景的额外性体目下：

麻豆足交

用户的长周期决策机制

电信办事手脚社会基础门径具备强一语气型需求，导致用户决策呈现长周期特征。

用户要道决策行为（如套餐变更、携号转网）更多受永远办事体验动手（如收集涌现性、资费合感性等），与互联网场景的短期兴趣动手机制酿本钱质互异。

该决策特征使得传统序列建模门径中基于近期行为的采样策略靠近挑战，径直应用可能导致要道历史信息丢失，亏蚀忖度精度。

多模异构数据特色人前 露出

与互联网场景中常见的以历史用户-商品交互序列为基础，忖度用户下一段时期内的商品交互为方向不同，电信用户的数据输入与忖度方向有彰着的异质本性，体目下：

行为打点种种性：包含用户-用户/家具/位置/渠说念/网元交互等信息；时期粒度档次性：包含秒级（确乎时信令）、日级（如业务办理）、月级（如账单）等多个圭臬；方向异质性：包含用户流失预警、套餐升级忖度、营销反映建模等多运营任务。

这种复杂性使得现存期间靠近几个瓶颈：

1、跨时期圭臬建模不及：现时序列建模门径枯竭有用的时期处理机制，以捕捉用户跨日、周、月等多时期圭臬下用户的永远行为演化形状；

2、多模异构数据表征局限：现时互联网推选期间常借助商品的文本刻画，难以充分哄骗电信范围异构数据模态丰富的特色强化用户表征材干，径直应用存在异构空间对皆问题；

3、方向分离严重：电信范围现存有接头频频对流失预警、套餐升级忖度等运营任务落寞建模，服从低下，繁重融合模子架构提真金不怕火和方向愈加有用关联的用户表征。

由此，华为GTS部门AI算法团队提议了GTS-LUM。

GTS-LUM期间架构如下图所示：

多圭臬时序处理机制

GTS-LUM基于多层级时期鉴识交融语义策略，通过构建“时段-周期”语义刻画优化用户行为序列建模。

具体而言，基础层级将逐日鉴识为多少典型时期区间（如早岑岭、午间时段等）；并在周期层级重叠责任日/周末的周级维度特征，酿成对用户行为发闯祸件的复合语义刻画。然后将用户行为按照指定时期切片范围进行处理汇注。

针对归并时期切片的用户行为，组织序列时，在肇端端镶嵌对应的时段-周期语义刻画，并在序列末端添加额外分隔符[SEP]手脚行为片断的界限符号。

该设想通过粗粒度业务时期特征与细粒度行为位置关系的协同建模，酿成具巧合期感知材干的用户行为序列。

多模异构框架

GTS-LUM构建了多模态协同的用户行为镶嵌框架，精确捕捉用户业务级浅层语义。

在语义特征维度，通过任一时期切片内对用户和家具/位置/渠说念的交互行为进行处理汇注得到“一句话”刻画，然后基于预检修讲话模子得回文本向量镶嵌，并在语义空间现实谱聚类，从而提真金不怕火可说明的行为语义编码。

在业务特征维度，选拔Node2Vec算法对用户-用户交互等图数据以及TableGPT2框架对末端成立、地舆位置等属性维表进行处理，生成多模态业务镶嵌向量。

本门径的中枢革命在于引入了基于Q-Former适配器的跨模态对皆机制：

通过交叉耀看法层自动筛选与现时语义最干系的多模态业务特征，并借助分享的自耀看法层构建业务特征空间和语义空间的潜在映射关系，终末通过对比学习任求杀青跨模态学问对皆。

值得明慧的是，论文中革命性地为Q-Former引入了独特检修任务，包括序列片断-文本匹配、序列片断-文本对比学习和序列片断-文本生成，使其兼具多模态对皆器与用户永远兴趣压缩器的双重功能。

方向感知建模

GTS-LUM进一步优化了用户表征学习流程，通过方向感知建模隆起了与任务场景最干系的历史行为。

不同于传统推选模子的方向后置范式，GTS-LUM将忖度标签前置于行为序列肇端位置，哄骗LLM的因果耀看法机制杀青双阶段优化：

在耀看法计较阶段，方向标签手脚先验条目动态诊治历史行为的耀看法权重散布；在表征生成阶段，基于Decoder的自归来架构杀青渐进式特征优化，通过多步解码流程迭代诊治用户表征向量。

工业级考证后果

在某省级运营商真确场景中，录取20w把握用户数据量在Ascend 910B2 NPU上进行检修和推理，实验扫尾涌现GTS-LUM施展亮眼。

GTS-LUM与业界有接头对比如下：

GTS-LUM在通盘评估接头上均权贵优于基线模子。

扫尾标明，尽管典型推选模子在实验室数据中施展高超，但在具有范围特定复杂性的工业级数据集上会出现权贵的性能着落。

具体而言，GTS-LUM比拟Meta@HSTU有接头平均普及107.86%，比拟ByteDance@HLLM有接头普及31.38%，这些更正突显了交融多模态输入的蹙迫性，以及将绽放全国学问与特定业务学问对皆的必要性。

更多实验扫尾，请参阅论文。

GitHub连续：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf

— 完 —

量子位 QbitAI · 头条号

选藏咱们人前 露出，第一时期获知前沿科技动态签约