【CICC原创】大模型在兵力推荐中的应用与思考

随着以美国为首的军事强国武器装备的飞速发展，观察-判断-决策-行动(observe, orient, decide, act, OODA)环的时间不断压缩，促生出更加灵活多样的作战样式，从而推动当前战争进入以智能决策、体系对抗、联合火力运用等为主要作战样式的信息化、智能化战争时代[1]。现代战争中，目标打击方案是指挥控制系统支撑指挥员进行科学决策的重要内容，也是消灭对方抵抗力量、破击敌方防御体系的主要依据[2]。

目标打击方案筹划的核心是兵力资源推荐，也可称为兵力推荐，是指通过一定的方法为打击目标选择有效的兵力资源，从而使目标达到预期打击效果。面对复杂多变的战场态势、有限决策时间窗口带来的挑战，提升目标打击方案筹划效果的关键是智能决策能力，增强目标打击能力的支点在于目标与兵力资源数据，其突破点在于兵力资源的智能化推荐[3]，即利用人工智能技术深度挖掘目标与兵力资源数据，从而辅助指挥员作出更加合理的目标打击决策方案。

当前人工智能技术的前沿聚焦于大语言模型（large language models，LLMs）领域，其中，以ChatGPT为典型代表。LLMs将海量数据输入具有大量参数的模型中，利用这些参数实现数据信息的深层联结，最终涌现出优秀的逻辑推理能力与决策分析能力，从而在不同任务的智能系统中表现出良好的适应性和泛化能力[4]。借助流畅的语言生成能力、广泛的场景适应能力、通达全领域的知识覆盖能力和通畅的人机交互能力，LLMs为传统决策范式带来颠覆性的影响，正在推动决策范式从计算决策向智能决策的转变[5]。

在兵力推荐领域[6]，LLMs可作为推荐决策的重要支撑手段。利用其强大的理解能力及推理能力，可充分发挥海量信息挖掘以及知识精准匹配的优势，支持并增强兵力推荐过程，提高推荐结果的质量。同时，使得兵力推荐过程更加智能高效，从而帮助指挥员形成更加精准、更有信息依据的决策。

在推动军事发展的众多因素中，科学技术是其中最具革命性的因素，科技的进步不断引发战争形态与作战方式的深刻变革。在以ChatGPT为代表的LLMs技术的应用启发下，本文以目标打击筹划的核心——兵力推荐为对象，以兵力推荐过程的基本范式为指导，分析LLMs在兵力推荐中的应用场景，并阐述其为兵力推荐领域带来的机遇与挑战。

随着信息技术的快速发展，推荐系统已成为辅助用户在海量信息中作出决策的关键技术。本章回顾个性化推荐系统的定义及本质，阐明其在实际应用中面临的主要问题，随后引入了兵力资源推荐系统的内涵，探讨兵力推荐系统的应用扩展，并揭示了其在应用过程中所遇到的挑战。

1.1 个性化推荐系统

个性化推荐系统的发展可追溯至1994年RESNICK等设计的GroupLens新闻推荐系统[7]。一个完整的推荐系统主要由用户、物品以及载体3个部分组成，载体主要负责推送推荐结果，则推荐系统[8]可定义为：针对用户空间中的每个用户，从可推荐的物品空间中寻找最有效的物品，使得物品对于该用户的效用性最大（即有用程度最高）。

推荐系统主要通过挖掘用户数据、物品数据以及用户-物品交互数据进行个性化推荐，其本质是对用户的历史行为数据进行拟合，学习到一个能够反映用户偏好的推荐模型，并利用此模型预测出用户未来的行为[9]，如图1所示。因此，推荐方法一般包括学习与预测两个阶段，学习用户和物品之间的历史交互数据，构建推荐模型，预测出用户可能喜欢的新物品。

虽然推荐系统在电子商务、电影、音乐等多个领域得到了广泛应用[10]，但在实际运用过程中仍面临着一系列问题[11]：

1）用户方面，用户群体庞大且行为模式多样，同时容易受到多种不确定因素的影响，从而导致难以构建准确反映用户偏好的推荐模型。

2）物品方面，物品之间存在的隐性关联关系难以直接观测，特别是物品共现频次较低时，捕获不同物品之间的关联关系变得异常困难。例如，用户同时购买两种看似不相关的商品可能是基于某种罕见需求，这种现象为建模带来较大困难。

3）模型方面，主要存在冷启动等问题。例如，对于新的商品，由于缺乏足够的用户交互数据，模型难以根据少量数据进行有效预测，从而无法对新商品产生较好的推荐效果。

1.2 兵力推荐系统

鉴于推荐系统具有帮助用户过滤信息[12]的能力，研究人员尝试将推荐系统应用在武器推荐领域，以缩小可用武器范围、提高武器针对作战任务的适用性。在武器推荐系统中，作战任务对应于推荐系统中的用户，武器则对应于物品，武器推荐系统通过利用不同任务中武器使用记录以及武器属性信息，通过协同过滤方法挖掘任务需求特征，可推荐出最适合当前作战任务的武器[13]。

根据上述推荐系统与武器推荐系统的介绍，给出兵力资源推荐系统的定义。将作战目标类比为用户，兵力资源类比为物品，打击效果类比为效用性（有用程度），则兵力推荐系统可描述为：针对作战目标空间中的每个目标，从可推荐的兵力资源空间中寻找最有效的兵力，使得选择的兵力对于该目标的打击效果最好。其中，可推荐的兵力资源应涵盖常见类型，覆盖陆、海、空等主要作战域的兵力。兵力推荐系统示意图如图2所示。

图2   兵力推荐系统示意图

Fig. 2   Schematic diagram of military force recommender system

与推荐系统类似，兵力推荐系统的过程同样包括学习与预测两个阶段，其本质是通过分析目标-兵力资源之间的历史交互数据，学习不同兵力资源对不同打击目标的适用性，得到相应的兵力推荐模型，利用模型预测出适合打击目标的兵力资源。

与商业推荐系统以及武器推荐系统不同，兵力推荐系统可进一步扩展为是否具有参考底案支撑的情况。在有参考底案的情况下，系统只需按照底案要求的兵力类型与数量，结合兵力可用性条件给出推荐结果即可。在无参考底案的情况下，除打击目标类型、打击效果要求等常规依据外，系统还需要考虑作战区域、作战规则等条件，结合兵力可用性情况，推荐出最有效的兵力资源。

在应用过程中，兵力推荐系统面临目标、兵力资源以及推荐模型等方面的一系列问题：

1）数据利用方面，目前兵力推荐系统只能利用目标和兵力资源的数值型特征（如目标坐标、兵力毁伤半径、移动速度等）进行推荐，无法理解、利用相关的文本描述类特征对推荐过程进行补充，因此，兵力推荐过程缺乏足够的语义信息和深度推理，影响最终的推荐效果。

2）知识利用方面，兵力推荐系统所能利用的知识全部来自于数据集内部收集到的目标、兵力和交互知识，无法从外部获得额外的补充，由于数据集包含的知识往往为有限的关键知识，因而可能导致推荐效果的上限受到限制。

3）模型构建方面，当前的兵力推荐模型主要采取基于ID的特征表示方式，且规模相对较小，因此，在不同推荐场景间的迁移能力有限、无法有效地应对冷启动场景。

本章介绍LLMs技术原理，阐释其在人工智能领域的独特地位，随后分析利用LLMs的哪些优势，以及如何利用这些优势提升兵力推荐系统的应用潜力。

2.1   LLMs技术简介

作为一种能够通过文字形式进行人机自然对话的人工智能模型， LLMs自发布以来，已成为人工智能领域中最具潜力的方向之一。通过其独特的“预训练模型+微调+提示”模式，为智能决策领域引入了新的范式，并且在实践中取得了显著的效果[14]。

与传统的知识图谱所采用的显式、结构化知识表达方式不同，通过使用海量数据进行预训练，LLMs对预训练语料中的大量知识进行了统一编码，并通过参数的形式将编码后的知识隐式地结合到模型中[15]。因此，LLMs不仅是一个能够进行自然对话的语言模型，还可以视为一个存储了大量信息的知识模型。

如图3所示，LLMs的知识范围极为广泛，涵盖了自然科学、社会科学等多个学科领域，在自然对话、文本生成、自动问答等方面均表现出色[16]。究其原因，是因为具有丰富知识储备的LLMs存在复杂系统的“涌现”现象[17]，从而具备强大的推理能力与泛化能力，即LLMs学习到几个任务或者特征之后，能够通过类比和推理，推导出任务过程或者产生出新的特征。

图3   知识模型示意图

Fig. 3   Schematic diagram of the knowledge model

LLMs的涌现能力主要体现在上下文学习与思维链两个方面。上下文学习是一种针对少样本任务的推理方法，通过提供一些示例作为上下文提示信息，LLMs可以在不需要调整参数的情况下有效处理任务。模型参数保持不变，表明LLMs在预训练阶段已经学到了特定任务的关键特征，仅需少量示例就能激发这种能力[18-19]。思维链是一种复杂任务的推理方法，针对某个复杂问题，若向LLMs逐步展示具体的分析或推导过程，则其能够仿照该过程很好的完成一些复杂的推理任务[20-21]。这种卓越的能力使得LLMs在多个领域中呈现出其他方法难以比拟的优势，因而逐步成为一个通用的认知工具。

2.2   LLMs的优势分析

尽管兵力推荐系统的研究已经取得了一定的进展，但目前仍然存在目标、兵力资源数据利用不足、知识利用范围有限、迁移能力和冷启动解决能力差等问题[9-10, 12, 22]。如果能够借助LLMs的优势，吸取其突出的能力或直接利用LLMs本身，则有助于弥补兵力推荐系统的不足，构建更加有效的推荐模型，从而提高推荐性能[23-24]。兵力推荐系统可充分借鉴LLMs的以下优势或能力。

2.2.1丰富的通用知识

丰富的通用世界知识[23]是LLMs具备的显著特点，这种能力主要源自其引入的外部开放世界知识以及丰富的语义信号，从而赋予其出色的知识能力与推理能力。可以通过LLMs引入外部通用知识，补充并增强原始数据集内的相关知识，提高推荐系统的表现力。

2.2.2卓越的理解和表征能力

兵力推荐场景中具有大量需要理解的文本描述类特征，如兵力资源名称和属性文本描述。此外，新的兵力资源的推荐一般需要通过ID学习其表征，进而利用学到的表征做推荐。而LLMs具备强大的文本理解和表征能力[24-26]，能够充分理解并使用自然语言描述特征。如果将这种能力引入兵力推荐系统，则可以有效提高系统的理解、表征能力。

2.2.3良好训练的LLMs

“预训练+微调+提示”的学习范式为训练出卓越的模型提供了巨大的优势，因此，当前的LLMs在多个领域均已展现出了强大的性能，将这些经过充分训练的LLMs[27]直接应用到兵力推荐系统中，能够进一步改善推荐效果。

2.2.4建立兵力推荐LLMs范式

兵力推荐领域处于针对不同推荐场景任务设计不同模型的阶段，任务解决速度相对有限。如果建立类似于LLMs的统一基础范式，使用文本统一表示特征，使用提示对推荐任务进行统一[28]，则有助于解决推荐系统面临的冷启动等问题[23, 29]，从而推动兵力推荐系统进入一个标准化的新阶段。

3.1 兵力推荐系统的基本范式

根据深度学习的流程，结合兵力推荐的特点，可抽象出兵力推荐系统的基本范式如图4所示，包括数据收集、特征工程、特征编码以及评分预测4个主要阶段。

图4   兵力推荐系统的基本范式

Fig.4   The basic paradigm of military force recommender system

数据收集阶段主要通过收集实际战争、演习演练以及其他军事活动中的数据，得到目标、兵力资源、目标打击记录等原始数据，包括数值类数据与文本描述类数据；特征工程阶段需要对收集到的原始数据进行筛选、清洗和加工，转化为便于推荐模型使用的结构化数据，并提取出对推荐结果有重要影响的关键特征；特征编码阶段需要针对结构化数据进行特征编码，得到对应的目标、兵力以及其他信息的特征向量表示；评分预测阶段主要利用相关映射操作深度挖掘特征向量之间的关系，对可推荐的兵力资源进行预测排序，最终得到针对每个目标的兵力资源推荐列表。

3.2   LLMS的应用场景分析

根据兵力推荐系统的基本范式以及LLMs的优势与能力，LLMs的潜在应用可体现在特征工程、特征编码以及评分预测中的一个或多个阶段。

3.2.1   LLMs在特征工程中的应用

利用LLMs广泛的通用知识、强大的文本理解和表征能力，在特征工程阶段进行目标理解、兵力资源理解和样本扩充[30]，以解决传统兵力推荐系统面临的数据利用、知识利用、冷启动问题。

目标理解方面，基于兵力-目标的历史打击记录和外部知识，生成关于目标的详细特点信息。通过分析历史打击信息，利用LLMs挖掘出目标的深层次特征以及与其他要素的潜在关联，从而有助于更加准确地把握兵力推荐的需求与目标的具体特征。

兵力资源理解方面，利用已有的外部领域知识和历史打击记录，LLMs可总结出兵力资源的特征并提供简短的文本描述，从而有利于更好地分析不同兵力资源的特点。因此，对于特定类型的兵力资源，通过提取其独特的属性能力或典型应用场景等信息，并将其纳入推荐过程中，则能够更加准确地掌握兵力资源特征。

样本扩充方面，主要针对历史打击数据稀疏的目标或者兵力资源进行处理。对于样本数据不足的问题，LLMs可运用知识推理能力或者其他能力生成类似的伪样本，用于扩充目标或兵力资源的信息。增加数据的多样性和数量，进一步增强目标或兵力资源的理解，从而提升兵力推荐系统对于新目标或新兵力资源的表征和推荐能力。

3.2.2   LLMS在特征编码中的应用

特征编码阶段涉及兵力资源和目标的特征表示，可利用LLMs通用的语义信息表示能力，结合专业领域知识，丰富兵力资源和目标的文本特征表示[31-32]，改善推荐系统的数据利用、知识利用、迁移能力。

目标表征增强方面，通过LLMs在目标描述文本中挖掘并总结目标位置、大小、类型、特点描述等文本信息，并与基于数据的目标特征进行结合，可进一步丰富目标侧的特征表示。

兵力资源表征增强方面，通过LLMs在兵力资源描述文本信息中提取出兵力类型、飞行距离、毁伤能力等属性信息，并与基于数据的兵力资源特征结合，可得到更丰富、准确的兵力资源特征表示。

跨场景迁移能力提升方面，基于ID的传统特征表示方式在不同推荐任务场景间的迁移能力有限。利用LLMs对文本描述特征进行编码，再结合基于ID的特征表示，将提高兵力资源与目标特征的泛化性，改善兵力推荐系统的跨场景迁移能力。

此外，由于兵力推荐系统涉及军事领域任务，因此，将军事领域的专业知识整合到LLMs中，可以进一步提高特征表示增强的专业性和准确性，确保兵力资源推荐系统在军事领域的适用性和针对性。

3.2.3   LLMs在评分预测中的应用

兵力推荐系统的核心环节是评分预测，目的是得到与目标特点相符即打击效果最好的兵力资源列表。在评分预测阶段，给定目标和兵力资源的信息，根据兵力推荐列表的产生方式，可基于LLMs的通用知识、推理能力、理解和表征能力完成兵力资源评分、兵力资源生成或者混合任务[33-34]，改善兵力推荐系统的数据利用、知识利用能力。

兵力资源评分方面，对于给定的目标，利用LLMs对可推荐的兵力资源进行逐一比较和评分，并根据评分进行排序，最终得到兵力资源排序列表。

兵力资源生成方面，对于给定的打击目标，通过LLMs以生成式的形式产生兵力资源的标号，或者直接生成整个推荐列表。通过这种方式，LLMs能够根据输入的样本信息直接生成对应的推荐结果。

混合任务方面，由于LLMs具备处理多任务的能力，因此，针对不同的任务可选择不同的推荐模板，从而完成多个推荐任务，包括评分任务和生成任务。

3.2.4   LLMs与推荐模型的融合

LLMs与推荐模型的结合[35]涉及特征工程和特征编码阶段的应用。这种应用场景利用上下文学习激发LLMs开放世界知识库所具备的知识能力与推理能力、理解与表征能力，将其输出结果集成到下游的推荐模型中以完成最终的评分预测任务，两者的结合能够有效提高兵力推荐系统的数据利用、知识利用、迁移能力和冷启动能力。LLMs与推荐模型结合的示意图如图5所示。

图5   LLMs与推荐模型结合示意图

Fig. 5   Schematic diagram of the combination of LLMs and recommender system

与推荐模型结合的关键在于，LLMs需要从推荐的角度对目标、兵力资源以及两者的交互历史进行推理与总结，以获取推理性知识和事实性知识。推理性知识涉及到对目标的深入理解，而事实性知识包括对兵力资源特征的具体描述。随后通过知识编码器将这两种文本知识编码为额外特征，与原始数据特征结合，共同输入到推荐模型中进行特征交互和评分预测。

这种协同作用使得两者能充分发挥各自的优势，LLMs负责提供外部知识、推理能力、表征增强能力和解决少样本问题的能力，推荐模型根据原始特征与额外特征完成最终的推荐任务。两者的结合增强了兵力推荐系统对于兵力资源和目标的理解与特征表示能力，能够有效地提升系统的性能。

3.2.5 面向推荐场景的LLMs范式构建

面向推荐场景的LLMs使用统一的范式解决不同场景下的推荐任务[36, 37]，其应用体现在特征工程、特征编码和评分预测阶段，有助于解决兵力推荐系统面临的数据利用、知识利用、跨场景迁移和冷启动问题。

如图6所示，这种应用场景的核心思想是分别从语义和推荐两个角度对目标、兵力资源以及交互信息进行理解，并通过3个空间的结合完成推荐任务。

图6   面向推荐场景的LLMs范式

Fig. 6   Paradigm LLMs for recommendation scenarios

语义空间方面，通过构造适当的提示，将目标、兵力资源以及两者之间历史交互信息作为输入，让LLMs从语义层面对这3种信息进行理解和推理，充分发挥其生成能力并允许其自由输出内容。

推荐空间方面，与语义空间从语义角度解析信息有所不同，推荐空间需要LLMs从推荐角度出发，识别出3种输入信息中与推荐相关的知识，并总结出与推荐相关的文本描述。

兵力资源空间方面，利用LLMs对可推荐的兵力资源进行深入理解和识别，综合考虑语义空间和推荐空间得到的信息，从统计的角度出发，在可推荐的具体兵力资源上进行评分预测，完成最终的推荐过程。

3.2.6   LLMs应用的潜力比较

如图7所示，在兵力推荐范式的几个阶段中，LLMs对各阶段的支持并不均衡，在不同的阶段有不同的应用潜力，能够解决兵力推荐系统面临的不同问题。

图7   LLMs在不同阶段的应用潜力

Fig.7   The application potential of LLMs in different stages

结合图7以及表1可知，LLMs应用的重点不在特征工程①、特征编码②和评分预测③这些单一环节，而在与推荐模型的结合④、建立面向推荐场景的LLMs范式⑤中，其应用分别涵盖了特征工程与特征编码，特征工程、特征编码以及评分预测环节，可有效解决兵力推荐系统面对的数据利用、知识利用、跨场景迁移和冷启动问题。

这些应用的背景是目标与兵力资源的相关信息中具有深层次的隐含信息，需要进行深度挖掘、推理总结与增强表征。这些环节是推荐系统的基础且关键环节，并且存在传统推荐算法表现不佳的难题，因此，只有在LLMS技术的支持下才有可能得以解决。

人工智能时代，兵力推荐系统从技术到范式的变革属于未来军事领域的制高点之一，抢占这一制高点需要加快LLMs的建设与应用，以解决其目前所面临的如下挑战。

4.1智能发展问题

在国产LLMs的发展过程中，虽然已经出现了如Kimi、天机、M6之类的产品，但在通用智能技术方面与ChatGPT相比还存在一定的差距。

4.2数据安全与隐私问题

为了提高LLMs在兵力推荐领域的效果，通常需要使用大量军事领域的语料对LLMs进行训练，而这些语料往往涉及大量敏感信息，如何确保这些信息在预训练过程中的安全，防止信息泄露至关重要。

4.3算力需求与成本问题

LLMs的训练与推理涉及大量的参数调整与复杂的前向过程推断，需要庞大的算力支持。为了在战场环境中加速该过程，通常需要使用高性能硬件芯片提高其并行处理能力，因此，LLMs的部署成本相对较高。

4.4对抗性攻击与鲁棒性问题

军事领域中， LLMs可能遭受敌对势力的对抗性攻击，诱导其做出错误的推荐，从而消耗我方兵力资源，因此如何提高LLMs的鲁棒性使其能够识别和抵御这些攻击是一个重大挑战。

现有的LLMs在兵力推荐系统的应用中存在以下发展趋势：

1）改善个性化提示能力。在兵力推荐领域，LLMs的提示是针对目标层面的，例如针对地面火力目标、电子目标、空中快速机动目标与低慢小目标等构造不同的提示，从而实现针对性的兵力资源推荐。人工构造个性化提示的工作量巨大且流程繁琐，因此，如何改善LLMs的个性化提示，提高其自动化生成能力，是未来的研究方向之一。

2）提高鲁棒提示能力。战场环境下目标随战场态势发生变化，因而兵力推荐属于典型的分布漂移场景。若出现分布漂移现象，导致训练目标样本与实际目标之间的分布差异较大，将会降低提示的性能，进一步影响LLMs在推荐中的应用效果。因此，如何解决分布漂移引起的提示性能下降问题，提高提示的鲁棒性，是值得深入研究的方向之一。

3）避免LLMs偏见问题。LLMs在预训练过程中直接使用了大量的互联网语料，这些来源广泛的信息分布并不均衡，从而导致出现偏见现象[38]。而在兵力推荐过程中，直接应用LLMs可能会延续信息中存在的偏见问题。例如，如果知识库中主要包含针对地面目标的兵力资源信息，则推荐结果可能更偏向擅长打击地面目标的兵力资源，而实际打击目标可能属于空中或海上的对象。因此，在兵力推荐系统中，研究如何避免LLMS的偏见问题至关重要。

4）提高可靠性与信任度。在兵力推荐系统中，LLMs的决策可能会直接影响到打击行动的成效。因此，提高模型的可靠性和其推荐结果的信任度是确保推荐决策有效性的关键，如何对LLMs的决策过程进行验证和理解，确保其在各种复杂战场环境下都能做出合理的推荐是有待深入研究的课题之一。

兵力资源推荐作为目标打击方案筹划的关键环节，对人工智能技术的应用需求较为强烈，因此，LLMs在该领域具有广泛的应用前景。本文以兵力推荐过程的基本范式为指导，分析了LLMs在兵力资源推荐系统中的潜在应用场景，包括在特征工程、特征编码、评分预测中的一个或多个阶段的主要应用。

从应用场景来看，LLMs的关键作用体现在基本范式中的“特征工程+特征编码”，以及“特征工程+特征编码+评分预测”阶段，目标-兵力资源理解、少样本扩充、文本特征表示、特征表示增强、跨场景迁移推荐等任务都是其应用的典型场景。从应用潜力来看，最具前景的运用在于建立面向推荐场景的LLMs范式，其可直接成为兵力资源推荐系统最为理想的技术工具。

LLMs与兵力推荐系统的结合既是机遇也是挑战。在机遇方面，可以通过LLMs的建设与应用提高决策的智能化水平，降低兵力资源建设上的差距，以智能优势弥补技术方面的劣势；在挑战方面，需要解决LLMs在兵力推荐领域的通用智能发展、数据安全、算力与成本、对抗性攻击和鲁棒性等问题，这些问题也是有待进一步研究的方向。

References

[1] 吴克宇, 冯旸赫, 黄金才, 等. 面向随机并发任务的杀伤网建模与最优控制方法[J]. 指挥与控制学报, 2023, 9（4）: 487-494.

WU K Y, FENG Y H, HUANG J C, et al. Modeling and optimal control of a kill web for stochastic-oriented concurrenttasks[J]. Journal of Command and Control, 2023, 9（4）: 487-494.（in Chinese）

[2] 孔德鹏, 常天庆, 郝娜, 等. 基于对抗的突击武器与支援武器协同火力打击决策方法[J]. 兵工学报, 2019, 40（3）:629-640.

KONG D P, CHANG T Q, HAO N, et al. Confrontationbased cooperative fire strike decision-making method of assault weapons and support weapons[J]. Acta Armamentarii,2019, 40（3）: 629-640.（in Chinese）

[3] JANNACH D, ZANKER M, FELFERNIG A, et al. Recommender systems: an introduction[M]. England: Cambridge University Press, 2010.

[4] 卢经纬, 郭超, 戴星原, 等. 问答ChatGPT之后:超大预训练模型的机遇和挑战[J]. 自动化学报, 2023, 49（4）: 705-717.

LU J W, GUO C, DAI X Y, et al.The ChatGPT after: opportunities and challenges of very large scale pre-trained models[J]. Acta Automatica Sinica, 2023, 49（4）: 705-717.（in Chinese）

[5] 何赛克, 张培杰, 张玮光, 等. 大模型时代下的决策范式转变[J]. 中国地质大学学报（社会科学版）, 2023, 23（4）:82-91.

HE S K, ZHANG P J, ZHANG W G, et al. Paradigm shift in decision-making in the era of large language models[J]. Journal of China University of Geosciences（Social Sciences Edition）,2023, 23（4）: 82-91.（in Chinese）

[6] 邢岩, 杨舒淇, 刘昊. 基于改进知识推理的联合打击目标关联推荐[J]. 火力与指挥控制, 2023, 48（3）: 164-173.

XING Y, YANG S Q, LIU H. Joint strike target association recommendation based on improved knowledge reasoning[J]. Fire Control & Command Control, 2023, 48（3）: 164-173.（in Chinese）

[7] RESNICK P, IACOVOU N, SUCHAK M, et al. Grouplens:an open architecture for collaborative filtering of netnews [C]// Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. New York, NY, United States:Association for Computing Machinery, 1994: 175-186.

[8] 王越群. 基于知识图谱的深度推荐系统研究[D]. 长春: 吉林大学, 2022.

WANG Y Q. Research on deep recommendation system based on knowledge graph[D]. Changchun: Jilin University,2022.（in Chinese）

[9] ADOMAVICIUS G, TUZHILIN A. Toward the next generation of recommender systems: a survey of the state-of-theart and possible extensions[J]. IEEE Transactions on Knowledge and Data Engineering, 2005, 17（6）: 734-749.

[10] ZHANG S, YAO L, SUN A, et al. Deep learning based recommender system: a survey and new perspectives[J]. ACM Computing Surveys, 2019, 52（1）: 1-38.

[11] FRANCESCO R, LIOR R, BRACHA S. Recommender systems:introduction and challenges[M]. Springer: Recommender Systems Handbook, 2015: 1-34.

[12] WU S, SUN F, ZHANG W, et al. Graph neural networks in recommender systems: a survey[J]. ACM Computing Surveys, 2023, 55（5）: 1-38.

[13] 郑灏. 基于知识图谱的武器推荐方法研究[D]. 西安: 通信工程学院, 2021.

ZHENG H. Research of weapon recommendation method based on knowledge graph[D]. Xi’an: School of Telecommunications Engineering, 2021.（in Chinese）

[14] BERNARDINO R-P, MOHAMMADAMIN B, ALEXANDER N, et al. Mathematical discoveries from program search with large language models[J]. Nature, 2023, 625（7995）:468-475.

[15] ZHAO W X, ZHOU K, LI J, et al. A survey of large language models[EB/OL].（2023-10-24）[2024-03-19]. https://arxiv.org/pdf/2303.18223.

[16] WEI J, TAY Y, BOMMASANI R, et al. Emergent abilities of large language models[EB/OL].（2022-10-26） [2024-03-19]. https://arxiv.org/pdf/2206.07682.pdf.

[17] 阳东升, 卢经纬, 李强, 等. 超大预训练模型在指挥控制领域的应用与挑战[J]. 指挥与控制学报, 2023, 9（2）: 146-155.

YANG D S, LU J W, LI Q, et al. Issues and challenges of ChatGPT-like large scale pre-trained model for command and control[J]. Journal of Command and Control, 2023, 9（2）: 146-155.（in Chinese）

[18] BROWN T B, MANN B, RYDER N, et al. Language models are few-shot learners[C]// Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020. Cambridge,Massachusetts, USA: MIT Press, 2020: 1877-1901.

[19] DONG Q, LI L, DAI D, et al. A survey on in-context learning[EB/OL].（2023-06-01）[2024-03-19]. https://arxiv.org/pdf/2301.00234.

[20] WEI J, WANG X, SCHUURMANS D, et al. Chain-ofthought prompting elicits reasoning in large language models[C]// Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems 2022, NeurIPS 2022. Cambridge, Massachusetts,USA: MIT Press, 2022: 24824-24837.

[21] 张伟男, 刘挺. ChatGPT技术解析及通用人工智能发展展望[J]. 中国科学基金, 2023, 37（5）: 751-757.

ZHANG W N, LIU T. Technical analysis of ChatGPT and perspectives on the development of artificial general intelligence[J]. Bulletin of National Natural Science Foundation of China, 2023, 37（5）: 751-757.（in Chinese）

[22] WU L, ZHENG Z, QIU Z, et al. A survey on large language models for recommendation[EB/OL].（2023-08-18）[2024-03-19]. https://arxiv.org/pdf/2305.19860.

[23] LIN J, DAI X, XI Y, et al. How can recommender systems benefit from large language models: a survey[EB/OL].（2024-02-02）[2024-03-19]. https://arxiv.org/pdf/2306.05817.

[24] HUA W, LI L, XU S, et al. Tutorial on large language models for recommendation[C]// Proceedings of the 17th ACM Conferenceon Recommender Systems, RecSys 2023. New York, NY, United States: Association for Computing Machinery,2023: 1281-1283.

[25] LIU Q, CHEN N, SAKAI T, et al. ONCE: boosting contentbased recommendation with both open-and closed-source large language models[C]// Proceedings of the 17th ACM International Conference on Web Search and Data Mining.New York, NY, United States: Association for Computing Machinery, 2024: 452-461.

[26] LI J, WANG M, LI J, et al. Text is all you need: learning language representations for sequential recommendation[C]//KDD 2023: Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York,NY, United States: Association for Computing Machinery,2023: 1258-1267.

[27] GAO Y, SHENG T, XIANG Y, et al. Chat-REC: towards interactive and explainable LLMs-augmented recommender system[EB/OL].（2023-04-04）[2024-03-19]. https://arxiv.org/pdf/2303.14524.

[28] LIU P, YUAN W, FU J, et al. Pre-train, prompt, and predict:a systematic survey of prompting methods in natural language processing[J]. ACM Computing Surveys, 2023, 55（9）:1-35.

[29] SANNER S, BALOG K, RADLINSKI F, et al. Large language models are competitive near cold-start recommenders for language-and item-based preferences[C]// Proceedings of the 17th ACM Conference on Recommender Systems,RecSys 2023. New York, NY, United States: Association for Computing Machinery, 2023: 890-896.

[30] LIU Q, CHEN N, SAKAI T, et al. A first look at LLM-powered generative news recommendation[EB/OL].（2023-06-04）[2024-03-19]. https://arxiv.org/pdf/2305.06566v2.

[31] HOU Y, MU S, ZHAO W X, et al. Towards universal sequence representation learning for recommender systems[C]// KDD 2022: Proceeding of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York, NY, United States: Association for Computing Machinery,2022: 585-593.

[32] QIU Z, WU X, GAO J, et al. U-BERT: Pre-training user representations for improved recommendation[C]// Proceedings of the 35th AAAI Conference on Artificial Intelligence. NewYork, NY, United States: Association for Computing Machinery,2021: 4320-4327.

[33] KANG W, NI J, MEHTA N, et al. Do LLMs understand user preferences? evaluating LLMs on user rating prediction[EB/OL].（2023-05-10）[2024-03-19]. https://arxiv.org/pdf/2305.06474.

[34] GENG S, LIU S, FU Z, et al. Recommendation as language processing（RLP）: a unified pretrain, personalized prompt& predict paradigm（P5）[C]// Proceedings of the 16th ACM Conference on Recommender Systems, RecSys 2022. New York, NY, United States: Association for Computing Machinery,2022: 299-315.

[35] XI Y, LIU W, LIN J, et al. Towards open-world recommendation with knowledge augmentation from large language models[EB/OL].（2023-10-04）[2024-03-19]. https://arxiv.org/pdf/2306.10933.

[36] BAO K, ZHANG J, WANG W, et al. A bi-step grounding paradigm for large language models in recommendation systems [EB/OL].（2023-10-31）[2024-03-19]. https://arxiv.org/pdf/2308.08434.

[37] WANG W, LIN X, FENG F, et al. Generative recommendation:towards next-generation recommender paradigm[EB/OL].（2024-02-25）[2024-03-19]. https://arxiv.org/pdf/2304.03516.

[38] ZHANG J, BAO K, ZHANG Y, et al. Is ChatGPT fair for recommendation?evaluating fairness in large language model recommendation[C]// Proceedings of the 17th ACM Conference on Recommender Systems, RecSys 2023. New York,NY, United States: Association for Computing Machinery,2023: 993-999.

通信作者简介范长俊（1990— ）, 男, 安徽天长人, 博士, 副教授。