🚀搜广推业务区别
type
status
date
slug
summary
tags
category
icon
password
Status
搜广推作为互联网公司几大核心的业务,三个大方向的业务有很多技术共同点,但是彼此又有很多差别,那么推荐、广告和搜索对于算法工程师来说到底有什么区别呢?
业务目标
- 推荐:推荐算法虽然根本目的也是为了增加公司收入,但其直接目标是为了增加用户的参与度,增加用户在平台的使用时长。只有用户的参与度高了,才能让广告系统有更多的流量承载,进而增加公司营收。所以推荐算法的目标是增加平台的流量。
- 广告:一个公司要搭建广告系统的目的是商业化,即变现赚钱。所以广告算法的目标就是为了直接增加公司收入。
- 搜索:搜索要解决的关键问题全部是围绕着用户输入的搜索词展开的,“围绕着搜索词的信息高效获取问题“才是搜索算法想解决的根本问题。所以搜索的目标是能够更精准高效的触达用户想要了解的信息。
业务优化方向
- 推荐:推荐系统的业务优化比较纯粹,通常是一套多级的推荐服务,涵盖召回,粗排,精排,重排链路,再附加一些策略调整;目的是提高推荐的准度和多样性,让用户能够在平台多看多逛,增大流量“盘子”。主要是面向ToC用户侧的优化,对于ToB作者侧的关注相对少很多。因此,本质处理的是用户体验的问题
- 广告:广告是一项实际业务会使用推荐系统技术,也会有一套推荐服务,但区别于推荐,广告还有一套出价系统需要维护,来满足广告主的诉求。因此,本质处理的是三方利益的协调问题,这三方分别是广告主、用户和媒体(平台)。
- 搜索:搜索也是一项使用推荐系统技术的业务形态,但是除了推荐服务外,还需要考虑自然语言处理的模块,最核心的即搜索的相关性问题,需要确保用户搜索的结果和用于意图的Query相关。区别于推荐和广告的用户被动触达,搜索是用户主动触达的。

模型优化目标
- 推荐:推荐算法的预估目标不尽相同,视频类更多倾向于预测观看时长,新闻类预测CTR,电商类预估客单价等等这些跟用户参与度最相关的业务指标。而且由于推荐系统的推荐场景是生成一个列表,所以更加关注item间的相对位置,因此评估阶段更倾向于用AUC,gAUC,MAP这些指标作为评价标准。
- 广告:各大公司广告算法的预估目标非常统一,就是预估CTR和CVR。这是跟当前效果类广告的产品形态密切相关的。在当前eCPM等广告计价方式下,只有预估出准确的CTR和CVR,才能反向推导出流量的价值,才能在最高效的方式下赚取收入,且让广告主达成自己的目标。所以针对这样的目标,广告算法非常看重把预估偏差当作首要的评价指标。
- 搜索:搜索的预估目标又有所不同,因为相比广告和推荐,搜索某种意义上说是存在着“正确答案”的。所以搜索非常看重能否把这些正确答案给召回回来(广告和推荐也关注召回率,但重要性完全不同)。所以搜索系统往往会针对召回率,MAP,NDCG这些指标进行优化。
总的来说,广告算法是要“估得更准”,推荐算法是要整体上“排的更好”,搜索算法是要“搜的更全”。
维度理解
- 从信息传播维度来看:推荐和搜索是两种用户触达方式下的技术:推荐即猜你喜欢,用户被动接受信息;搜索是用户的主动行为,用户主动寻找信息。
- 从推荐技术维度来看:推荐是最基础的技术核心,其自身可以组成推荐业务,例如短视频推荐、商品推荐;搜索即推荐+Query自然语言处理(相关性等)组成,其本身是用户主动寻求+被动接受推荐信息,例如图文搜索、商品搜索;广告即推荐+出价系统 或 搜索+出价系统,根据用户行为可分为展示广告和搜索广告的形态。
详细链路
第一部分:推荐系统核心技术链路:从千百万到Top N的筛选艺
现代推荐系统并非单一的算法模型,而是一个由多个阶段组成的复杂流水线,其核心思想是采用级联(Cascaded)架构,通过一个多级漏斗(Ranking Funnel)逐步筛选和排序,以在效果和性能之间取得最佳平衡 。
1.1 召回:从海量候选中高效生成用户可能感兴趣的候选集
召回阶段是推荐系统链路的起点,其首要任务是在海量物品库(可能包含数百万甚至上千万个物品)中,以毫秒级的极低延迟筛选出数百至数千个用户可能感兴趣的候选集,为后续计算复杂度更高的排序阶段提供高质量的输入 。
实践中,单一的召回策略往往无法满足所有用户的多样化需求,因此现代推荐系统普遍采用多路召回策略。这种策略允许同时运行多种召回算法,并对它们的结果进行融合。例如,基于热度或流行度的召回策略适用于所有用户,尤其是在用户行为数据稀缺或缺失的冷启动场景下,能够提供一个可靠的兜底结果 。而经典的协同过滤召回,无论是基于用户还是基于物品,都依赖于大量的用户-物品交互数据来建模,因此不适用于行为稀疏的长尾用户和冷启动用户 。基于物品画像的召回则可以为长尾用户提供服务,但对于没有任何行为的冷启动用户仍有局限性 。
为了解决这些挑战,现代推荐系统大量采用基于深度学习的向量化召回。其中,双塔模型(Dual-Tower Model)是典型的代表。该模型通过两个独立的神经网络(一个用户塔,一个物品塔),将用户和物品分别映射到低维稠密向量空间中 。在召回阶段,系统只需计算用户的向量与其他所有物品向量之间的相似度(如向量内积或余弦相似度),即可高效地从海量物品库中检索出最相关的Top K个候选项 。这种方法能够以极高的效率处理大规模数据,并捕获复杂的语义关系,成为大规模推荐系统的核心召回方式。
将上述多种召回策略有机地结合,并通过优先级或编排的方式进行融合,是应对用户多样性与冷启动挑战的必然选择 。这一架构逻辑体现了这样一个核心原则:推荐系统的设计必须以用户为中心,而不是拘泥于单一算法的优劣。系统架构的演进,是为了在复杂的业务场景下,为不同类型的用户提供差异化且有效的体验。
1.2 排序:平衡性能与效果的多级漏斗架构
排序阶段是对召回结果进行进一步的精细化处理。为了平衡计算性能与最终效果,这一阶段通常被拆分为多个子阶段,形成一个“漏斗”式的级联架构 。
1.2.1 粗排:在召回与精排间的性能-效果平衡者
当召回阶段输出的候选集数量仍高达千级别时,直接将所有候选输入到计算量巨大的精排模型中会导致延迟过高,从而影响用户体验。粗排的作用正是在此,它位于召回与精排之间,旨在从千级别的候选集中快速筛选出百级别的候选项,减轻精排的计算负担 。
粗排模型的演进经历了从早期的线性模型、LR 模型到深度学习模型的多个阶段。为了解决粗排模型在效果上的局限性,一个重要的技术方向是知识蒸馏(Knowledge Distillation) 。该技术旨在将一个复杂且准确的“教师模型”(通常是精排模型)的学习能力转移到一个轻量且快速的“学生模型”(粗排模型)上 。通过将精排模型的预测分数作为粗排模型的“软标签”进行训练,粗排模型能够在不增加计算复杂度的前提下,逼近精排模型的排序能力 。这使得粗排既能满足严格的性能要求,又能保证筛选出的候选项质量,是工程与算法权衡的完美体现。
1.2.2 精排:精准预测的核心阶段
精排是排序链路中最重要的阶段,其核心任务是为每个粗排筛选出的候选项进行精准打分。精排模型通常采用复杂的深度学习架构,并使用丰富的交叉特征,以准确预估用户对该物品的喜好程度 。
在模型演进方面,一系列经典模型奠定了现代精排系统的基础:
- WDL(Wide & Deep Learning):该模型通过同时训练一个捕获“记忆”(浅层、离散特征)的宽模型和一个捕获“泛化”(深层、稠密特征)的深模型,平衡了模型的广度和深度 。
- DIN(Deep Interest Network):该模型引入了注意力机制(Attention),能够动态地从用户庞大的行为序列中,找出与当前待排序物品最相关的局部兴趣,从而更好地建模用户兴趣的多样性 。
- BST(Behavior Sequence Transformer):受自然语言处理领域Transformer模型的启发,该模型使用自注意力机制(Self-Attention)来建模用户行为序列内部以及用户行为序列与待排序物品之间的复杂关系,进一步提升了模型的表达能力 。
此外,随着业务目标的复杂化,现代精排模型已不再局限于单一的点击率(CTR)预估。平台需要同时关注用户时长、完播率、点赞率、关注率等多个业务指标。这促使技术从单一模型预估转向了多目标优化(Multi-task Learning),即通过一个模型同时预测多个目标,以实现业务指标的协同提升 。
1.2.3 重排:综合优化用户体验的临门一脚
重排是生成最终推荐列表的最后一步,其目标并非仅仅是“选出最好的”,而是“组成最佳的列表” 。这一阶段需要综合考虑多样性(避免推荐过于相似的物品)、新颖性(给予新内容更多曝光机会)、时效性(如新闻或热点内容)、以及对用户上下文的感知 。
传统的重排方法依赖于硬规则(如类目打散)。而更先进的技术则从列表级的视角进行优化,例如强化学习(Reinforcement Learning)和列表级排序(Listwise Learning to Rank)。这些方法能够将整个列表的效用作为优化目标,旨在解决用户疲劳、多样性不足等更深层次的用户体验问题。
多级漏斗架构是工程与算法权衡的产物,也是搜广推三者共通的核心技术范式。它贯穿了搜索、广告和推荐系统,是它们在技术上高度融合的根本原因。这种架构的出现,正是在召回阶段无法完全满足精度要求、而精排阶段又无法承担全部计算量的情况下,找到一个性能与效果的最佳平衡点。
阶段 | 核心任务 | 输入物品量级 | 输出物品量级 | 典型算法模型 | 主要优化指标 |
召回 | 从海量物品库中,快速生成候选集 | 百万/千万级 | 千级 | 基于热度、协同过滤、向量召回(双塔模型) | 召回率(Recall@k)、性能(低延迟) |
粗排 | 在召回与精排之间,对候选集进行二次筛选 | 千级 | 百级 | 简化的DNN、向量内积模型、知识蒸馏模型 | 线下召回率(Recall@k)、线上性能 |
精排 | 对候选物品进行精准打分,预估用户喜好 | 百级 | 十级 | WDL、DIN、BST、多任务学习模型 | CTR、CVR、播放时长等预估准确度 |
重排 | 综合多种因素,生成最终的推荐列表 | 十级 | 5-10 | 基于规则、强化学习、列表级排序模型 | 多样性、新颖性、用户总时长、互动率 |
表格1:推荐系统多阶段架构技术对比
第二部分:广告系统:以变现为核心的推荐技术应用与挑战
广告系统并非一个全新的技术栈,而是在推荐系统技术的基础上,叠加了以商业利益为导向的竞价和计费系统。这一洞见直接回答了“广告链路中哪部分属于推荐”的核心疑问,即其召回和排序部分是推荐技术的应用,而其独特灵魂在于如何通过竞价机制来协调“用户-广告主-平台”三方的利益 。
2.1 广告系统的推荐技术内核
广告系统本质上是一种特殊的推荐系统,其核心链路同样遵循“召回-排序”的范式 。广告引擎会首先从海量广告库中进行召回,筛选出与用户或上下文相关的广告物料,这一过程与推荐召回在技术上异曲同工。随后,系统会对召回的广告进行排序,决定哪些广告最终向用户展示。然而,与纯粹的推荐系统不同的是,广告召回和排序需要额外考虑广告主的目标和预算,而不仅仅是用户兴趣 。
2.2 广告系统的独特灵魂:竞价机制与eCPM
广告系统的核心排序公式并非简单地预估CTR,而是基于eCPM(effective Cost Per Mille),即eCPM = 预估点击率(pCTR)× 出价(Bid) 。eCPM是衡量每次广告展示潜在价值的统一标准,它将不同计费方式(如按点击计费的CPC、按千次展示计费的CPM)的广告置于同一框架下进行比较和排序 。
广告排序的目标是设计一个激励相容的拍卖机制,以在最大化平台收益的同时,兼顾用户体验和广告主诉求 。这三方形成了一个复杂的博弈关系:用户追求高质量、高相关性的内容;广告主追求高投资回报率(ROI);而平台则追求总收益最大化。如果只根据出价高低排序,会导致劣质但高价的广告充斥版面,最终损害用户体验,导致流量流失,平台收益下降。
通过在排序公式中引入
pCTR,平台将用户体验(由预估点击率衡量)作为广告价值的核心组成部分。这使得那些出价较低但与用户高度相关、更可能被点击的广告,在排序时能够获得更高的优先级。这种巧妙的经济学设计,用技术手段解决了市场中的“劣币驱逐良币”问题,确保了平台的长期健康发展。例如,谷歌的广告竞价系统不仅考虑出价,还将广告质量(Ad Quality)和context作为重要考量因素,进一步强化了这一机制 。指标 | 全称 | 计费/衡量方式 | 核心关注方 | 应用场景 |
CPM | Cost Per Mille | 每千次曝光付费 | 广告主 | 品牌广告、展示广告 |
CPC | Cost Per Click | 按点击次数付费 | 广告主 | 搜索广告、效果广告 |
CPA | Cost Per Action | 按用户行为(如注册、下载)付费 | 广告主 | 效果广告 |
eCPM | Effective Cost Per Mille | 每千次曝光的有效收入 | 平台/媒体 | 统一排序、收入衡量 |
RTB | Real-Time Bidding | 实时竞价 | 平台、广告主 | 程序化广告交易 |
表格2:广告系统主要计费与优化指标
2.3 模型优化:从CTR到多目标融合
广告算法的预估目标高度统一,即点击率(CTR)和转化率(CVR)。这是因为在效果类广告中,点击和转化是衡量广告效果和计算计费的关键指标 。然而,现代广告系统也开始向多目标优化演进,以追求长期价值。例如,京东的广告排序机制从点(CTR)到线(长期价值,如LTV)再到面(序列化重排),通过预测用户点击后的站内价值和长期浏览行为,将更复杂的收益指标纳入模型,从而提升整体效率和用户体验 。这一演进与推荐系统在精排阶段的多目标优化趋势不谋而合。
第三部分:搜索系统:以用户意图为驱动的技术特质
搜索系统在本质上区别于推荐和广告,其核心挑战是理解用户输入的简短
Query背后的真实意图,而这一挑战由Query理解环节来解决。3.1 搜索的独有前置任务:Query理解
Query理解(Query Understanding)是搜索链路中至关重要的前置任务,它旨在将用户的原始Query转化为机器能够高效处理和检索的“增强查询” 。自然语言处理(NLP)是
Query理解的核心技术,它使计算机能够解读、处理和理解人类语言,处理其中的歧义、俚语和语法异常 。Query理解的具体任务包括:- 分词与预处理:对
Query进行分词,并进行大小写转换、去空格等预处理 。
- 拼写纠错与改写:纠正用户输入中的拼写错误,或将
Query归一化和扩展,以确保即使输入有误也能召回正确结果 。
- 同义词扩展:通过同义词库或向量模型(如词嵌入)将
Query扩展到同义或相似的词,以扩大召回范围 。
- 意图识别与实体识别(NER):识别
Query中的品牌、品类、人物等实体,并判断用户的搜索意图,例如是购物、新闻还是求助 。
Query理解是搜索与推荐的根本性差异所在。推荐系统是“猜你喜欢”,其输入是用户的历史行为,是一种被动的信息触达。而搜索是用户的主动行为,其输入是用户输入的Query 。这个Query是用户意图的高度浓缩,但充满了模糊和歧义。因此,Query理解这一环节成为了搜索系统的生命线,它是将用户的模糊意图转化为精准检索指令的“翻译器”,要求系统不仅能处理关键词匹配,更能理解语义和上下文 。3.2 搜索的召回与排序:在相关性约束下的推荐技术
搜索召回是“推荐+
Query自然语言处理”的混合体。它通常结合两种主要技术:传统的关键词匹配(如倒排索引)和现代的向量化召回。关键词匹配确保搜索结果与用户Query中的关键词高度相关,而向量化召回则将Query和文档/商品转化为向量,进行向量相似度检索,以解决语义相关性问题 。搜索排序模型同样采用多级架构,但在排序过程中,**相关性(Relevance)**是首要的考虑因素。它需要在相关性(
Query-Item匹配)的基础上,融合个性化(用户历史)、热度(流行度)等推荐信号 。现代搜索与推荐技术的界限正在模糊,它们正在相互借鉴和融合。传统上,搜索被认为是提供“正确答案”,而推荐是提供“个性化建议”。然而,随着技术发展,搜索结果越来越个性化 ,而推荐系统的隐式“搜索”能力也越来越强 。这种融合体现在技术上,就是搜索排序开始引入推荐系统的多目标排序和个性化技术,而推荐系统则借鉴了搜索的向量化检索(如双塔模型)来解决召回效率问题。3.3 评估指标:从“排得更好”到“搜得更全更准”
由于搜索某种意义上存在着“正确答案”,其评估更看重
召回率(Recall)、NDCG(Normalized Discounted Cumulative Gain)和MAP(Mean Average Precision)等能够衡量结果相关性和排序质量的指标 [User Query]。这些指标相比于推荐系统常用的AUC(Area Under the Curve),更能反映搜索结果列表的整体质量和相关性。对比维度 | 搜索(搜) | 广告(广) | 推荐(推) |
核心业务目标 | 高效满足用户意图,精准获取信息 | 商业化变现,最大化平台收入 | 提升用户参与度,增加平台流量与时长 |
用户交互模式 | 主动输入 Query,主动寻找信息 | 被动接受信息,被动触达 | 被动接受信息,被动触达(猜你喜欢) |
核心技术挑战 | Query理解,将模糊意图转化为精准指令 | 三方利益协调(用户-平台-广告主) | 从海量信息中发现用户潜在兴趣 |
核心技术模块 | Query理解(NLP、改写)、倒排索引 | 竞价系统、eCPM计算、智能出价 | 召回、多级排序、重排 |
主要预估目标 | Query与文档相关性、用户点击率 | 点击率(CTR)、转化率(CVR) | 观看时长、点击率(CTR)、互动率、完播率 |
主要评估指标 | 召回率、NDCG、MAP | 预估偏差、平台总收入、ROI | AUC、gAUC、MAP、DAU、用户总时长 |
导出到 Google 表格
表格3:搜广推三大业务核心技术对比
结论与展望:搜广推技术的融合与未来
本报告深入分析了搜索、广告和推荐三大核心业务在技术架构上的异同。搜索的核心是理解用户意图,广告的核心是协调三方利益并变现,而推荐的核心是激发用户兴趣并提升参与度。尽管业务目标不同,但在底层技术上,它们都趋同于多阶段级联架构、多目标排序以及向量化检索。这种技术的趋同并非偶然,而是互联网大规模服务为解决“高并发、低延迟”与“高精准、强个性化”这一根本矛盾而形成的通用解法。
展望未来,搜广推技术融合的趋势将继续深化。
- 多任务学习(Multi-task Learning):平台的目标将不再是单一的点击或购买,而是多维度的用户价值,这使得多任务学习成为主流。通过一个模型同时预测点击、观看时长、点赞等多个目标,平台能够更全面地衡量用户价值,并实现各指标的协同提升 。
- 大模型(Large Models):语言大模型在理解
Query意图、生成内容,甚至模拟用户行为等方面潜力巨大,可能会进一步模糊搜广推的界限。这些大模型能够更深入地理解人类语言的复杂性,从而提升搜索的相关性;同时,它们也能通过理解用户行为序列,生成更具创造性和个性化的推荐内容,甚至能够协助广告主进行创意生成和智能出价。
- 统一建模(Unified Modeling):最终的演进方向可能是一个
One-Model-to-Rule-Them-All的统一模型。该模型能够同时处理搜索、推荐和广告的复杂任务,并根据不同的场景和目标动态调整其策略。这种统一建模将减少不同系统间的数据和模型壁垒,提高整体效率,并为用户提供更加无缝和连贯的体验。
