浅谈互联网搜索

数据人学习平台上线介绍

数据人学习平台已正式上线，网址为：www.shujurenclub.com。该平台创始人@花花是一位经验丰富的数据分析师，曾服务于美团、腾讯和今日头条，操盘过高达数百亿的资源评估，并是“数据人创作者联盟”的成员。

搜索在互联网行业的背景和重要性

搜索功能在互联网行业至关重要，用户通过输入查询词（query）来找到与其相关性最高的信息。与推荐系统不同，搜索需要用户有明确的查找目标。文章旨在为从事或即将从事搜索行业的人员提供关于搜索流程、发展和现状的启发。

搜索流程的五个维度

搜索系统可分为五个维度：离线数据建设、Query理解、召回、排序和展示。每个维度都至关重要，涉及不同团队的开发和维护工作。

1. 离线数据建设：数据团队负责将非结构化数据处理成结构化数据，确保数据质量。
2. Query理解：用户输入的查询词被分析和解析，为后续召回和排序提供信息。
3. 召回：根据Query理解的信息，粗略筛选出候选集，减轻排序层的压力。
4. 排序：涉及粗排、精排和重排三个阶段，直接影响用户体验。
5. 展示：将数据以用户友好的方式呈现，前端同学负责开发和维护。

搜索技术应用：召回和排序

召回和排序是搜索引擎的核心。召回通常使用倒排索引和深度学习技术，如DSSM模型。排序从早期的人工规则演变到线性回归，再到树模型，最终演进为NN模型以提升性能。

总结与展望

文章概述了搜索的发展历程和流程，并指出搜索系统架构在业界较为稳定。然而，也指出了利用大数据训练大型模型（如Bert和Ernie）对搜索引擎进行端到端应用的新趋势。搜索领域仍有很多完善空间，需要业界共同努力。

附加信息

对数据知识感兴趣的读者可以参考《大数据实践之路：数据中台+数据分析+产品应用》一书，了解更多相关内容。