大模型高效新闻推荐系统实践方案

在这个信息爆炸的时代，每天面对海量新闻推送，你是否也好奇过其背后的推荐逻辑？随着人工智能技术的飞速发展，尤其是像通义千问这类大模型能力的持续释放，构建一个高效、精准的新闻推荐系统，已不再是纸上谈兵。 下面，我们就从数据准备到最终推荐结果输出，一步步拆解这套基于大模型的新闻推荐系统完整方案。 ## 一、新闻推荐系统的整体架构 要构建一个靠谱的新闻推荐系统，方案大致可以拆分成以下几个环节： - 对新闻文章进行标签化处理，同时将新闻内容及其标签向量化存储； - 基于用户画像，捕捉用户的阅读历史和行为习惯，如点赞、收藏、点击过的文章； - 根据用户画像与行为，在文章库中执行初步搜索（即召回阶段）； - 对召回结果做精细化排序，综合考虑用户兴趣变化、文章来源、时效性等因素； - 最终输出Top 10的个性化推荐文章。 接下来，我们将每个环节的技术细节与实现方案逐一拆解。 ## 二、数据准备 做推荐系统的第一步，自然是准备好数据。需要搞定两样东西：新闻数据，以及用户行为日志。新闻数据包含新闻的ID、类别、标题、摘要等；用户行为日志则记录了用户的点击历史和展示历史。 ### 2.1 读取新闻数据 先把新闻数据文件 news.tsv 读进来，转成Pandas DataFrame。 ```python import pandas as pd # 读取新闻数据 news_df = pd.read_csv('news.tsv', sep='\t', header=None, names=['news_id', 'category', 'subcategory', 'title', 'abstract', 'url', 'title_entities', 'abstract_entities']) # 查看前几行数据 print(news_df.head()) ``` ### 2.2 读取用户行为日志 同样地，用户行为日志文件 beha viors.tsv 也需要读进来。 ```python # 读取用户行为日志 beha vior_df = pd.read_csv('beha viors.tsv', sep='\t', header=None, names=['impression_id', 'user_id', 'time', 'history', 'impressions']) # 查看前几行数据 print(beha vior_df.head()) ``` ## 三、新闻推荐实现方案 接下来就是重头戏了——结合大模型的能力，从数据处理、用户画像生成到推荐结果，走通全流程。 ### 3.1 已有的文章打标签 要让系统更好地理解新闻内容，先给已有文章打上标签。标签能够帮助我们在召回和排序时做到更精准。 **3.1.1 设计打标签Prompt** 设计一个清晰的Prompt，告诉大模型需要生成什么样的标签。 ```python from qwen import QwenClient # 初始化通义千问客户端 client = QwenClient(api_key='YOUR_API_KEY') def tag_articles(articles, client): tagged_articles = [] for article in articles: prompt = f"为以下文章生成标签：\n类别: {article['category']}, 子类别: {article['subcategory']}, 标题: {article['title']}, 摘要: {article['abstract']}\n请生成相关的标签。" # 调用通义千问生成标签 response = client.generate(prompt) tags = response.strip().split(',') tagged_articles.append({**article, 'tags': tags}) return tagged_articles ``` **3.1.2 应用打标签函数** 把这个函数应用到新闻数据上，就能得到带标签的新闻数据集。 ```python # 示例：为新闻文章打标签 tagged_news_df = tag_articles(news_df.to_dict('records'), client) tagged_news_df = pd.DataFrame(tagged_news_df) # 查看带有标签的新闻数据 print(tagged_news_df.head()) ``` ### 3.2 用户画像 用户画像是推荐系统的核心。通过分析用户的点击历史和收藏、点赞、点击等行为，可以生成用户的兴趣画像，更精准地把握用户偏好。 **3.2.1 设计生成用户画像Prompt** 首先设计Prompt，让大模型根据用户的点击历史输出兴趣描述。 ```python def generate_user_profile(user_history, client): # 将用户点击过的新闻详细信息拼接成一段长文本 history_news = tagged_news_df[tagged_news_df['news_id'].isin(user_history)] history_text = ' '.join(history_news['title'] + ' ' + history_news['abstract'].fillna('')) # 设计prompt prompt = f"基于以下用户点击历史，生成一个用户画像，描述用户感兴趣的新闻主题和地区。\n点击历史:\n{history_text}\n请描述用户的兴趣主题和关注地区。" # 调用通义千问生成用户画像 response = client.generate(prompt) user_profile = response.strip() return user_profile ``` **3.2.2 应用生成用户画像函数** 把函数应用在用户的点击历史上，就能生成其兴趣画像。 ```python # 示例：生成用户画像 user_history = ['N1', 'N2', 'N3'] # 假设这是某个用户的点击历史 user_profile = generate_user_profile(user_history, client) # 输出用户画像 print(user_profile) ``` ### 3.3 搜索召回 用户画像生成之后，就需要根据用户的兴趣和行为（收藏、点赞、看过的文章等），从新闻库里召回一批匹配的候选新闻。 **3.3.1 设计召回候选新闻Prompt** 设计Prompt，让大模型从新闻库中筛选出与用户画像匹配的新闻。 ```python def recall_candidate_news(user_profile, tagged_news_df, client): # 设计prompt prompt = f"基于以下用户画像，从新闻库中召回一批与用户兴趣匹配的新闻。\n用户画像:\n{user_profile}\n新闻库:\n{tagged_news_df.to_json(orient='records')}\n请从新闻库中选出与用户兴趣匹配的新闻。" # 调用通义千问召回候选新闻 response = client.generate(prompt) candidate_news_ids = response.strip().split('\n') # 获取召回的候选新闻 candidate_news = tagged_news_df[tagged_news_df['news_id'].isin(candidate_news_ids)] return candidate_news ``` **3.3.2 应用召回候选新闻函数** 将函数作用到用户画像上，拿到候选新闻。 ```python # 示例：召回候选新闻 candidate_news = recall_candidate_news(user_profile, tagged_news_df, client) # 输出召回的候选新闻 print(candidate_news) ``` ### 3.4 精排 候选新闻到手之后，还需要根据用户兴趣的细微变化、新闻的时效性、来源等因素做精细排序，才能保证推荐结果的相关性。 **3.4.1 设计评分和排序Prompt** 设计Prompt，让大模型给候选新闻打分并排序。 ```python def score_and_rank_news(user_profile, candidate_news, client): # 设计prompt candidate_news_json = candidate_news.to_json(orient='records') prompt = f"基于以下用户画像，对以下候选新闻进行评分，并按评分从高到低排序。\n用户画像:\n{user_profile}\n候选新闻:\n{candidate_news_json}\n请对这些候选新闻进行评分，并按评分从高到低排序。" # 调用通义千问进行评分和排序 response = client.generate(prompt) scored_news = json.loads(response.strip()) # 将评分结果转换为DataFrame scored_news_df = pd.DataFrame(scored_news) scored_news_df = scored_news_df.sort_values(by='score', ascending=False) return scored_news_df ``` **3.4.2 应用评分和排序函数** 最后，把函数用到候选新闻上，得到排序后的列表。 ```python # 示例：评分和排序 scored_news = score_and_rank_news(user_profile, candidate_news, client) # 输出评分和排序后的新闻列表 print(scored_news) ``` ### 3.5 输出Top 10的文章 这一步最简单，直接把排序后的Top 10推荐给用户。 ```python # 输出推荐结果 top_n = 10 recommended_news = scored_news.head(top_n) # 输出推荐的Top 10新闻 print(recommended_news[['news_id', 'title', 'score']]) ``` ## 四、总结 通过以上步骤，就可以利用大模型构建一个高效的新闻推荐系统了。系统基于用户的阅读行为和兴趣生成画像，再经过召回和精排，最终推荐出最符合用户偏好的内容。往后，还可以通过持续收集用户反馈、加入更细致的用户行为分析（比如点赞、收藏等），进一步优化推荐效果与体验。