HuffPost 20万新闻标题数据集：NLP文本分类实战与避坑指南

简介新闻类别数据集面向数据科学、自然语言处理与新闻传播方向的学习者和研究者提供一份可直接用于文本分类与趋势分析的真实语料。资源包内共1个文件为JSON格式的新闻标题数据压缩包约25.44MB单文件结构便于快速读取与清洗。数据覆盖2012至2018年HuffPost约20万条新闻标题每条记录包含标题文本、发布日期、作者、原文链接及新闻类别标签可用于新闻自动分类、文本挖掘、时间序列分析与情感分析等任务。借助类别标签读者能够统计不同主题新闻的分布与演变训练朴素贝叶斯、SVM、CNN或Transformer等分类模型并探究标题写作风格与热门词汇规律。目前已有471人学习下载适合作为课程实验、毕业设计或算法练手的入门到进阶语料帮助读者在真实数据上完成从预处理到建模的完整实践。1. 新闻类别数据集20 万条 HuffPost 标题能跑出什么结果如果你手头正好有一个新闻分类、标题生成或者文本挖掘的任务又不想从零爬数据、洗数据、标数据那这份News_Category_Dataset_v2.json值得先跑一遍。它来自 HuffPost 2012 到 2018 年的真实新闻标题大约 20 万条每条带标题文本、发布日期、作者、原文链接和类别标签。我第一次拿到它的时候本来只想做个简单的文本分类 demo结果发现时间跨度足够做趋势分析类别分布足够做长尾实验标题长度又刚好卡在短文本建模的甜区。适合谁做 NLP 入门到中级实战的工程师、需要快速验证分类模型的数据科学家以及想拿真实语料做文本挖掘的学生。下面我按“先看清数据长什么样再跑通一条分类基线最后把坑填平”的顺序拆一遍。2. 拆开 JSON 看结构字段含义与类别分布怎么读2.1 单条记录的字段与类型这个数据集是 JSON Lines 格式每行一个独立 JSON 对象不是一个大数组。常见做法是用pandas.read_json配合linesTrue直接读。先看一条记录长什么样import pandas as pd df pd.read_json(News_Category_Dataset_v2.json, linesTrue) print(df.shape) print(df.iloc[0].to_dict())输出大致是{ category: CRIME, headline: There Were 2 Mass Shootings In Texas Last Week, But No Outcry, authors: Melissa Jeltsen, link: https://www.huffingtonpost.com/entry/..., short_description: ..., date: 2018-05-26 }逻辑说明linesTrue是关键参数不加会报ValueError: Trailing data。date列读进来默认是字符串后续做时间序列要手动转datetime。short_description在 v2 里部分记录为空别默认它一定存在。参数说明df.shape正常应该在(200853, 6)左右如果你读到 18 万或 22 万说明文件版本或截断方式不同。category是字符串标签headline是主要建模字段authors有大量空值link基本唯一但可能重复。2.2 类别分布与长尾问题读完先别急着建模看一眼类别分布。这个数据集有 40 多个类别但分布极不均匀。常见做法是cat_counts df[category].value_counts() print(cat_counts.head(10)) print(cat_counts.tail(10)) print(类别总数:, df[category].nunique())你会看到POLITICS、WELLNESS、ENTERTAINMENT排在前列而EDUCATION、LATINO VOICES等只有几百条。这意味着如果直接做多分类模型会偏向头部类别。我一般会先设一个阈值比如少于 500 条的类别合并成OTHER或者干脆只保留 Top 20 类别做基线。参数说明value_counts()默认降序nunique()看类别总数。合并类别时注意别把POLITICS和WELLNESS混在一起它们语义差异大合并会拉低模型区分度。2.3 时间字段的解析与跨度确认date列从 2012 到 2018但每年数据量不一样。做时间序列前先转格式并按月聚合df[date] pd.to_datetime(df[date]) df[year] df[date].dt.year df[month] df[date].dt.to_period(M) print(df.groupby(year).size())逻辑说明to_period(M)比dt.month更适合做月度趋势因为它保留了年份信息。如果直接按month分组2012 年 1 月和 2018 年 1 月会被混在一起。参数说明pd.to_datetime默认能解析YYYY-MM-DD如果报错加errorscoerce把异常值变NaT。时间跨度确认后你会发现 2018 年数据只到 5 月左右做年度对比时要注意这个截断。3. 从标题到特征文本预处理与向量化实操3.1 清洗策略保留什么、去掉什么新闻标题里有很多干扰项URL、HTML 实体、特殊符号、全大写单词。我一般按这个顺序洗import re def clean_headline(text): text text.lower() text re.sub(rhttp\S|www\S, , text) text re.sub(r[a-z];, , text) text re.sub(r[^a-z0-9\s], , text) text re.sub(r\s, , text).strip() return text df[clean_headline] df[headline].apply(clean_headline)逻辑说明先转小写统一大小写再去 URL 和 HTML 实体然后只保留字母数字和空格。注意别把数字全删了新闻标题里的数字往往有信息量比如“2018”“3 dead”。参数说明re.sub(r[^a-z0-9\s], , text)会把标点替换成空格避免“trumps”变成“trumps”这种粘连。如果你要做词形还原这一步之后再加nltk或spaCy。3.2 停用词与词干提取的取舍停用词不是必须去。新闻标题很短去掉the、a、in之后可能只剩三四个词反而丢失上下文。我的经验是用 TF-IDF 时保留停用词让 IDF 自己降权用词袋模型时再去停用词。词干提取用SnowballStemmer比PorterStemmer更稳但会牺牲可读性。from nltk.stem import SnowballStemmer stemmer SnowballStemmer(english) def stem_text(text): return .join([stemmer.stem(w) for w in text.split()]) df[stemmed] df[clean_headline].apply(stem_text)逻辑说明SnowballStemmer对英文支持好stem方法逐词处理。如果你要做可解释性分析跳过词干提取直接用清洗后的文本。参数说明text.split()默认按空格切清洗后已经规整过不用再处理标点。词干提取后running变runbetter变better不规则词不处理这是正常现象。3.3 TF-IDF 与 CountVectorizer 的参数选择基线模型我一般用 TF-IDF 线性分类器。TfidfVectorizer的关键参数from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features50000, ngram_range(1, 2), min_df3, max_df0.9, sublinear_tfTrue ) X vectorizer.fit_transform(df[clean_headline])逻辑说明max_features50000控制维度20 万条标题用 5 万特征够用。ngram_range(1,2)捕捉二元短语比如“white house”。min_df3过滤极低频词max_df0.9过滤几乎每篇都出现的词。sublinear_tfTrue用1log(tf)替代原始词频防止长标题主导。参数说明如果你内存吃紧把max_features降到 20000精度掉 1 到 2 个点。min_df设 1 会引入大量噪声设 5 以上会丢稀有类别信号。ngram_range上到(1,3)维度爆炸不建议。4. 训练分类模型朴素贝叶斯、SVM 与 CNN 的对比4.1 朴素贝叶斯基线快但别指望太高MultinomialNB是最快的基线适合先跑通流程from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report X_train, X_test, y_train, y_test train_test_split( X, df[category], test_size0.2, random_state42, stratifydf[category] ) nb MultinomialNB(alpha0.1) nb.fit(X_train, y_train) y_pred nb.predict(X_test) print(classification_report(y_test, y_pred, zero_division0))逻辑说明stratify保证训练集和测试集类别比例一致不然稀有类别可能全跑测试集。alpha0.1比默认 1.0 更适合文本平滑力度小一点。参数说明zero_division0避免稀有类别 precision 为 0 时报 warning。这个基线在 Top 10 类别上大概 55% 到 60% 准确率别期待太高它的价值是验证流程。4.2 线性 SVM文本分类的性价比之选LinearSVC在这个数据集上通常比朴素贝叶斯高 5 到 8 个点from sklearn.svm import LinearSVC svm LinearSVC(C1.0, class_weightbalanced, max_iter2000) svm.fit(X_train, y_train) y_pred_svm svm.predict(X_test) print(classification_report(y_test, y_pred_svm, zero_division0))逻辑说明class_weightbalanced自动按类别频率反比加权缓解长尾问题。C1.0是正则强度文本分类常用 0.5 到 2.0 之间。参数说明max_iter2000防止不收敛警告。如果报ConvergenceWarning先调max_iter再考虑降C。这个模型在 Top 10 类别上能到 65% 左右。4.3 CNN 与 Transformer什么时候值得上如果你有 GPU可以试TextCNN或DistilBERT。但注意这个数据集标题很短平均 10 个词左右CNN 的卷积核窗口 3、4、5 已经覆盖大部分 n-gram再深收益有限。Transformer 需要微调DistilBERT在 20 万条上跑 3 个 epoch 大概能到 70% 到 72%但训练时间是 SVM 的几十倍。常见做法是先用 SVM 拿到基线再决定要不要上深度模型。如果业务要求准确率 70% 以上再考虑DistilBERT或RoBERTa。别一上来就上大模型调参成本高收益不一定匹配。5. 避坑与排查数据读取、类别不平衡与内存问题5.1 读取 JSON 报 Trailing Data现象pd.read_json(News_Category_Dataset_v2.json)报ValueError: Trailing data。原因文件是 JSON Lines 格式每行一个对象不是单个 JSON 数组。解决加linesTrue。如果还报错用pd.read_json(..., linesTrue, encodingutf-8)显式指定编码。5.2 类别不平衡导致模型全预测头部类现象classification_report里稀有类别 recall 为 0模型几乎只预测POLITICS和WELLNESS。原因训练集类别分布极度倾斜损失函数被头部类别主导。解决设class_weightbalanced或者对头部类别降采样、对尾部类别过采样。我一般先试class_weight不行再动采样。5.3 内存溢出TF-IDF 矩阵太大现象TfidfVectorizer在max_features50000时内存占用超过 4GB。原因20 万条文本5 万特征稀疏矩阵存储但fit_transform过程中会临时膨胀。解决降max_features到 20000或者用HashingVectorizer替代。HashingVectorizer不需要存词表内存更稳但无法反查特征名。5.4 日期解析失败现象pd.to_datetime(df[date])报OutOfBoundsDatetime或ParserError。原因部分日期格式不统一或者有缺失值。解决加errorscoerce把异常值变NaT然后df.dropna(subset[date])。检查一下是不是有2018-05-32这种非法日期。5.5 作者字段空值过多现象想按作者做分析发现authors列大量为空或重复。原因HuffPost 部分文章没有署名或者同一作者名有拼写变体。解决别把authors当主特征。如果一定要用先df[authors].fillna(unknown)再做频率编码。但注意这个字段的噪声很大我一般直接跳过。6. 进阶技巧用时间序列和语言识别榨干这份数据6.1 按月度看类别趋势这份数据的时间跨度是它区别于普通分类数据集的核心价值。我一般会按month和category做交叉聚合看哪些类别在特定时间段爆发trend df.groupby([month, category]).size().unstack(fill_value0) top_cats df[category].value_counts().head(5).index trend[top_cats].plot(figsize(12, 5))逻辑说明unstack把类别变成列fill_value0补缺失月份。top_cats只取前 5 个类别避免图太乱。参数说明month是Period类型plot时自动处理。如果你要导出 CSV先trend.to_csv()注意Period列会变成字符串。6.2 语言类型识别的可行性数据集主要是英文但如果你想练手多语言识别可以拿short_description做实验。常见做法是用langdetect或fasttext的lid.176模型from langdetect import detect sample df[short_description].dropna().head(1000) langs sample.apply(lambda x: detect(x) if len(x) 20 else unknown) print(langs.value_counts().head())逻辑说明detect对短文本不稳定所以加len(x) 20过滤。langdetect第一次运行会下载模型之后缓存。参数说明fasttext的lid.176更快更准但需要额外装包。如果你只是验证数据里有没有非英文langdetect够用。6.3 一个我常犯的错误刚开始用这份数据时我直接把headline和short_description拼在一起做特征结果模型在测试集上掉了 3 个点。原因是short_description有大量空值拼接后空字符串引入噪声而且部分描述和标题语义重复TF-IDF 权重被稀释。从那以后我每次做文本拼接前都强制先看两列的缺失率和长度分布确认互补性再动手。希望帮到你。本文还有配套的精品资源点击获取