mlcourse.ai 实战：基于 Tf-Idf 与逻辑回归的 Reddit 讽刺评论检测（Assignment 4 Demo 全解）

机器学习教程人工智能数据分析【免费下载链接】mlcourse.aiOpen Machine Learning Course项目地址https://gitcode.com/gh_mirrors/ml/mlcourse.ai点击查看免费下载本篇技术指南围绕 mlcourse.aiOpen Machine Learning CourseDemo 作业四展开利用超过 100 万条 Reddit 评论构建讽刺sarcasm二分类器。文章以 assignment04_sarcasm_detection_with_logit.md 为主骨架结合仓库中对应的 任务 Notebook 与 完整参考答案 Notebook完整复现数据下载、EDA、Tf-Idf 特征化、逻辑回归训练、混淆矩阵评估、ELI5 解释以及用 subreddit 元特征提升精度的全过程。读者学完后将掌握一套词向量Tf-Idf线性分类器可解释性工具的标准 NLP 文本分类实战方案。任务背景为什么讽刺检测是一个有挑战的分类问题讽刺sarcasm是人类语言中最难被机器识别的修辞手法之一——字面含义与实际意图相反。本作业使用论文《A Large Self-Annotated Corpus for Sarcasm》公开的自标注语料超过 100 万条来自 Reddit 的评论每条被标注为讽刺或非讽刺。这是一个天然的文本二分类问题也是逻辑回归Logistic Regression在自然语言处理领域的典型应用场景。本文档在 mlcourse.ai 中对应 Demo 作业四仓库中同时提供了三份可对照学习的材料作业正文assignment04_sarcasm_detection_with_logit.mdMyST Markdown 格式待完成版 Notebookjupyter_english/assignments_demo/assignment04_sarcasm_detection_with_logit.ipynb完整解答版 Notebookjupyter_english/assignments_demo/assignment04_sarcasm_detection_with_logit_solution.ipynb法文版同款作业位于 jupyter_french/assignments_demo/a4-demo-sarcasm-detection-with-logit-fr_def.ipynb:width: 400px 图 1作业正文中自带的一处冷幽默配图暗示讽刺检测并非表面看起来那么容易环境准备与依赖库作业开头给出了全部必要的导入语句它们是后续所有步骤的基础# some necessary imports import os from pathlib import Path import numpy as np import pandas as pd import seaborn as sns from matplotlib import pyplot as plt from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score, confusion_matrix from sklearn.model_selection import train_test_split from sklearn.pipeline import Pipeline依赖清单可归纳为四类类别库用途数据科学基础numpy、pandas数组运算与表格数据处理可视化seaborn、matplotlibEDA 绘图机器学习scikit-learnTf-Idf 向量化、逻辑回归、评估、Pipeline系统工具os、pathlib文件路径与下载管理数据集下载与加载原始语料超过 100 万条评论体积较大不适合直接存放在仓库中。作业正文提供了一个 Google Drive 下载辅助函数通过gdown命令行工具完成下载def download_file_from_gdrive(file_url, filename, out_path../../_static, overwriteFalse): Downloads a file from GDrive given an URL :param file_url: a string formated as https://drive.google.com/uc?idfile_id :param: the desired file name :param: the desired folder where the file will be downloaded to :param overwrite: whether to overwrite the file if it already exists file_exists os.path.exists(f{out_path}/{filename}) if (file_exists and overwrite) or (not file_exists): os.system(fgdown {file_url} -O {out_path}/{filename})该函数的三个关键点幂等性只有文件不存在、或显式设置overwriteTrue时才触发下载避免重复下载浪费流量参数语义file_url必须是形如https://drive.google.com/uc?idfile_id的分享链接filename是保存的文件名out_path指定下载目录可移植性内部调用os.system执行gdown要求环境中已安装 gdownpip install gdown。随后设定常量并读取数据FILE_URL https://drive.google.com/uc?id1KbBdJaEY8RF4GXzoihWgH0RdqoVBZ_oi FILE_NAME train-balanced-sarcasm.csv.zip DATA_PATH ../../_static/data/ download_file_from_gdrive(file_urlFILE_URL, filenameFILE_NAME, out_pathDATA_PATH) train_df pd.read_csv(DATA_PATH train-balanced-sarcasm.csv.zip)如果下载不便也可从 Kaggle 的 Sarcasm 数据集下载train-balanced-sarcasm.csv.zip放入本地任意目录后修改DATA_PATH指向即可。注意仓库中的 Jupyter Notebook 版本将DATA_PATH指向../input/sarcasm/train-balanced-sarcasm.csv这是 Kaggle 环境的默认输入路径在本地运行时请按实际目录调整。数据初探head / info / 缺失值处理 / 类别平衡加载后首先用train_df.head()查看前几行确认列结构再用train_df.info()检查每一列的类型与非空情况核心特征列comment评论文本、subreddit所在子版块、author作者、score评分等目标列label取值 0非讽刺或 1讽刺。由于部分评论文本缺失直接删除对应行train_df.dropna(subset[comment], inplaceTrue)随后统计标签分布验证数据集确实平衡这正是 train-balanced 的含义train_df[label].value_counts()讽刺与非讽刺样本数大致各占一半这使accuracy准确率成为合理的主要评估指标不需要额外处理类别不平衡问题。划分训练集与验证集使用train_test_split以固定随机种子划分保证结果可复现train_texts, valid_texts, y_train, y_valid train_test_split( train_df[comment], train_df[label], random_state17 )random_state17是整个 mlcourse.ai 课程中统一采用的随机种子保证作业、答案与读者自跑的结果可以横向比较。默认test_size0.25即 75% 用于训练、25% 用于验证。作业任务清单原文作业正文给出了明确的四项任务后续章节逐一展开EDA分析数据集并绘制可视化图表长度分布、词云、子版块统计等建模构建 Tf-Idf 逻辑回归 Pipeline基于评论comment预测label解释用 ELI5 绘制对讽刺最具判别力的词/二元词组进阶可选把subreddit当作 Bag of Words 特征加入模型观察精度提升。Part 1探索性数据分析EDA解答版 Notebook 给出了一套完整的 EDA 流程这里逐条解读其业务洞察。评论长度分布分别对讽刺与非讽刺评论的字符长度取log1p对数压缩缓解长尾后绘制直方图train_df.loc[train_df[label] 1, comment].str.len().apply(np.log1p).hist( labelsarcastic, alpha0.5 ) train_df.loc[train_df[label] 0, comment].str.len().apply(np.log1p).hist( labelnormal, alpha0.5 ) plt.legend()结论是两类评论的长度分布几乎一致——长度本身不是有效的判别信号必须依赖词汇内容。词云使用wordcloud库分别对两类评论生成词云直观感受高频词的差异from wordcloud import STOPWORDS, WordCloud wordcloud WordCloud( background_colorblack, stopwordsSTOPWORDS, max_words200, max_font_size100, random_state17, width800, height400, ) plt.figure(figsize(16, 12)) wordcloud.generate(str(train_df.loc[train_df[label] 1, comment])) plt.imshow(wordcloud)词云能给出直观印象例如讽刺评论中常见 sure、right、yeah 等反讽高频词但如作业所评价词云好看但对建模帮助有限——它只是词频的粗略可视化真正的判别力要靠后面的带权重线性模型。子版块 / 作者 / 评分的讽刺倾向对subreddit分组聚合观察哪些板块平均讽刺率更高sub_df train_df.groupby(subreddit)[label].agg([np.size, np.mean, np.sum]) sub_df.sort_values(bysum, ascendingFalse).head(10) sub_df[sub_df[size] 1000].sort_values(bymean, ascendingFalse).head(10)聚合结果同时给出样本数size、平均讽刺率mean与讽刺样本总数sum限定size 1000是为了过滤掉样本过少、统计噪声大的子版块。同样的思路用于author作者层面几乎无区分度仅显示采样规律和score正负评分分层统计——这些分析为 Part 4 的子版块特征工程埋下伏笔。Part 2构建 Tf-Idf 逻辑回归 Pipeline这是本作业的核心建模环节。解答版给出了完整参数# build bigrams, put a limit on maximal number of features # and minimal word frequency tf_idf TfidfVectorizer(ngram_range(1, 2), max_features50000, min_df2) # multinomial logistic regression a.k.a softmax classifier logit LogisticRegression(C1, n_jobs4, solverlbfgs, random_state17, verbose1) # sklearns pipeline tfidf_logit_pipeline Pipeline([(tf_idf, tf_idf), (logit, logit)])三个组件的设计意图逐条说明TfidfVectorizer(ngram_range(1, 2), max_features50000, min_df2)ngram_range(1, 2)同时生成单词与相邻二元词组bigram捕获 yes sure、oh really 这类讽刺性搭配max_features50000只保留 TF-IDF 权重最高的 5 万个特征控制稀疏矩阵规模与训练开销min_df2出现次数少于 2 的词直接丢弃过滤拼写错误与一次性词汇兼具降噪与降维作用LogisticRegression(C1, n_jobs4, solverlbfgs, random_state17, verbose1)C1正则化强度的倒数C 越小正则越强这里保持默认以留出调节空间solverlbfgs适合中小规模稠密/稀疏特征的拟牛顿求解器对多分类同样适用n_jobs4并行计算加速大规模稀疏矩阵上的训练random_state17保证可复现Pipeline([(tf_idf, tf_idf), (logit, logit)])把特征化 建模串成一体fit时先学习词典再训练模型predict时自动沿用同一套词汇表避免验证集信息泄漏。训练与预测%%time tfidf_logit_pipeline.fit(train_texts, y_train) %%time valid_pred tfidf_logit_pipeline.predict(valid_texts)评估accuracy_score(y_valid, valid_pred)Part 3混淆矩阵与 ELI5 模型解释混淆矩阵解答版自定义了一个可复用的混淆矩阵绘图函数支持normalize归一化与path_to_save_fig保存核心部分如下cm confusion_matrix(actual, predicted).T if normalize: cm cm.astype(float) / cm.sum(axis1)[:, np.newaxis] plt.imshow(cm, interpolationnearest, cmapcmap) plt.colorbar() # ... 在每个格子中标注数值阈值 cm.max()/2 决定文字黑/白两色 plt.ylabel(Predicted label) plt.xlabel(True label)调用时直接传入验证集真实标签、预测结果以及模型类别plot_confusion_matrix( y_valid, valid_pred, tfidf_logit_pipeline.named_steps[logit].classes_, figsize(8, 8), )这里展示了Pipeline.named_steps[logit]的用法——通过名称索引取出流水线中的子估计器是 sklearn Pipeline 的常用调试技巧。作业结论混淆矩阵相当均衡两类错误率接近模型没有明显偏向某一类。用 ELI5 揭示讽刺关键词作业推荐用 ELI5 库可视化逻辑回归权重找到对讽刺最具判别力的词/词组import eli5 eli5.show_weights( estimatortfidf_logit_pipeline.named_steps[logit], vectfidf_logit_pipeline.named_steps[tf_idf], )show_weights需要同时传入估计器与对应的向量化器vec以便把逻辑回归系数从特征索引还原为人类可读的词条。输出结果中正向权重最大的特征即最强烈的讽刺信号例如 yes sure、oh yeah 等明显反讽用语——这正是上文中ngram_range(1, 2)保留二元词组的意义所在。Part 4进阶把 subreddit 作为 Bag of Words 特征作业的加分项是把元数据subreddit特征化后与文本特征拼接。解答版的具体做法准备与双向量化器subreddits train_df[subreddit] train_subreddits, valid_subreddits train_test_split(subreddits, random_state17)文本与子版块各用一个独立的 Tf-Idf 向量化器tf_idf_texts TfidfVectorizer(ngram_range(1, 2), max_features50000, min_df2) tf_idf_subreddits TfidfVectorizer(ngram_range(1, 1))注意tf_idf_subreddits只用ngram_range(1, 1)子版块名本身就是单一 token无需组合词。分别变换后拼接X_train_texts tf_idf_texts.fit_transform(train_texts) X_valid_texts tf_idf_texts.transform(valid_texts) X_train_subreddits tf_idf_subreddits.fit_transform(train_subreddits) X_valid_subreddits tf_idf_subreddits.transform(valid_subreddits)用scipy.sparse.hstack将两个稀疏矩阵水平拼接为一个特征矩阵from scipy.sparse import hstack X_train hstack([X_train_texts, X_train_subreddits]) X_valid hstack([X_valid_texts, X_valid_subreddits])复用同一个逻辑回归训练与评估logit.fit(X_train, y_train) valid_pred logit.predict(X_valid) accuracy_score(y_valid, valid_pred)作业结论加入子版块特征后精度略有提升。原因不难理解某些子版块如特定幽默、吐槽类板块本身具有更高的讽刺倾向相当于给模型注入了对话场景这一先验信息而 Tf-Idf 子版块特征本质上就是作业要求的 Bag of Words 思路。关键经验与可迁移要点Tf-Idf 线性分类器是文本分类的高性价比基线在词序重要性有限的短文本场景如评论、推文上其效果常常不逊于复杂深度模型且训练成本极低二元词组bigram对讽刺检测价值显著讽刺信号多来自固定搭配而非单个词yes sure 这类特征只有通过ngram_range(1, 2)才能被模型捕捉Pipeline 保证一致性与复现性统一random_state并在 Pipeline 内完成 fit/transform可有效防止验证阶段的信息泄漏可解释性是工程落地的重要一环ELI5 权重可视化让黑盒分类器变得可审计便于发现数据偏差或部署前的规则化替换元数据特征工程简单有效把subreddit、author等结构化字段向量化后与文本特征拼接scipy.sparse.hstack是多源特征融合的低成本范式。延伸学习路径仓库内资料逻辑回归理论与文本分类应用参见仓库英文课程专题四jupyter_english/topic04_linear_models法文版见 jupyter_french/topic04_linear_models特征工程与特征选择专题jupyter_english/topic06_features_regression本作业其余兄弟作业作业一到十的 Demo 与解答集中在 jupyter_english/assignments_demo 目录适合作为完整 ML 实战路线逐题攻克。赞分享机器学习教程人工智能数据分析【免费下载链接】mlcourse.aiOpen Machine Learning Course项目地址https://gitcode.com/gh_mirrors/ml/mlcourse.ai点击查看免费下载相关推荐Reddit 讽刺评论检测实战用 Tf-Idf 与逻辑回归构建文本分类器mlcourse.ai Assignment 4 题解全解析Reddit 讽刺评论检测实战用 Tf Idf 与逻辑回归构建文本分类器mlcourse.ai Assignment 4 题解全解析 导读本文基于 ml机器学习教程人工智能数据分析Qwen3-Coder 评测仓库视角用 aider code editing benchmark 追踪 LLM 代码编辑性能稳定性——Claude 3.5 Sonnet 实测数据复盘Qwen3 Coder 评测仓库视角用 aider code editing benchmark 追踪 LLM 代码编辑性能稳定性——Claude 3.5 S机器学习教程人工智能数据分析TradingAgents-CN 上游同步策略分叉仓库的人工选择性同步实战指南TradingAgents CN 上游同步策略分叉仓库的人工选择性同步实战指南 本文档是 TradingAgents CN 仓库中 docs/maintena机器学习教程人工智能数据分析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考