RAG+大语言模型拆解A股年报：AI指数到绿色全要素生产率的实证链路

简介这份资源面向经济学、金融科技及环境经济学研究者聚焦人工智能对企业绿色全要素生产率的影响评估。项目基于RAG技术结合大语言模型对A股上市公司年报进行深度分析构建统计模型并纳入企业融资约束异质性通过稳健性检验确保结论可靠。包内共20个文件涵盖7个Python脚本、7个Jupyter Notebook用于数据爬取、年报转换、GPT评分及可视化另含配置文件、问题清单、说明文档和附赠资料压缩包大小2.29MB目录结构清晰。已有66人学习下载适合具备一定计量经济学基础、希望借助LLM处理文本数据的科研人员。读者可获取完整的建模流程、可复用的爬取与分析脚本、数据处理与图表绘制代码以及针对融资约束异质性和稳健性检验的实操方案为相关研究提供可直接扩展的技术框架。1. 用RAG技术和大语言模型拆A股年报人工智能到绿色全要素生产率的量化链路研究人工智能与企业绿色全要素生产率GTFP关系的实证项目里最劝退的环节往往不是计量本身而是年报文本怎么变成可用变量。人工读几百份年报不现实纯关键词统计又抓不住“数字化投入、绿色研发、低碳转型”这类语义信息。这个资源把RAG技术和大语言模型串成一条流水线先爬取A股上市公司年报转成文本后按语义切块入库再用向量检索配合大语言模型对“人工智能”相关段落批量打分最后把分数聚合到公司-年度面板上做融资约束异质性分析和稳健性检验。对正在写AIGTFP、绿色转型实证或者需要“文本特征→计量模型”完整流程的从业者这是一套路径和参数都摆出来的模板。2. RAG知识库搭建年报爬取、文本切块与向量检索的落地参数2.1 爬取和解析从PDF到干净文本data_crawling 目录里两条主线很清晰年报爬取_final.py负责下载年报转换_final.py负责把PDF转成可检索的TXT。年报PDF和普通论文PDF有个明显区别动辄一两百页里面塞满资产负债表、利润表、股东信息这些结构化表格而RAG真正要的是管理层讨论、经营情况回顾、研发投入这些叙述性段落。我第一次做的时候直接整页提取结果向量库被财务报表噪声淹没了。正确做法是先按页解析再按章节位置做粗过滤。转换脚本里通常会保留“管理层讨论与分析”“公司经营情况”这类标题作为锚点把表格区域单独摘出去。# 年报转换_final.py 的核心逻辑简化 import re from pathlib import Path def convert_pdf_to_text(pdf_path, out_path): # 按页抽取文本保留页码信息方便后续定位章节 pages extract_pages(pdf_path) # 自定义函数返回 list[page_text] full_text \n.join(pages) # 过滤掉页眉页脚、目录、页码等噪声 lines full_text.split(\n) cleaned [] for line in lines: # 年报里常见干扰模式页码、纯数字、年度报告重复标题 if re.fullmatch(r\d{1,4}, line.strip()): continue if len(line.strip()) 2: continue cleaned.append(line.strip()) # 进一步按章节名定位只保留叙述性章节 seg_start find_section(cleaned, 管理层讨论与分析) seg_end find_section(cleaned, 财务报告) selected \n.join(cleaned[seg_start:seg_end]) Path(out_path).write_text(selected, encodingutf-8) return len(selected)这段逻辑的关键在于“先粗清、再切段”。find_section按关键词匹配章节位置不同年份年报的章名略有差异常见做法是维护一个同义词表比如“经营情况讨论与分析”和“管理层讨论与分析”都指向同一段区间。转换后的 TXT 不需要太完美只要能保留语义密度高的部分后面的切块和召回就会轻松很多。爬取脚本里还有个容易被忽略的点断点续爬。年报链接通常存在 CSV 里脚本启动时先检查本地文件是否存在存在就跳过避免中途断网后从头再来。这一步不是技术难点但能省下大量等待时间。2.2 文本切块和嵌入把语义变成可计算的向量RAG 知识库的质量一半取决于切块策略一半取决于嵌入模型。年报是长文档如果整篇塞进向量库检索时不光效率低召回的内容也会很泛。我一般把切块大小控制在 7001000 个中文字符块与块之间留 100150 字符的重叠这样既能保证语义完整又不至于让单块承载过多主题。嵌入模型建议直接用中文效果稳定的 BGE 系列比如BAAI/bge-large-zh-v1.5。download_model.py第一次运行会下载模型权重后续离线也能加载。# RAGGPT embedding.py 中建库部分的参数设置 from sentence_transformers import SentenceTransformer import faiss import numpy as np # 加载中文嵌入模型normalize_embeddings 开启后可用内积近似余弦相似度 model SentenceTransformer(BAAI/bge-large-zh-v1.5) chunks load_chunks(data_preprocess/clean_texts/) # list[str] vectors model.encode( chunks, batch_size16, # 显存不够时降到 8 normalize_embeddingsTrue, show_progress_barTrue ) vectors vectors.astype(float32) dimension vectors.shape[1] # 用 IndexFlatIP 做精确内积检索年报库体量不大不需要 IVF 或 HNSW index faiss.IndexFlatIP(dimension) index.add(vectors) faiss.write_index(index, annual_report_index.faiss)batch_size16是稳妥值半精度模型加载后大约占用 34GB 显存没有 GPU 的话改成 CPU 推理批大小降到 4 也能跑只是时间会拉长。IndexFlatIP是暴力精确检索A股年报文本库几千个块以内完全没有性能压力没必要上 HNSW后者调参反而容易翻车。normalize_embeddingsTrue必须和IndexFlatIP配合否则内积结果会被向量长度干扰。切块这一步最容易忽略的是重叠比例。年报里一个段落经常横跨“本年度公司继续加大人工智能技术在产线中的应用”和“同时推动绿色低碳改造”两个主题重叠太少会把这个完整语义切断。用 800 字主块加 120 字重叠效果比较稳定。2.3 检索再打分让大语言模型输出结构化结果embedding 建好库之后下一步是定义“问什么”。这里questions.json起着关键作用它存放了一组针对年报的标准化问题比如“公司在生产经营中应用了哪些人工智能技术”“公司是否有绿色生产或减排相关投入”“人工智能是否被用于优化能耗管理”。这些问题会被拼接上检索到的年报片段一起送给大语言模型打分。{ questions: [ 请根据上下文回答该公司在年度报告中提及了哪些人工智能技术应用场景, 请根据上下文回答该公司是否有绿色制造、节能减排或清洁生产相关投入, 请根据上下文回答该公司是否明确将人工智能用于生产效率提升 ], score_range: 1-5, output_format: json }gpt_score.py的核心工作就是批量执行“检索→组合提示→调用大语言模型→解析结果”。这里的提示词必须强调“只根据给定上下文回答”否则模型容易把通用知识混进来。# gpt_score.py 的提示词构造逻辑 def build_prompt(question, context_chunk): # context_chunk 来自向量检索的 top-k 结果 return ( 你是一名上市公司年报分析助手。请严格依据给定的年报片段回答问题。\n f年报片段{context_chunk}\n f问题{question}\n 请给出1-5分的整数评分并说明依据。 ) # 检索时取 top_k3三个片段分别评分后取均值 def retrieve_and_score(question, top_k3): query_vec model.encode([question], normalize_embeddingsTrue) scores, indices index.search(query_vec.astype(float32), top_k) chunk_texts [chunks[i] for i in indices[0]] final_score 0.0 for chunk in chunk_texts: response call_llm(build_prompt(question, chunk)) final_score parse_score(response) return final_score / top_ktop_k3是经验值。取太少单个片段可能只覆盖局部信息取太多模型注意力被摊薄评分反而不稳定。parse_score要处理模型输出“4分”“4”“得分4”等多种格式建议在提示词里强制要求 JSON 输出并在解析时做容错解析失败就丢弃该条并重试一次。3. 统计建模主流程AI特征如何落到GTFP和融资约束分析3.1 从RAG输出到公司-年度面板大语言模型打分结果是一行一行的 JSON每个公司每个年份可能有多条记录。统计建模需要的是公司-年度面板结构所以必须做一次聚合。# targets_df.py 的数据融合逻辑 import pandas as pd def build_targets_df(scores_path, stock_info_path): # score文件字段code, year, question_id, score scores pd.read_json(scores_path, linesTrue) # 同一公司同一年份下多个问题取均值得到AI活跃度指标 ai_index ( scores.groupby([code, year])[score] .mean() .rename(ai_index) .reset_index() ) # 关联公司基本信息行业、市值、上市时间、现金流等 info pd.read_csv(stock_info_path) merged ai_index.merge(info, on[code, year], howleft) # 面板数据必须显式排序避免后续固定效应估计时出现乱序 merged merged.sort_values([code, year]).reset_index(dropTrue) return merged这里有个很容易踩的坑groupby.mean()会把缺失值忽略掉如果某公司某年份因为年报没抓到或者检索为空而缺打分聚合后行数会变少。稳妥做法是先groupby.count()看每个公司的有效记录数低于阈值就直接标记为缺失不要硬插值。AI 活跃度指标最后要标准化常见做法是减去均值除以标准差保证后续回归系数可解释。3.2 GTFP测度简析绿色全要素生产率是核心被解释变量但测度方法本身有多个流派。项目里没有刻意押注单一方法而是保留了几套并行口径这也是后面做稳健性检验的基础。常见做法是用 SBM-DDF基于松弛变量的方向性距离函数来测算包含非期望产出的效率值再折算成 Malmquist-Luenberger 指数。投入侧需要固定资产、劳动力、能源消耗期望产出用营业收入非期望产出用污染物排放或碳排放。年报数据里能源消耗和排放数据披露不全所以很多研究会用行业平均强度去补或改用上市公司数据库里的环保支出替代。我实际跑的时候发现GTFP 测算对异常值极其敏感。固定资产增长异常的 ST 公司或者当年有并购重组的公司效率值波动会非常大。所以在建模前先做一次缩尾处理把 GTFP 上下 1% 的极端值拉回来比在回归里加稳健标准误更管用。面板数据里 code 和 year 双索引要设对用set_index([code, year])否则后面做固定效应时容易串组。3.3 融资约束异质性分组逻辑和交互项设置融资约束是异质性分析的关键切面。直觉上融资约束紧的企业在引入人工智能技术时更犹豫因为研发周期长、不确定性高融资宽松的企业更容易在数字化和绿色化上同时发力。如果直接全样本回归正负效应会被抵消。融资约束的度量通常用 SA 指数Size-Age Index或 WW 指数。SA 指数的好处是只需要企业规模和上市年龄这两个变量在 A 股数据里基本不缺SA -0.737 * 规模 0.043 * 规模^2 - 0.040 * 上市年龄# 按融资约束中位数分组 import numpy as np def group_by_financial_constraint(df): # 计算 SA 指数规模用总资产的自然对数 df[size_log] np.log(df[total_assets]) df[sa_index] ( -0.737 * df[size_log] 0.043 * df[size_log] ** 2 - 0.040 * df[list_age] ) # 按年度分组求中位数避免不同年份整体趋势造成的误分组 df[constraint_group] ( df.groupby(year)[sa_index] .transform(lambda x: pd.qcut(x, 2, labels[低约束, 高约束])) ) return df分组一定要按年度进行不能把全样本放在一起切中位数。A股公司的资产规模整体逐年膨胀直接用全样本中位数分组早期年份几乎全会落入“低融资约束”后期年份则落入“高融资约束”这个偏差会直接污染异质性结论。分年度qcut之后每个年份高低两组样本量才均衡。4. 稳健性与异质性三种检验方案让结论站得住4.1 替换因变量换GTFP口径再跑一遍实证论文里最常被追问的就是“你的核心指标换一种算法还成立吗”。RAG提取的AI指数也一样单一评分口径不够。项目里提供了两个方向一是换 GTFP 测度方法从 SBM-GML 换成非径向 DDF或者直接换用行业层面已有的绿色生产率指数做交叉验证二是换 AI 指标构造方式把连续评分替换为“是否提及人工智能”的哑变量再替换为“人工智能出现频次”。当核心解释变量和被解释变量同时换口径回归系数符号和显著性如果都保持一致结论的可信度才立得住。我在实际复现时注意到AI指数和GTFP的关系在水平和一阶差分两个设定下都显著为正但弹性系数大小会变化这是正常的只要方向稳定。4.2 用融资约束分组做子样本回归全样本回归加了交互项之后如果交互项不显著不代表没有异质性可能是共线性太强。更稳妥的方法是直接分组回归把高融资约束组和低融资约束组拆开分别跑同一设定再对比系数差异。检验步骤具体操作判断标准第一步全样本回归AI指数与GTFP系数显著且方向合理第二步低融资约束子样本回归系数为正且显著第三步高融资约束子样本回归系数变小或不再显著第四步替换SA指数为WW指数重分组分组结果方向一致这个顺序是我个人比较习惯的验证路径逻辑是从“总体成立”到“条件性成立”逐步推进。高融资约束组AI系数不显著这类结果在论文里不一定是坏事反而能说明融资环境对AI技术应用存在门槛。4.3 样本敏感性剔除特殊样本和缩尾A股年报有个特点金融类公司的报表结构和一般工商企业差异极大银行、保险的核心指标口径完全不同RAG检索到的“人工智能”场景也完全不一样。稳健性检验里第一步通常是剔除金融业顺手剔掉ST和退市风险警示公司因为这些公司的年报语言和正常经营公司差距太大融资约束指数的含义也不同。缩尾处理同样不能少。AI评分虽然理论上限是5分但模型偶尔会打出极端低分或极端高分直接进入回归会变成高杠杆点。# 对连续变量做1%缩尾 def winsorize(df, columns[ai_index, gtfp], lower0.01, upper0.99): for col in columns: lo df[col].quantile(lower) hi df[col].quantile(upper) df[col] df[col].clip(lo, hi) return df缩尾之后再看回归结果如果核心变量符号翻转或者猛然变显著说明原结果大概率是异常值撑起来的需要回头检查数据清洗环节。5. 避坑指南年报RAG大语言模型统计建模的五个翻车点5.1 现象PDF转文本后表格错位检索结果里混入资产负债率年报转换后资产负债表里“资产总计”“负债合计”这些字段经常会排成一行长文本和相邻叙述段落混在一起。向量检索时这类噪声片段容易被错误召回大语言模型评分时就会被带偏。原因PDF解析库对多栏排版和跨页表格的识别能力有限表格线被当成普通字符丢弃列顺序整个错乱。解决转换脚本里加一道“表格区域识别”用正则匹配“单位元”或“单位人民币元”之前的区域把连续多行数字密集的段落单独抽出并丢弃。如果用的是 pdfplumber 库它带了extract_table能力可以把表格区域单独走表格抽取逻辑不走文本抽取。从那以后我做年报转换都会先随机抽5份样本人工扫一遍转换结果再批量执行。5.2 现象检索召回结果与问题不相关模型评分没有区分度A股年报里“人工智能”这个词经常出现在业绩说明会的固定套话里比如“公司持续推进人工智能、大数据与主营业务深度融合”但具体做了什么完全没有展开。检索召回了这类套话LLM评分就会给中高分数导致AI指数整体偏高且没有区分度。原因切块粒度太粗一个800字的块里套话占比高或者嵌入模型对财经术语的理解不够把“人工智能大数据融合”当成强相关信号。解决切块时引入“语义单元”概念按句号和分号切句再随机组合相邻句子同时预设一个“硬性过滤词表”。如果某个片段里“人工智能”只出现一次其余全是融资、股东之类的高频词直接不建入向量库。这个过滤逻辑放在转换脚本里做比在检索后再过滤省很多事。5.3 现象大语言模型返回的评分格式不稳定解析时报错我用过一次模型连续返回三种格式第一个返回“4分”第二个返回“score: 5”第三个直接返回“该段落未提及人工智能相关内容无法评分”。如果解析逻辑只认整数失败率会超过一半。原因提示词里没有约束输出格式模型按自己的习惯自由发挥。解决提示词里强制要求 JSON 格式并给一个 one-shot 示例在 gpt_score.py 里增加通用解析函数同时支持字符串剥离数字和 JSON 字段取值两种模式。解析失败先重试一次附带提醒“只允许输出JSON”。重试仍然失败就把这条记录标记为缺失不要静默跳过否则样本量悄悄缩水回归结果很难看。5.4 现象融资约束分组后的子样本回归结果不稳定低融资约束组AI指数显著为正高融资约束组不显著但换成WW指数分组后两组都显著了结论直接反转。原因SA指数和WW指数的构造逻辑不同前者依赖规模和年龄后者依赖现金流、股利支付率等变量两者对A股样本的适用性本身就有差异。解决不要只依赖一种分组方式。如果两种指数分组结果不一致优先检查高融资约束组的样本量是否过小。A股大市值公司占比高小公司样本有限分组后高约束组可能只有几十家回归效力不足。这时应该换成分位切三分取上下两组做对比中间组扔掉反而更干净。5.5 现象不知道哪个回归是主回归图表无法对齐RAG跑了三种AI指标GTFP算了两个版本融资约束分了两组结果发现组合起来有12套结果论文里根本不知道先放哪张表。原因实证设计时不记载口径变化等跑完再回忆已经乱了。解决从第一天起维护一个model_specs.csv每行记录一组设定的AI指标、GTFP口径、样本过滤条件、控制变量和结果文件路径。这个文件同时服务论文附录和后续复现我自己被这个问题坑过一次之后再建项目都会先把这个表结构定好。6. 结果复现与验证lightgbm.ipynb和plot chart.ipynb的配合用法拿到资源后不建议直接冲全量年报先用两个Notebook把链路验证熟。lightgbm.ipynb 是随机选了一个公司-年度子样本用 LightGBM 拟合AI指数对GTFP的预测关系主要是看特征重要性和方向。plot chart.ipynb 则负责把RAG打分的分布画出来检查是否存在明显的公司规模偏差。复现顺序上我会先打开 plot chart.ipynb跑出AI指数的直方图和分年度均值曲线。如果高融资约束组和低融资约束组的AI指数分布差异不大说明RAG评分本身没有区分度问题出在上游的检索或切块而不是模型。如果分布差异明显再进 lightgbm.ipynb 看特征重要性和 SHAP 值。LightGBM 在这里不是主回归工具它更像一个“扫描器”。线性模型里不显著的非线性关系LightGBM 的feature_importance能先暴露出来。我会用shap.TreeExplainer算每个样本的贡献值然后把 SHAP 值和融资约束分组画在同一张图上看高约束组是不是存在明显的阈值效应。这样做的好处是发现的是“结构”而不是单个系数。import lightgbm as lgb import shap model lgb.LGBMRegressor( n_estimators500, learning_rate0.05, max_depth4, num_leaves16, random_state42 ) model.fit(X_train, y_train) explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_test) # 按融资约束分组画SHAP依赖图 shap.dependence_plot( ai_index, shap_values, X_test, interaction_indexconstraint_group, showFalse )参数上因为这是预扫工作max_depth4、num_leaves16就够树太深会把噪声一起学进去。n_estimators500配合learning_rate0.05样本量不大的场景下不容易过拟合。如果发现 SHAP 依赖图里 AI 指数和 GTFP 的关系在高约束组是平的、在低约束组是上翘的那分组回归的结果也就有了预测性佐证。从那以后我每次做这类“文本到计量”的项目都会强制先跑一遍小样本冒烟测试取10家公司、2个年份从年报转换一路跑到分组回归确认每层输出都是预期结构再放开全量数据。这套习惯帮我少踩了很多重复的坑。希望帮到你。本文还有配套的精品资源点击获取