TensorFlow2 实战完全指南：tf.keras 模型训练、数据管道提速与模型部署一条链路

TensorFlow2 实战完全指南tf.keras 模型训练、数据管道提速与模型部署一条链路【免费下载链接】eat_tensorflow2_in_30_daysTensorflow2.0 is delicious, just eat it! 项目地址: https://gitcode.com/gh_mirrors/ea/eat_tensorflow2_in_30_days开源项目 eat_tensorflow2_in_30_days 把 TensorFlow2 模型训练、数据管道提速与 tensorflow-serving 模型部署打包成一条可检索的实战链路。它不是零散教程的堆砌而是一份路线图 范例库双定位的仓库既能按天循序上手也能按功能即查即用。作者把官方文档里东拼西凑的条目和冗长示例重构成简短、可直接搬走的代码片段目标读者是有一点 Keras 或 Pytorch 建模经验、想把 tf.keras 用到工程落地的工程师。顺带一问TF2 和 PyTorch 选谁。工程师优先 TensorFlow2因为国内多数在线部署链路只认 TensorFlow 模型做研究、要快速试新架构的PyTorch 更顺手。两者整体风格已经很接近会一个再学另一个并不费劲。六步流水线跑通 tf.keras 模型训练建模流程是固定的六步准备数据、定义模型、训练、评估、使用、保存。真正难的是第一步因为它随数据类型变化最大。仓库用四个真实问题把四类数据各跑一遍下面只讲每类数据在准备数据上的差异和一个关键 API模型与训练部分四类通用。这里用的是 tf.keras 而非 pip 安装的 Keras。Keras 库在 2.3.0 之后停止更新tf.keras 是 TensorFlow 内置的高阶接口和框架结合更紧工程上应直接用它。结构化数据DataFrame 预处理与特征编码titanic 生存预测数据在 data/titanic/。用 Pandas 的 DataFrame 做预处理核心是把类别特征转成模型能吃的数值票类 Pclass、登船港口 Embarked 做 onehotEmbarked 用dummy_naTrue保留缺失维度性别转 bool对 Age、Cabin 的缺失各补一列是否缺失辅助特征。关键 API 是pd.get_dummies。预处理后训练集形状为 (712, 15)测试集 (179, 15)。模型用最简的三层 Dense Sequential20-10-1sigmoid 输出共 541 个参数compile配 adam binary_crossentropy AUCfit跑 30 个 epoch测试集evaluate得到约 [0.519, 0.812]。图片数据tf.data 管道读取与 tf.image 解码cifar2 是 cifar10 的子集只有 airplane 和 automobile 两类训练集各 5000 张在 data/cifar2/。准备图片有两条路ImageDataGenerator简单和tf.data.Datasettf.image灵活、可提速仓库走后者。关键 API 是tf.data.Dataset.list_files配合map里的tf.io.read_file、tf.image.decode_jpeg、tf.image.resize标签直接用tf.strings.regex_full_match从文件路径判断。文本数据TextVectorization 自动建词表imdb 影评情感分类评论数据在 data/imdb/。文本建模的核心是分词与序列化。仓库用 TensorFlow 原生的TextVectorization预处理层先用clean_text清洗小写、去 HTML、去标点vectorize_layer.adapt从训练集自适应建词表再把文本映射成定长整数序列max_tokens、output_sequence_length200省掉手动构词典的繁琐。时间序列滑动窗口构造监督样本疫情结束时间预测数据见 data/covid-19.csv。时序监督学习的关键是造窗口把前 8 天的新增作为输入、第 9 天作为标签用.window(WINDOW_SIZE, shift1)滑窗生成样本。模型用多层 LSTM 拟合并自定义 MSPE 损失误差平方占真实值比例避免绝对误差被大数值主导。训练评估保存fit、evaluate 与 SavedModel训练用内置model.fit最省事评估用model.evaluate使用用model.predict拿概率、model.predict_classes拿类别。保存有两条路model.save存.h5只在 Python 内恢复model.save(..., save_formattf)存成 SavedModel 才跨平台、便于部署工程上推荐后者。五层架构什么时候该下探底层 APITensorFlow 从硬件到高阶 API 共五层多数时间你只碰最高层但训练慢、要自定义算子、要跨语言部署时得知道往哪一层下探。用厨房分工看懂五层 API硬件层灶台CPU、GPU 或 TPU 加入计算资源池。内核层火力C 实现的 kernel可跨平台分布运行。低阶 API刀工tf.Variable、tf.constant、tf.function、tf.GradientTape、tf.nn.softmax等原始算子。中阶 API预制菜tf.keras.layers、losses、metrics、optimizers、tf.data.Dataset、feature_column 等封装好的组件。高阶 API端上桌的成品tf.keras.models提供的模型类接口。判断标准能待在成品层就别进厨房要调性能、加自定义算子或做跨语言部署才往下钻。张量常量与变量两种行为张量就是多维数组和 numpy array 很像分两种行为constant 的值不可改Variable 可用assign重新赋值模型里要被训练的参数就是 Variable。维度看几层中括号tf.rank查看tf.cast换类型.numpy()转回 numpy。计算图动态执行与 tf.function 静态图计算图由节点算子和边数据依赖组成。三种构建方式静态图TF1 时代先建图再开 Session 执行、动态图TF2 默认 Eager边写边执行、好调试但慢、tf.function把普通 Python 函数转成静态图定义即建图、调用即执行。实践套路是先用动态图调试卡性能的地方再套tf.function。自动微分GradientTape 求梯度训练靠反向传播求梯度TF 用tf.GradientTape记录正向过程再反播得梯度。对常量求导要先tape.watch能套两层 tape 求二阶导tf.function内循环要用tf.range而非range否则转不成静态图。用tf.summary.trace_ontrace_export能把 Autograph 构建的图导进 TensorBoard 直观查看仓库 data/autograph/ 存了多份 trace 日志可对照。训练为什么慢数据管道提速与多卡加速训练耗时 数据准备 参数迭代。数据准备慢就优化管道参数迭代慢就上 GPU 或 TPU。tf.data 提速三板斧prefetch、并行与 cacheprefetch让数据准备和参数迭代并行把准备 10 次×2s 训练 10 次×1s 30s压到max(20, 10) 20s用tf.data.experimental.AUTOTUNE自动选参数。num_parallel_callsmap里设 AUTOTUNE预处理多线程并行。cache数据集不大时第一个 epoch 后缓存进内存重复遍历免再读盘。tf.function 的缓存机制与编码规范tf.function首次调用会 trace 一遍建图把 if/for 转成tf.cond/tf.while_loop之后同类型输入直接复用缓存的图不再 trace输入类型变了会重建图传非 Tensor如 Python str则每次都重建。规范有三条函数内别定义tf.Variable外部建好传入、循环用tf.range、别改外部的 list/dict。tf.Module是封装 Autograph 变量的基类tf.keras.Model、Layer都继承自它。单卡、MirroredStrategy 多卡与 TPU 配置单卡有 GPU 时 TF 自动优先用无需改代码共享服务器上用set_visible_devices限定卡号、set_memory_growth按需涨显存避免占满影响他人。多卡tf.distribute.MirroredStrategy模型建在strategy.scope()里框架自动把 batch 切到各卡做数据并行、All-reduce 同步梯度。TPUColab 选 TPU 加速器后放入strategy.scope()。模型部署SavedModel 导出与跨语言调用导出 SavedModel 并用 saved_model_cli 验签model.save(export_path, save_formattf)或tf.saved_model.save导出目录含 assets、saved_model.pb、variables。用saved_model_cli show --dir 目录 --all查看签名和输入输出 tensor 的 dtype、shape这是对接部署的前置检查。tensorflow-serving 双端口在线推理服务tensorflow_model_server --port8500 --rest_api_port8501起 gRPC(8500) REST(8501) 双端口。REST 用 JSON 组装instances数组 POST 到/v1/models/name:predict拿预测任意编程语言都能发请求实现跨语言在线服务。spark-scala 在 executor 上批量调用模型导出 pb 后Scala 项目加org.tensorflowjar 依赖用SavedModelBundle.load加载模型。先在 driver 调试成功再用 RDD 把模型路径广播到各 executor 推理最后升级为 DataFrame UDF 批量调用打通离线大规模分布式推理。把仓库当工具书检索式用法与版本提示按功能检索还是按天跟学两种用法都成立想系统学就按章节顺序推进项目里卡壳就按功能直接搜对应片段数据管道、特征列、GPU 加速。全部代码在 jupyter 中测过装 jupytext 可把 markdown 当 ipynb 直接跑。#!git clone https://gitcode.com/gh_mirrors/ea/eat_tensorflow2_in_30_days2.1 与 2.4 的 API 差异仓库代码基于 TensorFlow 2.1 验证。升到 2.4 时个别 API 如model.predict_classes、tf.data.experimental.AUTOTUNE的写法可能已变按官方迁移说明调整即可。【免费下载链接】eat_tensorflow2_in_30_daysTensorflow2.0 is delicious, just eat it! 项目地址: https://gitcode.com/gh_mirrors/ea/eat_tensorflow2_in_30_days创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考