段言语法设计复盘：用 ANTLR 重构类型系统与异步编程，让汉语写代码更丝滑

1. 段言 6.17 语法复盘从 ANTLR 骨架到汉语书写手感段言是一个用汉语关键字写代码的编程语言项目6.17 这一版的核心工作集中在三块ANTLR 语法定义重构、类型系统补齐、异步编程支持。如果你也在做 DSL、中文编程语言或者想用 ANTLR 手搓一套自己的语法这篇复盘里的骨架片段和验证步骤可以直接抄。适合人群写过 Python 但对 ANTLR 只停留在“听说过”的开发者以及想给团队做内部小语言的人。我这次把段言的 Lexer/Parser 拆开看了一遍发现汉语写代码“丝滑不丝滑”八成取决于分词和块结构这两件事而不是关键字本身好不好听。段言当前的设计原则是母语优先、无空格分词、元数驱动。变量声明写成设 年龄 为 25。函数写成段落 平方 接收 数值返回 数值 乘 数值。结束。条件写成如果 分数 大于 60打印 及格。结束。。读起来确实像中文但痛点也很明显句号每行都要敲、结束。要配对、方法调用还是英文点号小狗.叫声()。6.17 的改进方向就是把这些“形式化负担”降下去同时把类型系统和异步补上。2. TaoToken 前置统一 Key 与 API 通道在动手改语法之前我先把 AI 辅助评审的通道理顺了。段言这种项目语法改动频繁靠人肉 review ANTLR 规则很容易漏掉歧义所以我用 TaoToken 把模型对话和编码辅助统一到一个 Key 上。TaoToken 是一个统一的大模型 API 接入层你拿一个 Key 就能调不同模型不用为每个模型单独配环境变量。对段言这种要反复做“语法评审 代码生成 报错解释”的项目省事的地方在于评审语法用对话模型改 Parser 用编码模型都走同一个base_url。注册和拿 Key 的入口在这里官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content控制台建 Keyhttps://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteAPI Keys 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite注意API 基础地址是https://taotoken.net/api这个地址不要加 UTM 参数否则部分 SDK 会把它当成非法 query 处理。如果你只是想让模型帮你读一段 ANTLR 规则、找找歧义用模型对话就行https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。如果你要长期让 AI 跟着改 Parser、写 Visitor那更适合开 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。3. 可复制配置ANTLR 语法骨架与本地验证3.1 环境准备段言的 ANTLR 后端依赖 Java 运行时和 antlr4 工具。本地验证建议用 Python 3.10因为 Visitor 生成脚本是 Python 写的。# 安装 antlr4 运行时Python 侧 pip install antlr4-python3-runtime4.13.1 # 确认 Java 可用ANTLR 工具本身是 jar java -version3.2 Lexer 骨架无空格分词的关键段言最特别的地方是“无空格分词”也就是甲加乙要能正确切成甲加乙。这靠的是双字关键词优先匹配 最长匹配。下面是我从DuanLangLexer.g4里抽出来的骨架可以直接放进你的项目改lexer grammar DuanLangLexer; // 双字关键词必须排在单字前面否则会被单字吃掉 KW_RUGUO : 如果 ; KW_FOUZE : 否则 ; KW_DUANLUO : 段落 ; KW_JIESHU : 结束 ; KW_FANHUI : 返回 ; // 单字运算符 OP_JIA : 加 ; OP_JIAN : 减 ; OP_CHENG: 乘 ; OP_CHU : 除 ; // 标识符中文 下划线 数字但不能以数字开头 ID : [\u4e00-\u9fa5_] [\u4e00-\u9fa5_0-9]* ; // 数字与字符串 NUMBER : [0-9] (. [0-9])? ; STRING : (~[\r\n])* ; // 空白与换行换行在段言里是有语义的块结束 NEWLINE : \r? \n ; WS : [ \t] - skip ;这里有个坑我踩过ID规则如果写成[\u4e00-\u9fa5]那甲加乙会被整体识别成一个 ID因为 ANTLR 默认最长匹配。解决办法是把运算符也纳入 ID 的排除逻辑或者在 Parser 层用语义谓词切分。段言现在的做法是在 tokenizer 里先做一遍双字关键词扫描再交给 ANTLR这样能绕开纯 ANTLR 的最长匹配限制。3.3 Parser 骨架块结构与可选结束6.17 的一个改动是让结束在简单块里可选靠缩进或换行判断。ANTLR 本身不处理缩进所以段言是在 Lexer 里生成 INDENT/DEDENT token类似 Python 的做法parser grammar DuanLangParser; options { tokenVocab DuanLangLexer; } program : statement* EOF ; statement : varDecl | funcDecl | ifStmt | loopStmt | exprStmt ; varDecl : 设 ID 为 expr ; funcDecl : 段落 ID 接收 paramList block 结束? ; ifStmt : 如果 expr block (否则 block)? 结束? ; block : statement ; expr : expr (加|减|乘|除) expr | ID | NUMBER | STRING | ID 的 ID // 属性访问学生的姓名 | ID ( argList? ) // 方法调用 ;注意结束?这个问号就是让结束可选。但这里有个设计取舍如果结束完全可选嵌套深的时候人眼很难配对。段言现在的折中是——简单块省略复杂嵌套建议保留并且允许写成结束条件这种带块名的形式方便视觉对齐。3.4 用 TaoToken 做语法评审改完规则后我习惯把.g4文件丢给模型做一轮歧义检查。配置方式是把 OpenAI SDK 的base_url指到 TaoTokenfrom openai import OpenAI client OpenAI( api_key你的TaoToken_Key, base_urlhttps://taotoken.net/api ) with open(DuanLangParser.g4, r, encodingutf-8) as f: grammar f.read() resp client.chat.completions.create( modelclaude-sonnet-4-20250514, messages[ {role: system, content: 你是 ANTLR 语法评审专家只指出歧义和左递归问题。}, {role: user, content: f评审这段语法\n{grammar}} ] ) print(resp.choices[0].message.content)模型名按你账号里实际可用的填TaoToken 的模型列表在文档里能查到https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。4. 验证请求与成功结果4.1 生成 Parser 并跑通# 生成 Python 目标代码 antlr4 -DlanguagePython3 -visitor DuanLangLexer.g4 DuanLangParser.g4 # 目录下会多出这些文件 ls # DuanLangLexer.py DuanLangParser.py DuanLangVisitor.py ...4.2 写一个最小测试from antlr4 import InputStream, CommonTokenStream from DuanLangLexer import DuanLangLexer from DuanLangParser import DuanLangParser code 设 年龄 为 25 如果 年龄 大于 18 打印 成年 stream InputStream(code) lexer DuanLangLexer(stream) tokens CommonTokenStream(lexer) parser DuanLangParser(tokens) tree parser.program() print(tree.toStringTree(recogparser))跑通后你会看到类似这样的语法树输出(program (statement (varDecl 设 年龄 为 (expr 25))) (statement (ifStmt 如果 (expr 年龄 大于 18) (block (statement (exprStmt 打印 成年))))))看到这棵树说明 Lexer 分词和 Parser 块结构都对了。如果如果被识别成 ID那就是关键词规则顺序问题如果年龄 大于 18没被切成表达式那就是运算符规则没进expr。4.3 异步与类型系统的验证点6.17 补的异步支持验证方式是写一个异步 段落加等待的组合异步 段落 取数据 接收 地址 设 结果 为 等待 请求 地址 返回 结果 结束类型系统这边当前段言支持有限的中文类型注解验证点是看类型推断有没有把设 甲 为 10推成整数、设 名 为 张三推成字符串。如果推错问题通常在type_inferencer的默认分支而不是 ANTLR 层。5. 本篇常见错排查5.1error: rule ID contains an invalid character这是 Lexer 里 ID 规则写错了。中文范围要写成\u4e00-\u9fa5别写成\u4e00-\u9fff之外的范围否则会包含标点。另外ID不能以数字开头规则里要显式排除。5.2 关键词被当成标识符ANTLR 的规则匹配是“先定义先匹配”但同一 token 类型内部是最长匹配。如果你把KW_RUGUO写在ID后面如果就会被ID吃掉。解决办法所有关键词规则必须排在ID之前。5.3结束可选后块边界错乱把结束?加上后如果 Lexer 没有正确生成 DEDENTParser 会把两个相邻块合并。排查方法打印 token 流看换行和缩进有没有变成 INDENT/DEDENT token。没有的话说明你的 Lexer 还没做缩进处理需要单独写一个 TokenStreamRewriter 或者在 Python 侧预处理。5.4 属性访问的与标识符冲突学生的姓名里的的如果也被允许出现在 ID 中就会歧义。段言的做法是把的单独定义成OP_DE并且规定 ID 不能包含的。如果你要支持的作为属性访问这条必须守住。5.5 TaoToken 请求返回 401先确认 Key 是从 API Keys 页面建的https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。然后确认base_url是https://taotoken.net/api不要带 UTM。如果还报错用模型对话页面单独测一下 Key 是否有效https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。5.6 异步等待在 ANTLR 后端不生效6.17 之前 ANTLR 后端的异步是缺的只有 Python 后端支持。如果你在 ANTLR 后端跑等待没反应先确认 Visitor 里有没有实现visitAwaitExpr。没有的话异步语法树能解析但执行阶段会被当成普通表达式跳过。6. 继续推进把评审和编码都挂到统一通道段言 6.17 之后语法别名若/则、对/中的、函数/输入、的已经落地复合赋值总和 加上 数值也支持了。下一步我打算做的是超大文件拆分——duan_parser_v3.py3253 行、duan_interpreter.py2174 行这种体量靠人肉改很容易出事所以我准备让 AI 跟着一起拆。长期编码和 Agent 场景用 Coding Plan 更划算一个 Key 覆盖多轮改动https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。接入细节和 SDK 示例都在文档里https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。Claude Code 用户可以直接看这个接入页https://taotoken.net/claude-code?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite 。最后留一个我实测下来最有用的技巧改 ANTLR 语法时别一次性改完再跑每加一条规则就重新生成 Parser 并打印 token 流。段言这种无空格分词的语言歧义往往藏在“两个词连在一起”的边界上早发现比晚发现省太多时间。