数量英文完整示例：3个实战项目攻克翻译难题

数量英文完整示例：3个实战项目攻克翻译难题 看了一堆教程还是不会写项目？这是很多刚接触编程或自然语言处理（NLP）的朋友最真实的写照。你背熟了单词，理解了语法，但一旦要把“3个苹果”这种带有数量关系的英文文本转换成结构化数据，或者在电商系统中准确解析商品描述，瞬间就卡壳了。别慌，问题不在于你不够努力，而在于缺少一个完整示例作为骨架。 今天不聊虚的，直接上干货。我们将通过三个由浅入深的实战项目，彻底搞懂“数量英文”在工程中的处理逻辑。从最基础的字符串解析，到结合正则表达式的自动化清洗，再到利用Python库进行半结构化提取，每一步都给你最扎实的代码实现。目标只有一个：让你看完就能跑，跑完就能用。 项目目标：定义“数量英文”的工程边界 在动手之前，我们必须明确：在编程语境下，“数量英文”到底指什么？它不仅仅是“one, two, three”这些单词，更包括数字与英文量词的复杂组合，如“two hundred units”、“a dozen eggs”甚至“3.5 kilograms”。 我们的核心目标不是做一个完美的翻译机，而是构建一个能够稳定提取文本中“数量+单位”结构的小工具。这在实际开发中极为常见：电商订单解析：用户输入“2箱牛奶，5瓶水”，后端需要拆解为 {product: 'milk', qty: 2, unit: 'box'}。 日志清洗：从服务器日志中提取“Allocated 4 GB memory”中的资源配额。 库存管理：处理供应商传来的非标准格式库存报表。这三个场景共同点在于：数据源是自然语言或半结构化文本，但我们需要的是机器可读的数值和单位。接下来的三个项目，将分别对应这三个复杂度的场景。 目录结构：搭建可复用的工程骨架 很多新手喜欢把所有代码扔进一个 main.py 里，这在学习阶段没问题，但一旦进入实战，维护噩梦就开始了。我们采用标准的模块化结构，确保代码可复用、易测试。 创建如下目录结构： quantity_english/ ├── data/ │ └── test_samples.txt # 存放测试用的原始文本数据 ├── utils/ │ ├── __init__.py │ ├── number_parser.py # 负责将英文单词转换为数字 │ └── unit_mapper.py # 负责单位词的同义词映射 ├── core/ │ ├── __init__.py │ └── extractor.py # 核心提取逻辑，调用utils模块 ├── main.py # 入口文件，运行三个项目 └── tests/└── test_extractor.py # 单元测试这种结构的好处是：职责分离。number_parser 只关心“two”变成2，“thirty”变成30；unit_mapper 只关心“kg”、“kilogram”、“kgs”都映射到标准的“kilogram”。当需求变更时，比如增加新的单位支持，你只需要修改 unit_mapper.py，而不需要动核心提取逻辑。 核心代码实现：从正则到语义映射 这是最关键的部分。我们将分三步走，逐步构建完整示例。 第一步：基础正则提取（项目一） 最直观的方法是使用正则表达式匹配“数字+空格+单词”的模式。虽然简单，但能跑通90%的简单场景。 import redef extract_basic_quantities(text):基础提取：匹配 [数字] [英文单词] 的组合# 匹配模式：一个或多个数字，后跟一个空格，再跟一个或多个字母pattern = r'(\d+)\s+([a-zA-Z]+)'matches = re.findall(pattern, text)results = []for num_str, unit_str in matches:# 简单清洗：将单位转为小写unit = unit_str.lower()results.append({'quantity': int(num_str),'unit': unit})return results# 测试用例 sample_1 = I have 5 apples and 3 oranges. print(extract_basic_quantities(sample_1)) # 输出: [{'quantity': 5, 'unit': 'apples'}, {'quantity': 3, 'unit': 'oranges'}]避坑指南：这个正则有个致命弱点，它无法处理“two apples”这种纯英文数字，也无法处理“3.5 kg”这种小数。但在处理机器生成的、格式相对固定的日志时，它足够快且轻量。 第二步：英文数字转数值（项目二） 当用户输入“two hundred boxes”时，上面的代码就失效了。我们需要一个模块将英文单词转换为阿拉伯数字。这里我们不引入庞大的NLP库，而是手写一个轻量级的映射逻辑，既高效又可控。 在 utils/number_parser.py 中： class NumberParser:def __init__(self):# 基础数字映射self.number_map = {'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5,'six': 6, 'seven': 7, 'eight': 8, 'nine': 9, 'ten': 10,'eleven': 11, 'twelve': 12, 'thirteen': 13, 'fourteen': 14,'fifteen': 15, 'sixteen': 16, 'seventeen': 17, 'eighteen': 18,'nineteen': 19, 'twenty': 20, 'thirty': 30, 'forty': 40,'fifty': 50, 'sixty': 60, 'seventy': 70, 'eighty': 80, 'ninety': 90,'hundred': 100, 'thousand': 1000}self.current_value = 0self.total_value = 0def parse_english_number(self, text):解析英文数字文本，如 'two hundred and five' - 205self.current_value = 0self.total_value = 0words = text.lower().replace(' and ', ' ').split()for word in words:if word in self.number_map:value = self.number_map[word]if value 100:self.current_value += valueelif value == 100:if self.current_value == 0:self.current_value = 1 # 处理 'hundred'self.current_value *= valueelse: # thousandif self.current_value == 0:self.current_value = 1self.current_value *= valueself.total_value += self.current_valueself.current_value = 0# 累加剩余的部分self.total_value += self.current_valuereturn self.total_value# 测试 parser = NumberParser() print(parser.parse_english_number(two hundred)) # 输出: 200 print(parser.parse_english_number(fifty)) # 输出: 50注意：这个实现是简化的，适用于常见场景。在生产环境中，如果涉及极其复杂的数字表述，建议参考 inflect 或 word2number 等成熟库，但理解底层逻辑对你调试问题至关重要。 第三步：单位标准化映射（项目三） “kg”、“kgs”、“kilogram”、“kilograms”在业务上是同一个概念。如果数据库里存的是“kg”，而用户输入“kilograms”，直接匹配会失败。我们需要一个标准化层。 在 utils/unit_mapper.py 中： class UnitMapper:def __init__(self):# 定义同义词组，第一个值为标准名self.synonyms = {'kg': ['kg', 'kgs', 'kilogram', 'kilograms', 'kilos'],'g': ['g', 'gs', 'gram', 'grams'],'box': ['box', 'boxes', 'carton', 'cartons'],'unit': ['unit', 'units', 'piece', 'pieces', 'pcs']}# 构建反向映射：{同义词: 标准名}self.reverse_map = {}for std, syns in self.synonyms.items():for syn in syns:self.reverse_map[syn] = stddef normalize_unit(self, unit_str):将任意单位字符串转换为标准单位如果无法识别，返回原字符串的小写形式if not unit_str:return Noneunit_lower = unit_str.lower()return self.reverse_map.get(unit_lower, unit_lower)# 测试 mapper = UnitMapper() print(mapper.normalize_unit(Kilograms)) # 输出: kg print(mapper.normalize_unit(Boxes)) # 输出: box print(mapper.normalize_unit(Unknown)) # 输出: unknown运行与测试：验证你的完整示例 现在，我们将所有模块整合到 core/extractor.py 中，形成一个完整的提取器。 import re import sys sys.path.append('..') # 确保能导入utilsfrom utils.number_parser import NumberParser from utils.unit_mapper import UnitMapperclass QuantityExtractor:def __init__(self):self.num_parser = NumberParser()self.unit_mapper = UnitMapper()# 增强正则：匹配 [数字或英文数字] [单位]# 这里简化处理，主要匹配纯数字或常见的英文数字组合# 实际生产中，正则可能更复杂，需要预处理self.pattern = r'((?:\d+\.?\d*)|(?:\w+\s+)?(?:\w+\s+)?(?:\w+))\s+([a-zA-Z]+)'def extract(self, text):matches = re.findall(self.pattern, text)results = []for num_part, unit_part in matches:# 尝试解析数字qty = self._parse_quantity(num_part)if qty is None:continue# 标准化单位std_unit = self.unit_mapper.normalize_unit(unit_part)results.append({'quantity': qty,'unit': std_unit,'raw': f{num_part} {unit_part}})return resultsdef _parse_quantity(self, text):text = text.strip().lower()# 1. 尝试直接转int/floattry:if '.' in text:return float(text)return int(text)except ValueError:pass# 2. 尝试英文解析# 简单启发式：如果包含已知数字单词，则尝试解析if any(word in text for word in self.num_parser.number_map):return self.num_parser.parse_english_number(text)return None# 主程序入口 if __name__ == __main__:extractor = QuantityExtractor()test_cases = [Order 5 boxes of milk,I need two hundred eggs,Weight is 3.5 kilograms,Send 10 units immediately]for case in test_cases:print(fInput: {case})result = extractor.extract(case)print(fResult: {result}\n)运行结果预期： 对于 I need two hundred eggs，程序会先尝试转int失败，然后调用 NumberParser 解析出 200，再调用 UnitMapper 将 eggs 映射（假设未定义则保留原样，或需补充 egg 到映射表）。 测试建议：不要只测快乐路径。一定要测试边界情况：全大写输入：FIVE BOXES 多余空格：5 boxes 无单位输入：5 干扰文本：I love apples. Buy 5.优化扩展：从玩具到生产级 上述代码是一个很好的起点，但要用于生产环境，还需考虑以下几点：性能优化： 如果文本量极大（如百万级日志），每次创建 NumberParser 对象会有开销。可以将 NumberParser 设计为单例，或者将常用的英文数字映射缓存起来。容错机制： 如果正则匹配到了错误的组合怎么办？例如 5 star rating，这里 star 不是单位。需要引入一个单位白名单。只有当匹配到的单位在白名单中时，才视为有效的数量-单位对。 # 在 UnitMapper 中增加白名单校验 def is_valid_unit(self, unit_str):return unit_str in self.reverse_map.keys()多语言支持： 虽然本篇聚焦英文，但同样的架构可以扩展到中文。只需替换 NumberParser 为中文数字解析逻辑，UnitMapper 为中文单位映射即可。核心提取逻辑（正则+映射）保持不变。数据持久化： 将提取结果写入数据库或CSV文件。使用 pandas 库可以轻松将 results 列表转换为 DataFrame 并导出，便于后续分析。权威参考：在处理英文数字和单位的标准化时，建议参考 MDN Web Docs 中关于字符串处理的API文档，以及 Unicode Standard 中关于数字字符的定义。虽然MDN主要面向Web，但其对字符串规范的处理逻辑对Python字符串操作也有很好的借鉴意义，特别是在处理Unicode字符集时。 小结：从教程到项目的跨越 回顾这三个项目，我们完成了一次从“知道”到“做到”的跨越。项目一 让你理解了正则表达式在文本提取中的基本作用。 项目二 让你掌握了如何将非结构化的英文数字转化为机器可理解的数值。 项目三 让你学会了如何通过映射表解决同义词歧义问题，这是数据清洗的核心技能。完整示例 的价值不在于代码本身，而在于它展示了解决问题的思维路径：拆解问题 - 模块化实现 - 集成测试 - 优化扩展。 很多应届生在面试中被问到“如何从非结构化文本中提取数据”，往往只能背出“用正则”或“用NLP库”。而如果你能像今天这样，清晰地讲出“我会先定义单位白名单，然后编写英文数字解析器，最后通过单元测试覆盖边界情况”，面试官会立刻意识到：你不仅懂代码，更懂工程。 这个知识点你面试被问过吗？留言说说