语言模型

浏览

数理语言学中模拟语言客观事实的抽象的数学模型。它不完全等同于语言客观事实,只是语言客观事实的某种近似物。在语言模型与语言客观事实之间,可以建立某种对应关系,但是,语言模型不能完全充分地描写语言客观事实,它只抽象描写语言中个别成分(词、句子等等)的性质及关系(句法、形态等等)。

语言模型与语言客观事实之间的关系,如同数学上的抽象直线与具体直线之间的关系。

语言模型是一个单纯的、统一的、抽象的形式系统,语言客观事实经过语言模型的描述,比较适合于电子计算机进行自动处理,因而语言模型对于自然语言的信息处理具有重大的意义。

语言模型主要有三种类型:

(1)生成性模型,②分析性模型,③辨识性模型。

生成性模型从一个形式语言系统出发,生成语言的某一集合,如N.乔姆斯基形式语言理论和转换语法。

分析性模型从语言的某一集合开始,根据对这个集合中各个元素的性质的分析,阐明这些元素之间的关系,并在此基础上用演绎的方法建立语言的规则系统,如苏联数学家O.C.库拉金娜和罗马尼亚数学家S.马尔库斯用集合论方法提出的语言模型。

在生成性模型和分析性模型的基础上,把二者结合起来,便产生了一种很有实用价值的模型,即辨识性模型。辨识性模型可以从语言元素的某一集合及规则系统出发,通过有限步骤的运算,确定这些元素是一堆乱七八糟的词还是语言中合格的句子。 如Y.巴尔-希列尔数理逻辑方法提出的句法类型演算模型。