自然语言处理——人工智能的一个子领域_评论网--全球最大的政经类评论门户网站

自然语言处理(英文Natural Language Processing，简称NLP)属于人工智能（英文Artificial Intelligence，简称AI）的一个子领域，是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。它对计算机和人机交互等有着许多重要的影响；正如我国著名学者周海中教授曾经所言：“自然语言处理是极有吸引力的研究领域，它具有重大的理论意义和实用价值。”

      概括而言，AI包括运算智能、感知智能、认知智能和创造智能。其中，运算智能是记忆和计算的能力，这一点计算机已经远超过人类。感知智能是电脑感知环境的能力，包括听觉、视觉和触觉等。认知智能是指通过计算机模拟人类的思考、决策、判断、学习等认知过程，利用数据挖掘、机器学习、NLP等技术实现。创造智能体现了对未见过、未发生的事物，运用经验，通过想象力设计、实验、验证并予以实现的智力过程。
     近年来，随着深度学习的成功应用，语音识别和图像识别获得了很大的进步。在某些测试集合下，甚至达到或者超过了人类水平，并且在很多场景下已经具备实用化能力。认知智能包括语言理解、知识和推理，其中，语言理解包括词汇、句法、语义层面的理解，也包括篇章级别和上下文的理解；知识是人们对客观事物认识的体现以及运用知识解决问题的能力；推理则是根据语言理解和知识，在已知的条件下根据一定规则或者规律推演出某种可能结果的思维过程。
     目前随着感知智能的大幅度进步，人们的焦点逐渐转向了认知智能。美国著名企业家比尔·盖茨曾经说过，“语言理解是人工智能皇冠上的明珠”。自然语言理解处在认知智能最核心的地位，它的进步会引导知识图谱的进步，会引导用户理解能力的增强，也会进一步推动整个推理能力。NLP的技术会推动AI整体的进展，从而使得AI技术可以落地实用化。可知语言智能是整个NLP技术的关键。
     NLP通过对词、句子、篇章进行分析，对内容里面的人物、时间、地点等进行理解，并在此基础上支持一系列核心技术(如跨语言的翻译、问答系统、阅读理解、知识图谱等)。基于这些技术，又可以把它应用到其他领域，如搜索引擎、客服、金融、新闻等。总之，就是通过对语言的理解实现人与机器的直接交流，从而实现人跟人更加有效的交流。NLP不是一个独立的技术，受云计算、大数据、机器学习、知识图谱的等各个方面的支撑。如果语言智能实现突破，与其同属认知智能的知识和推理就会得到长足的发展，推动整个AI体系发展，使更多的场景可以落地。
     目前NLP的进展主要包括四个层面：神经机器翻译、智能人机交互、阅读理解及机器创作。神经机器翻译使用人工神经网络来预测单词序列的可能性，通常在单个集成模型中对整个句子进行建模；智能人机交互通过AI和人机交互的方式，实现人与设备之间的交互和控制；阅读理解拥有跨领域知识和语言理解能力，能够基于自然对话方式理解与执行任务；机器创作需要掌握一些AI工具和平台，以便更好地利用机器创作。
     自2008年开始，深度学习开始在语音和图像方面发挥威力，NLP研究者把目光转向深度学习。先是把深度学习用于特征计算或者建立一个新的特征，然后在原有的统计学习框架下体验效果。比如，搜索引擎加入了深度学习的检索词和文档的相似度计算，以提升搜索的相关度。自2014年以来，人们尝试直接通过深度学习建模，进行端对端的训练。目前已在机器翻译、问答、阅读理解等领域取得了进展，出现了深度学习的热潮。
     随着大数据、深度学习、计算能力、应用场景等的推动，预计在未来几年，NLP会进入爆发式的发展阶段，从NLP基础技术到核心技术再到NLP+的模式应用都会取得巨大进步。例如口语翻译会完全普及，拿起手机→口语识别→翻译、语音合成，实现一气呵成的体验；自然语言会话(包括聊天、问答、对话)在典型的场景下完全达到实用；自动写诗，自动撰写新闻、小说、流行歌曲开始流行。
     NLP尤其是会话的发展会大大推动语音助手、物联网、智能硬件和智能家居的实用化，这些基本能力的提升一定会带动各行各业如教育、医疗、法律等垂直领域的生产流程。人类的生活发生重大的变化，NLP也会惠及更多的人。但是，还有很多需要解决的问题；例如个性化服务，无论是翻译、对话还是语音助手，都要避免千人一面的结果，要实现内容个性化、风格个性化、操作个性化，要记忆用户的习惯，避免重复提问。
     目前基于深度学习的机制都是端对端训练，不能解释、无法分析机理，需要进一步发展深度学习的可理解和可视化，可跟踪错误分析原因。很多领域有人类知识(如翻译的语言学知识、客服的专家知识)，如何把数据驱动的深度学习与知识相互结合以提高学习效率和学习质量，是一个值得重视的课题。另外，在一个领域学习的NLP模型(如翻译系统)如何通过迁移学习来很好地处理另一个领域？还有如何巧妙运用无标注数据来有效缓解对标注的压力？以上这些工作都是研究者需要持续努力的方向。
    文/黄茹（作者单位：广东工业大学计算机学院）
(责任编辑：佚名)