目录
1.NLP 基础知识点
为什么需要自然语言处理？
自然语言处理有哪些分类？
自然语言处理有哪些实际应用？
为什么需要自然语言处理？
自然语言处理有哪些分类？
自然语言处理有哪些实际应用？
自然语言处理的技术/工作原理是什么？
2.NLP文本转化为词向量的方法
2.1 one-hot
2.1.1one-hot 优点
2.1.2one-hot 缺点
2.2TF-IDF
2.2.1TF-IDF优点
2.2.2TF-IDF缺点
2.3 N-gram优缺点
2.3.1语言模型
2.4分布式 编辑
2.4.1分布式优缺点
2.4.2共现矩阵
2.4.3共现矩阵优缺点
2.4.4共现矩阵+SVD（奇异值降维）的代码实现
2.4.4 .1共现矩阵+SVD的优缺点
2.5NNLM(深度学习模型)
2.5.1NNLM模型主要流程
2.5.2NNLM的优缺点
2.6word2vec
2.6.1CBOW的word2vec框架 (哈夫曼树优化)
2.6.2skip-gram优化的word2vec框架
2.6.3 word2vec 的优缺点
1.NLP 基础知识点
自然语言处理（Natural Language Processing，简称NLP）属于人工智能的一个分支，旨在让计算机能够理解并处理人类语言，从中提取出有用的信息，帮助人类更高效地处理各种任务。
为什么需要自然语言处理？
自然语言处理通过对人类日常语言进行理解和响应，为人类带来更多的便利和创新。随着人工智能的不断发展，自然语言处理也逐渐融入到电商、文娱、公安、医疗、电力等各大行业领域中，帮助人类高效地处理信息。
自然语言处理具有以下优势：
支持自然语言交互、简便易用：NLP技术使得计算机可以理解和处理人类语言，从而实现了人与计算机的自然语言交互。用户可以通过人类语言的方式表达自己的需求，无需使用计算机指令或编程知识，提高了人机交互的效率和易用性。
支持海量信息分析和处理：NLP技术可以自动化处理大量的文本和语音信息，是处理、分析和挖掘数据中有价值信息的关键工具。
提供个性化服务：NLP技术可以根据用户的个人偏好和习惯进行个性化设置和推荐，提供更加个性化的服务。例如，智能客服可以根据用户的语言风格和问题类型提供定制化的回答和解决方案。
自然语言处理有哪些分类？
词性标注：通过词性标注服务，用户可以快速为每一个词附上对应的词性，结合分词服务，可以快速进行更深层次的文本挖掘处理，有效实现新词发现、歧义消除等能力。
命名实体识别：命名实体服务可以帮助您快速识别文本中的实体，进而挖掘各实体间的关系，是进行深度文本挖掘，知识库构建等常用自然语言处理领域里的必备工具。
情感分析：基于海量大数据研发，为有情感分析需求的产品提供服务。能够对短文本情感的正负向及中性进行分析，识别和分析用户的情感状态和意图，并给出结果。在舆情监控、话题审核、口碑分析聚类等商业领域有广大的应用空间对于企业了解用户满意度、产品评价等方面非常有帮助。
中心词提取：基于海量数据，使用电商标题中心词以及类目进行训练，通过给每个词计算一个相关性分数来衡量每个词与句子的相关性程度，进而识别并提取出句子的中心词。适用于提取电商搜索query、标题及其他类似短文本的中心词。
文本信息抽取：结合AI技术，通过自动阅读文档内容，将用户关心的关键核心信息进行提取，简化机械性和重复性的工作，协助企业完成文档审阅及录入工作。
商品评价解析：商品评价解析主要用于分析消费者反馈的评价、点评内容，同时也可以对类似微博的口语化、短文本进行分析。
关系抽取：从文本中提取实体之间的关系，例如人物关系、公司与股票价格之间的关系等。
知识图谱构建：自然语言处理技术可以自动抽取和整理知识图谱，帮助人们更好地组织和理解复杂的信息，提高知识管理的效率和质量。
商业决策支持：通过对市场和用户需求的深入分析，自然语言处理技术可以为企业的商业决策提供有力支持，帮助企业做出更明智的决策。
自然语言处理有哪些实际应用？
自然语言在不同的行业中被广泛应用。结合不同行业的特点，主要包含以下应用场景：
金融-简历抽取于合同审核比对：依靠算法分析相关非结构化文本（文档、描述、网页等），并从文本中获取结果，用于银行简历抽取与合同审核比对等场景，快速高效缩短审批流程，极大减少了人工成本和时间成本。
司法-信息抽取、分类：针对大量裁判文书中的判决时间、案发地点、原告信息、被告信息等信息的抽取，私有化部署，在本地化通过平台进行文书的数据标注、模型训练，快速对大量裁判文书进行结构化处理，大大提升审核效率。
医疗-病历质检/DRGs：基于非结构化文本病历数据，通过医学知识图谱能力构建医学质检引擎，支持病历质量管理，做到事中提醒、事后检查，减少医疗事故，提高服务质量；同时根据病案数据进行DRGs分组，保障医院运营及医保正常结算。
互联网-外呼意图识别：在与客户的通话过程中，通过实时语音识别客户意图，根据预设的流程话术精准回复，以真人语音或语音合成播报的形式与客户进行沟通交流，从而帮助企业从海量用户中高效、精准地触达目标客户，实现数据全链路管理。
新零售-商品评价解析：用于分析消费者反馈的评价、点评内容，同时也可以对类似微博的口语化内容、短文本进行分析。品牌商从中可以解析出商品最吸引人的卖点，以及最需要改进的地方，进而获知当前的消费者理念，预判流行趋势，提高购买转化。
客户服务：聊天机器人和虚拟客服代表利用NLP提供7x24小时的客户服务，能够理解和回应客户的咨询，减轻客服人员的工作负担。
为什么需要自然语言处理？
自然语言处理通过对人类日常语言进行理解和响应，为人类带来更多的便利和创新。随着人工智能的不断发展，自然语言处理也逐渐融入到电商、文娱、公安、医疗、电力等各大行业领域中，帮助人类高效地处理信息。
自然语言处理具有以下优势：
支持自然语言交互、简便易用：NLP技术使得计算机可以理解和处理人类语言，从而实现了人与计算机的自然语言交互。用户可以通过人类语言的方式表达自己的需求，无需使用计算机指令或编程知识，提高了人机交互的效率和易用性。
支持海量信息分析和处理：NLP技术可以自动化处理大量的文本和语音信息，是处理、分析和挖掘数据中有价值信息的关键工具。
提供个性化服务：NLP技术可以根据用户的个人偏好和习惯进行个性化设置和推荐，提供更加个性化的服务。例如，智能客服可以根据用户的语言风格和问题类型提供定制化的回答和解决方案。
自然语言处理有哪些分类？
词性标注：通过词性标注服务，用户可以快速为每一个词附上对应的词性，结合分词服务，可以快速进行更深层次的文本挖掘处理，有效实现新词发现、歧义消除等能力。
命名实体识别：命名实体服务可以帮助您快速识别文本中的实体，进而挖掘各实体间的关系
