import jieba
from tensorflow.keras.preprocessing.text import Tokenizer  # 安装了新版本的tensorflow
# from keras.preprocessing.text import Tokenizer  # 系统里面没有按照新版本的tensorflow 直接使用keras# pytroch tensorflow1.xxxx  (keras)
# 导入用于对象保存与加载的joblib
# from sklearn.externals import joblib
import joblib# 思路分析 生成onehot
# 1 准备语料 vocabs
# 2 实例化词汇映射器Tokenizer, 使用映射器拟合现有文本数据 (内部生成 index_word word_index)
# 2-1 注意idx序号-1
# 3 查询单词idx 赋值 zero_list，生成onehot
# 4 使用joblib工具保存映射器 joblib.dump()
def dm01_onehot_gen():# 1 准备语料 vocabs# vocabs = {"周杰伦", "陈奕迅", "王力宏", "李宗盛", "吴亦凡", "鹿晗"}vocabs = ["周杰伦", "陈奕迅", "王力宏", "李宗盛", "吴亦凡", "鹿晗"]# 2 实例化词汇映射器Tokenizer, 使用映射器拟合现有文本数据 (内部生成 index_word word_index)mytokenizer = Tokenizer()   # cmd+shift +umytokenizer.fit_on_texts(vocabs)print('mytokenizer.index_word-->', mytokenizer.index_word)print('mytokenizer.word_index-->', mytokenizer.word_index)# 2-1 注意idx序号-1# 3 查询单词idx 赋值 zero_list，生成onehotfor vocab in vocabs:zero_list = [0] * len(mytokenizer.index_word)  # 词表有多长 onehot特征就有多长idx = mytokenizer.word_index[vocab] - 1zero_list[idx] = 1print(vocab, '的onehot编码是', zero_list)# 4 使用joblib工具保存映射器 joblib.dump()joblib.dump(mytokenizer, './mytokenizer2' )print('保存 token ok')pass# 思路分析
# 1 加载已保存的词汇映射器Tokenizer joblib.load(mypath)
# 2 查询单词idx 赋值zero_list，生成onehot 以token为'李宗盛'
# 3 token = "狗蛋" 会出现异常 # mytokenizer对没有拟合的词 会报错
# OOV单词问题 out of vocab 10万单词 把常用的21128个单词进行训练 其他单词我不要！
# 文本生成 单词表 5682 单词！
def dm_onehot_use():# 1 load已经存在词汇映射器文件mytokenizer = joblib.load('mytokenizer2')# 2 准备单词vocab = '李宗盛'idx = mytokenizer.word_index[vocab] -1zero_list = [0] * len(mytokenizer.index_word)zero_list[idx] = 1# 3print(vocab, '的onehot编码是', zero_list)# 4print('狗蛋 开始 ...')vocab = '狗蛋'idx = mytokenizer.word_index[vocab] - 1zero_list = [0] * len(mytokenizer.index_word)zero_list[idx] = 1print(vocab, '的onehot编码是', zero_list)passif __name__ == '__main__':# dm01_onehot_gen()dm_onehot_use()print('one-hot编码 End')