在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时，选择了一个有3G多的txt文件，之前在做词向量时用的是word2vec，所以直接导入模型然后indexword即可。
因为这是一个txt大文件，尝试了DataFrame，np.loadtxt等，都没有成功，其中主要遇到的问题是：
- 如何读取完整的大文件，而不会出现内存不足memery error等问题
- 将读取出来的文件，保存为npy文件
- 根据词找到对应的向量
解决办法：
尝试使用的代码：
|
1
2
3
4
5
6
7
|
代码1:try:lines=np.loadtxt(filepath)catch:感觉这块不会写了咦，，， print(ValueError)但这样的话，它就不会继续循环去读上边的txt了呢 |
|
1
2
3
4
5
6
|
代码2：lines=[]with open(filepath) as f: for line in f: lines.append(line)np.save(filepath,lines) |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
代码3 def readEmbedFile(embedFile):# embedId = {}# input = open(embedFile,'r',encoding="utf-8")# lines = []# a=0# for line in input:# lines.append(line)# a=a+1# print(a)# nwords = len(lines) - 1# splits = lines[1].strip().split(' ') # 因为第一行是统计信息，所以用第二行# dim = len(splits) - 1# embeddings=[]# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]# b=0# for lineId in range(len(lines)):# b=b+1# print(b)# splits = lines[lineId].split(' ')# if len(splits) > 2:# # embedId赋值# embedId[splits[0]] = lineId# # embeddings赋值# emb = [float(splits[i]) for i in range(1, 300)]# embeddings.append(emb)# return embedId, embeddings |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
代码4：def load_txt(filename): lines=[] vec_dict={} with open(filename,r) as f: for line in f: list=line.strip() lines.append(line) for i, line in emuate(lines): if i=0: continue line=line.split(" ") wordID=line[0] wordvec=[float line[i] for i in range(1,300)] vec_dict[wordId]=np.array(wordvec) return vec_dict |
具体内存不足主要的原因是：
我的虚拟机中确实内存不太够，后来使用实验室32G的主机后，可以得到idvec，而得不到向量的，报的错还是memory error.
另一个原因，是需要把词向量转换为float形式，在python中str 占的内存>float类型，如代码所示：
|
1
2
3
4
5
6
|
print("str",sys.getsizeof(""))print("float",sys.getsizeof(1.1))print("int",sys.getsizeof(1))print("list",sys.getsizeof([]))print("tuple",sys.getsizeof(()))print("dic",sys.getsizeof([])) |
|
1
2
3
4
5
6
|
str 49float 24int 28list 64tuple 48dic 64 |
在我的电脑，64位操作系统，64位的python, 所占内存大小排序为：
dic=list>str>tuple>int>float
读取时候可以用np.load().item就可以复原原来的字典，主要参照下述文件：
然后通过python的字典操作就可以遍历得到每个词的词向量了，dic[vocab]
心得：
距离完全解决项目的问题还有5~6的大关卡,但静下心来，一步步地做总会突破的呀！
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/weixin_38527856/article/details/90704116
