利用python如何处理百万条数据(适用java新手)_Python

利用python如何处理百万条数据(适用java新手)

2021-03-01 00:22朝向远方 Python

这篇文章主要给大家介绍了关于利用python如何处理百万条数据的相关资料，本文的教程非常适用于java新手，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧

1、前言

因为负责基础服务,经常需要处理一些数据,但是大多时候采用awk以及java程序即可,但是这次突然有百万级数据需要处理,通过awk无法进行匹配,然后我又采用java来处理,文件一分为8同时开启8个线程并发处理,但是依然处理很慢,处理时长起码在1天+所以无法忍受这样的处理速度就采用python来处理,结果速度有了质的提升,大约处理时间为1个小时多一点,这个时间可以接受,后续可能继续采用大数据思想来处理,相关的会在后续继续更新。

2、安装python

第一步首先下载python软件,在官网可以根据自己情况合理下载，大家也可以通过服务器之家进行下载其余就是下一步搞定,然后在开始里面找到python的exe,点击开然后输入1+1就可以看出是否安装成功了.如下图

利用python如何处理百万条数据(适用java新手)

3、IEDA编辑器如何使用python

首先我们在idea中打开设置然后点击plugins,在里面有个输入框中输入python,根据提示找到如下的这个(idea版本不同可能影响python版本)

利用python如何处理百万条数据(适用java新手)

然后开始创建idea工程

file->New->Project->python然后出现如下图情况(其他的下一步然后就会创建工程了)

利用python如何处理百万条数据(适用java新手)

4、开发前知识准备

文件的读取,python读取文件非常的简单,我现在直接贴代码提供给大家

									def readData(fileName):

									 result = ""

									 count=0

									 with open(fileName, 'r') as f:

									 for line in f.readlines():

									  result += line

									  count += 1

									  print count

									 return result

									"""写入文件"""

									def writeData(fileName, data):

									 with open(fileName, 'a+')as f:

									 f.write(data)

其中def是函数的定义,如果我们写定义一个函数直接前面加上def,返回值可以获取后直接用return即可

python我们直接采用with open('文件路径',模式) as f的方式来打开文件

模式：

r	只读	文件不存在则出错
r+	支持读写	文件不存在则出错,写入时,会覆盖源文件
w	只写	如果文件不存在则创建文件,会覆盖源文件,如果写入内容少则保留为覆盖的内容
w+	支持读写	同上
a	只写	如果文件不存在则创建文件,会采用追加模式
a+	读写	同上
b	二进制读写

跨文件引用:

同一个层级python是采用import直接导入文件名的方式,看下一个代码

									import IoUtils

									fileName1 = 'D:\\works\\pythons\\files\\userids.txt'

									userIds = IoUtils.readData(fileName1).split('\n')

									fileName2 = 'D:\\works\\pythons\\files\\records.txt'

									records = IoUtils.readData(fileName2).strip()

									recordsArr = records.split('\n')

									count=0;

									for data in recordsArr:

									 count+=1

									 if data.split('\t')[2] in userIds:

									 IoUtils.writeData('D:\\works\\pythons\\files\\20180604.txt', data + '\n')

									 print count