Java编程实现用hash方法切割文件

2021-02-26 14:29yan456jie JAVA教程

这篇文章主要介绍了Java编程实现用hash方法切割文件，简单介绍了hash的概念，然后分享了使用方法示例，具有一定借鉴价值，需要的朋友可以了解下。

Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。

如果有大型数据文件（如每行为url或者ip或者单词等的），以G为单位的，处理的时候需先切分。普通切分方法直接根据数据条数切分，得到的每个文件大小相近。

但是有时需要将相同数据放到相同文件中。可以使用hash切分法。

									public class Test { 

									  static int HASHLEN = 1000; 

									  public static void main(String[] args) { 

									    // TODO Auto-generated method stub 

									    String words [] = {"yes" ,"an" ,"go"}; 

									    for(String word:words){ 

									      int temp = hash(word.toCharArray()); 

									      System.out.println(temp); 

									    } 

									  } 

									  public static int hash(char[] word) { 

									    int index = 0;  

									    int i=0; 

									    while(i<word.length) { 

									      index += index * 31 + word[i];  

									      i++; 

									    }  

									    return index % HASHLEN;  

									  }  

									}