ITeye博客

zhangbaoming815的博客

zhangbaoming815 · 共 55 篇文章

hadoop源码解析copyFromLocal

好奇分布式存储是怎么实现的,如何能将一个文件存储到HDFS上,HDFS的文件目录只是一个空壳,真正存储数据的是DataNode,那么当我们把一个文件放到HDFS上的时候,集群都做了哪些工作呢 ?也就是执行命令copyFromLocal这个命令都做了哪些操作 首先命令肯定对应着源码里面的某一个方法,这个方法是FsShell类的copyFromLocal,代码: void copyFromLocal(Path[] srcs, String dstf) throws IOException { // 创建目标路径 Path dstPath = new Path(dstf); // 获取目录存储目标…

2013-08-07 17:51 · hadoop · 评论(0)

InetSocketAddress的使用

使用NIO的InetSocketAddress建立网络通信非常方便,包括服务端和客户端: 服务端创建一个ServerSocketChannel,等待客户端发起链接请求,下面的例子比较简单,开启服务端等待客户端请求,接收到客户端的连接后,给客户端发送数据。 Server段代码: import java.io.IOException; import java.io.OutputStream; import java.net.InetSocketAddress; import java.nio.channels.ServerSocketChannel; import java.nio.channe…

2013-08-07 09:36 · java · 评论(0)

scala的map类型

scala的map数据类型类似自己在草稿上随手画出,很形象地表达了人的思想,容易理解,使用起来也非常简单,先看如何创建一个map对象: val products = Map("hjunetcn" -> 20500015, "hkbicicom" -> 20400010, "hkceducn" -> 20500005, "hl1314com" -> 20800004) 由map的键指向值,keyValue键值对,非常形象地表达了人为的思想 获取map的值,类似于Java提供的map: println(products.get("hkceducn")) scala支持动态类型,允许用户为某种已存…

2013-08-01 13:11 · scala · 评论(0)

hadoop中LineReader的readLine方法解析

Hadoop默认的读取一条数据,使用的就是LineReader的readLine方法,这个方法具体怎么工作,可以直接看源码,因为比较复杂,所以加上一些注释: /** * Read one line from the InputStream into the given Text. A line can be * terminated by one of the following: '\n' (LF) , '\r' (CR), or '\r\n' * (CR+LF). EOF also terminates an otherwise unterminated line. * * @param…

2013-07-31 18:34 · hadoop · 评论(0)

scala读取文件

scala读取文件非常的简单,使用的都是scala模板提供的静态函数,打开一个文件的 IO 流就一句话,比Java的数据流包装简单: val src = scala.io.Source.fromFile("E:/JavaObject/Url_Product_Classification.txt") 得到数据IO流以后可以使用src.getLines()函数得到Iterator,后面就与Java的一样,循环获取: val iter = src.getLines() while(iter.hasNext) { println(iter.next()) } 测试的数据文件为: hju.net.cn…

2013-07-31 16:41 · scala · 评论(0)

scala初识

scala是一门混合了函数和面向对象的语言,关于scala的详细介绍在scala的官网上有详细的介绍。 参考文档:http://www.scala-lang.org/old/node/25 scala程序运行在JVM上,相信熟悉Java的人,这个很容易就能配置,scala的配置包可以从上面的网站上下载,在机器的环境变量里配置就可以使用,为了能够更好地进行scala的开发,scala提供了相应的SDK,安装了scala SDK插件的eclipse在官网上也可以下载,下载页面为: http://scala-ide.org/download/sdk.html 下面使用eclipse创建一个scal…

2013-07-30 21:35 · scala · 评论(0)

hadoop新版本多文件输出

基于Hadoop 1.0.1版本编写,在hadoop 1.0.1 + 版本应该都可以使用 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Te…

2013-04-19 15:24 · hadoop · 评论(0)

hadoop实现自定义的数据类型

关于自定义数据类型, http://book.douban.com/annotation/17067489/ 一文中给出了一个比较清晰的说明和解释。 以wordCount为例子 定义自己的数据类型Http类 import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.WritableComparable; public class Http implements WritableComparable<Http> { public Htt…

2013-04-08 14:59 · hadoop · 评论(0)

Log4j配置信息

log4j的日志输出格式: %m 输出代码中指定的消息 %p 输出优先级,即DEBUG,INFO,WARN,ERROR,FATAL %r 输出自应用启动到输出该log信息耗费的毫秒数 %c 输出所属的类目,通常就是所在类的全名 %t 输出产生该日志事件的线程名 %n 输出一个回车换行符,Windows平台为“/r/n”,Unix平台为“/n” %d 输出日志时间点的日期或时间,默认格式为ISO8601,也可以在其后指定格式,比如:%d{yyy MMM dd HH:mm:ss , SSS},输出类似:2002年10月18日 22 : 10 : 28 , 921 %l 输出日志事件的发生位置,包…

2013-02-28 15:19 · java · 评论(0)

使用MapReduce往Hbase插入数据

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.io.ImmutableBytesWritable; import org.apache.hadoop.hbase.mapreduce…

2012-11-11 21:11 · hadoop · 评论(0)

php 删除mysql表中的数据

php 删除mysql表中的数据 <html> <head> <title>Delete a Record from MySQL Database</title> </head> <body> <?php if(isset($_POST['delete'])) { $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { die('Could not connect '); } $emp_id …

2012-09-14 20:19 · php · 评论(0)

php更新数据库信息

php更新数据库信息 <html> <head> <title>Update a Record in MySQL Database</title> </head> <body> <?php if(isset($_POST['update'])) { $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { die('Could not connect '); } $emp_id = $_POST…

2012-09-14 20:02 · php · 评论(0)

php 从mysql中读取数据

php 从mysql中读取数据 <?php $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { die('Could not connect to mysql'); } echo "connected successfully!"; $sql = 'SELECT emp_id, emp_name, emp_salary FROM employee'; mysql_select_db('te…

2012-09-14 19:43 · php · 评论(0)

php 往mysql中插入数据

php 往mysql中插入数据 <html> <head> <title>Add New Record in MySQL Database</title> </head> <body> <?php if(isset($_POST['add'])) { $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { die('Could not connect to mysql'); } if(! ge…

2012-09-14 19:36 · php · 评论(0)

PHP 连接mysql数据库

PHP 连接mysql数据库 <?php $dbhost = 'localhost:3306'; $dbuser = 'root'; $dbpass = 'root'; $conn = mysql_connect($dbhost, $dbuser, $dbpass); if(! $conn ) { echo 'Connect failure'; } echo 'Connected successfully'; mysql_close(); ?>

2012-09-14 15:12 · php · 评论(0)