zhangbaoming815
- 浏览: 147677 次
- 性别:
- 来自: 北京
-
最新评论
-
happyDear：
[flash=200,200][url][img][list] ...
java读取txt文件
文章列表
好奇分布式存储是怎么实现的，如何能将一个文件存储到HDFS上，HDFS的文件目录只是一个空壳，真正存储数据的是DataNode，那么当我们把一个文件放到HDFS上的时候，集群都做了哪些工作呢 ?也就是执行命令copyFromLocal这个命令都做了哪些操作
首先命令肯定对应着源码里面的某一个方法，这个方法是FsShell类的copyFromLocal，代码：
void copyFromLocal(Path[] srcs, String dstf) throws IOException
{
// 创建目标路径
Path dstPath ...
使用NIO的InetSocketAddress建立网络通信非常方便，包括服务端和客户端：
服务端创建一个ServerSocketChannel，等待客户端发起链接请求，下面的例子比较简单，开启服务端等待客户端请求，接收到客户端的连接后，给客户端发送数据。
Server段代码：
import java.io.IOException;
import java.io.OutputStream;
import java.net.InetSocketAddress;
import java.nio.channels.ServerSocketChannel;
import java.n ...
scala的map数据类型类似自己在草稿上随手画出，很形象地表达了人的思想，容易理解，使用起来也非常简单，先看如何创建一个map对象：
val products = Map("hjunetcn" -> 20500015,
"hkbicicom" -> 20400010,
"hkceducn" -> 20500005,
"hl1314com" -> 20800004)
由map的键指向值，keyValue键值对，非常形象地表达了人为的思想
获取map的值 ...
Hadoop默认的读取一条数据，使用的就是LineReader的readLine方法，这个方法具体怎么工作，可以直接看源码，因为比较复杂，所以加上一些注释：
/**
* Read one line from the InputStream into the given Text. A line can be
* terminated by one of the following: '\n' (LF) , '\r' (CR), or '\r\n'
* (CR+LF). EOF also terminates an otherwise untermi ...
scala读取文件非常的简单，使用的都是scala模板提供的静态函数，打开一个文件的 IO 流就一句话，比Java的数据流包装简单：
val src = scala.io.Source.fromFile("E:/JavaObject/Url_Product_Classification.txt")
得到数据IO流以后可以使用src.getLines()函数得到Iterator，后面就与Java的一样，循环获取：
val iter = src.getLines()
while(iter.hasNext)
{
println(iter.next())
...
scala是一门混合了函数和面向对象的语言，关于scala的详细介绍在scala的官网上有详细的介绍。
参考文档：http://www.scala-lang.org/old/node/25
scala程序运行在JVM上，相信熟悉Java的人，这个很容易就能配置，scala的配置包可以从上面的网站上下载，在机器的环境变量里配置就可以使用，为了能够更好地进行scala的开发，scala提供了相应的SDK，安装了scala SDK插件的eclipse在官网上也可以下载，下载页面为：
http://scala-ide.org/download/sdk.html
下面使用eclips ...
基于Hadoop 1.0.1版本编写，在hadoop 1.0.1 + 版本应该都可以使用
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hado ...
关于自定义数据类型，http://book.douban.com/annotation/17067489/ 一文中给出了一个比较清晰的说明和解释。
以wordCount为例子
定义自己的数据类型Http类
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.WritableComparable;
public class Http implements WritableComparable<Http&g ...
log4j的日志输出格式：
%m 输出代码中指定的消息
%p 输出优先级，即DEBUG，INFO，WARN，ERROR，FATAL
%r 输出自应用启动到输出该log信息耗费的毫秒数
%c 输出所属的类目，通常就是所在类的全名
%t 输出产生该日志事件的线程名
%n 输出一个回车换行符，Windows平台为“/r/n”，Unix平台为“/n”
%d 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，比如：%d{yyy MMM dd HH:mm:ss , SSS}，输出类似：2002年1 ...
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.map ...
php 删除mysql表中的数据
<html>
<head>
<title>Delete a Record from MySQL Database</title>
</head>
<body>
<?php
if(isset($_POST['delete']))
{
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $d ...
php更新数据库信息
<html>
<head>
<title>Update a Record in MySQL Database</title>
</head>
<body>
<?php
if(isset($_POST['update']))
{
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
...
php 从mysql中读取数据
<?php
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
if(! $conn )
{
die('Could not connect to mysql');
}
echo "connected successfully!";
$sql = 'SELECT emp_id, emp_name, emp_sa ...
php 往mysql中插入数据
<html>
<head>
<title>Add New Record in MySQL Database</title>
</head>
<body>
<?php
if(isset($_POST['add']))
{
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
...
PHP 连接mysql数据库
<?php
$dbhost = 'localhost:3306';
$dbuser = 'root';
$dbpass = 'root';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
if(! $conn )
{
echo 'Connect failure';
}
echo 'Connected successfully';
mysql_close();
?>