- 浏览: 114856 次
- 性别:
- 来自: 深圳
最新评论
-
SSB4455:
嗯 应该是这样
java线程学习之Thread.sleep() 和 Thread.yield() 区别 -
wishlee:
不详细啊
Java中23种设计模式详解 -
Vin-G:
正在学习,我想修改成:在主屏中不能长按和拖拉,不知道能不能实现 ...
android2.2源码在eclipse中的配置与分析 -
star_887012:
qq16881699 写道LZ的文章就是海量数据。。。。
常见的海量数据处理方法 -
I清晰:
看来头疼啊
常见的海量数据处理方法
文章列表
Unable to read TLD “META-INF/c.tld” from JAR file的
今天重新open project,以前是用jdk1.5、tomcat5开发、部署的, 本次使用jdk1.6、tomcat6部署,结果总是报错,启动时正常, 在通过浏览器访问项目时,出错, 错误信息如下;
Java代码
20 ...
1. 下载Hadoop源代码Hadoop 各成员源代码下载地址:http://svn.apache.org/repos/asf/hadoop,请使用SVN下载,在SVN浏览器中将trunk目录下的源代码check-out 出来即可。请注意只check-out出SVN 上的trunk 目录下的内容,如:http://svn.apache.org/repos/asf/hadoop/common/trunk,而不是http://svn.apache.org/repos/asf/hadoop/common,原因是http://svn.apache.org/repos/asf/hadoop/common ...
转载:http://delove2.iteye.com/blog/809803
我们搭建了一个公共的Hadoop MapReduce在线测试平台,网址:cloudcomputing.ruc.edu.cn. 现在开放注册。下面我们详细介绍这个测试平台。 一.平台简介 欢迎来到云计算的世界,欢迎来到MapReduce OnlineEvaluation! 这是一个可以自动运行您提交的Mapreduce程序的平台 Mapreduce是一个简单易用的编程框架,基于Map-reduce写出的程序可以同时运行在由成千上万台计算机组成的计算集群上。就算您不懂得并行编程,不懂套接字,您一样可以控制多台计算机同时 ...
转载:http://delove2.iteye.com/blog/809800
Hadoop是一个易于安装易于使用的系统,他既适用于云计算的新人学习,也适用于对云计算已经有一定研究的人深入学习(包括网格计算,并行计算等等)。Hadoop源于nutch,hadoop的两位创始人想开发一款开源的网络搜索引擎,但是在管理大量计算机时遇到了问题。后来google发表了关于GFS与MapReduce的论文,他们把论文中的思想应用到了Nutch中。最初他们把系统应用与20台机器上,但是很快他们发现为了处理互联网上的数据,他们需要上千台机器,这个问题超出了两个人能解决的程度。这是yahoo对hadoo ...
简介: 本文是讨论 Hadoop 的系列中的第一篇。本文介绍 Hadoop 框架,包括 Hadoop 文件系统 (HDFS) 等基本元素和常用的节点类型。学习如何安装和配置单节点 Hadoop 集群,然后研究 MapReduce 应用程序。最后,学习使用核心 Web 界面监视和管理 Hadoop 的方法。
<!--
<p class="ibm-no-print">
<div id="dw-tag-this" class="ibm-no-print"></div>
<div i ...
简介: 人们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容,但您曾经想过这些搜索是如何执行的吗?一种方法是 Apache 的 Hadoop,它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoop 框架,并展示它为什么是最重要的基于 Linux® 的分布式计算框架之一。
<!--
<p class="ibm-no-print">
<div ...
基于Eclipse的Hadoop应用开发环境的配置
配置好了Hadoop运行环境,下一步就要配置,开发环境了。实际上开发环境很好配置,网上很多的帖子,都指向了IBM提供的Hadoop开发工具,这个工具很好用。大家打开这个网址,很容易就能Step by step搞定,http://www.alphaworks.ibm.com/tech/mapreducetools。但是细心的读者不难发现,这个工具似乎是个绝版,到现在似乎还是停留在2007年3月23日呢,而且其支持的Eclipse也是3.3的,Hadoop更是0.17的。很多人在forum上还抱怨,安装上这个工具后,报出错误:Refresh ...
今天配置了一下hadoop0.19.0开发环境,1.首先安装JDK1.6(因为hadoop 0.19.0 是需要使用 jdk1.6 ),安装Eclipse 3.3.22.修改eclipse.ini增加粗体:-showsplashorg.eclipse.platform--launcher.XXMaxPermSize256m-vmC:\Program Files\Java\jdk1.6.0_12\bin\javaw.exe-vmargs-Xms256m-Xmx512m3.下载hadoop0.19.0,下载完成以后将hadoop-0.19.0\contrib\eclipse-plugin\hadoo ...
Eclipse是Java开发的最佳环境,支持windows,linux等多个OS平台,
Ubuntu作为极佳的操作系统平台,好马配好鞍,安装Eclipse非常方便,下面将安装eclipse IDE的步骤分享一下。1,从eclipse官方网站上下载最新的tar.gz文件,链接http://www.eclipse.org/downloads/,这里面选择Linux 32 bit版本,下载eclipse-jee-helios-linux-gtk.tar.gz文件,2,复制安装文件到/usr/local目录下面,console运行命令解压安装包:sudo tar -zxvf eclips ...
本文主要是以安装和使用hadoop-0.20.2为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决。
硬件环境共有3台机器,均使用的Ubuntu 10.10系统,Java使用的是jdk1.6.0。IP配置如下:
dbrg-1:202.197.18.72dbrg-2:202.197.18.73dbrg-3:202.197 ...
实验平台:Ubuntu 10.10,Hadoop0.20.2,JDK1.6
step 1. ssh的安装设置
由于Hadoop用ssh 通信,因此先进行免密码登录设定, root$ apt-get install ssh
root$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
root$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
root$ ssh localhost
完成后请登入确认不用输入密码,(第一次登入需按enter键,第二次就可以直接登入到系统。~$ ...
Java NIO与IO的区别和比较
导读 J2SE1.4以上版本中发布了全新的I/O类库。本文将通过一些实例来简单介绍NIO库提供的一些新特性:非阻塞I/O,字符转换,缓冲以及通道。
一. 介绍NIONIO包(java.nio.*)引入了四个关键的抽象数据类型,它们共同解决传统的I/O类中的一些问题。1. Buffer:它是包含数据且用于读写的线形表结构。其中还提供了一个特殊类用于内存映射文件的I/O操作。2. Charset:它提供Unicode字符串影射到字节序列以及逆影射的操作。3. Channels:包含socket,file和pipe三种管道,它实际上是双向交流的通道。 ...
java nio 开发实例
最近一直在研究java nio,提出一点浅见,希望能和大家分享!!!废话不多说了,直接进入主题!
首先了解下所谓的java nio是个什么东西!
传统的并发型服务器设计是利用阻塞型网络I/O 以多 ...
java操作符共分为九种:1、赋值(=)2、算术运算符(+, -, *, /, %)3、关系操作符(< ,> ,<= , >=, ==, !=)4、逻辑操作符(&&,||,!)5、按位操作符(&,|,~,^)6、移位操作符(<<,>& ...
Java的核心库java.io提供了全面的IO接口,包括:文件读写,标准设备输出等等。Java中IO是以流为基础进行输入输出的,所有数据被串行化写入输出流,或者从输入流读入。在具体使用中很多初学者对Java.io包的使用非常含糊,本文将详细解说关于Java.io的使用。
1、要明白java.io,需要理解decorator设计模式,下面详细介绍下。
装饰模式是对对象功能增强时,平时使用继承的一种替代方案
一.UML示意图:
二.组成部分:
1. 抽象构件:原始的功能接口
2. 具体构件:具体