Maclean’s Oracle Database Tech Blog Archives

本文固定链接：https://www.askmac.cn/archives/hadoop-snapshots-try.html 1 实验环境   hadoop 2.7   jdk 1.8   在之前的单namenode非HA的hadoop环境中进行，其中3个datanode   各个节点分布如下：   10.0.0.22            dbdao  # NameNode 10.0.0.23            dbdao2      # ResourceManager 10.0.0.24           dbdao3       # web app proxy and MR Jobhistory server 10.0.0.25            dbdao4  # DataNode 10.0.0.26            dbdao5  # DataNode 10.0.0.27           dbdao6  # DataNode     2 创建快照 2.1 在hdfs中创建snapshottable目录   hdfs dfs -mkdir…

本文是官方文档的翻译固定链接为：https://www.askmac.cn/archives/hadoop-snapshots.html 原文链接：http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/HdfsSnapshots.html   1概述   HDFS 快照是文件系一个时间点的只读的副本。快照可以是部分文件系统，或者整个文件系统。一些场景使用快照的场景是数据备份，防止用户误操作和灾难恢复。   使用HDFS 快照是高效的： 快照创建是瞬间的:成本是0(1)排除查找信息节点的时间 。 额外的内存使用仅仅当对快照进行修改时产生：内存使用时0(M),M是修改文件/目录的数量。 在datanode中的块不会被拷贝：快照文件记录这些块列表和文件大小。不会产生数据拷贝。 快照不会对日常的HDFS操作产生不利的影响：修改被按反向时间排序记录，这样当前数据可以直接的访问。快照数据是由当前数据减去修改数据计算出来的(www.askmac.cn)。   1.1 snapshottable目录   快照可以产生在任何被设置为snapshottable的目录中。一个snapshottable目录可以同时容纳65536个快照。snapshottable目录没有个数上限，管理员可以设置任意个snapshottable。如果一个snapshottable中存在快照，那么这个目录在删除所有快照之前，不能删除或改名。 嵌套的snapshottable目录在现在并不支持。换句话说，如果一个目录的父目录/子目录是一个snapshottable目录的话，那么其不能设置为snapshottable。   1.2 快照 路径   对于一个snapshottable目录，”.snapshot”组件有利于访问其快照。假设/foo是一个snapshottable目录，/foo/bar是 /foo中的一个文件/目录，/foo有一个快照s0，那么这个路径 /foo/.snapshot/s0/bar

OOW Oracle Open World 2015 #OOW2015# Sunday, October 25 下午5:00 – 7:00至下午Moscone North, Hall D 集成的云应用和云平台服务 甲骨文公司比任何其他云服务供应商拥有更多的云应用程序，平台和基础设施服务，它有唯一的真正集成的云堆栈。拉里·埃里森将发布一系列新产品，并突出为什么集成云将带给客户最具创新性和成本效益的好处。 拉里·埃里森 执行主席兼首席技术官，甲骨文   数据中心的转型与创新：推动企业的竞争优势 在过去几年我们见证了数据中心惊人的转变：从云的扩建，到大数据的力量，再到连接设备的激增。这一转型的步伐不断加快。这种转变提供了惊人的新机遇，同样带来了要解决的新挑战。英特尔首席执行官Brian Krzanich，以及一些特殊的客人，将探讨这些机遇和挑战，共享英特尔和我们的合作伙伴创造的创新型解决方案，并展示最一流的组织在如何使用这一转变推动竞争优势。 Brian Krzanich CEO，英特尔   周一10月26日 上午9:00 – 10：15上午，Moscone North, Hall D 2025年愿景：云的数字化改造 部署云解决方案有许多优点和好处，但现实情况是，许多大型企业，本地应用程序和基础设施都不会很快消失。这种转变需要在业务和技术层面被管理，部分企业的转型将比别人更快。你现在对应用程序，平台，业务流程，安全性，数据管理的，以及如何整合业务的基本架构决定可能对未来10年有所影响。现在就开始创建你2025年的战略吧。   加入甲骨文CEO马克·赫德，美国国际集团首席技术官麦克·布雷迪，GE的CIO吉姆·福勒，以及其他客户一起来看企业和云的走向以及企业是如何响应的。 马克·赫德 CEO，甲骨文   与马克·赫德一起的客户 迈克·布雷迪 首席技术官，美国国际集团 吉姆·福勒 首席信息官，GE   周二，10月27日   上午8:30 – 10：15上午，Moscone North, Hall D…

本文固定链接：https://www.askmac.cn/archives/basics-of-mapreduce-development.html   5.MapReduce 开发的基础知识     在前面的章节中，我们将Hadoop作为一个平台介绍给你。您了解了Hadoop架构背后的的概念，知道Hadoop管理的基础知识，甚至还编写了基本的MapReduce程序。 在这一章中，你将学习MapReduce编程的基本原理以及MapReduce程序常见的设计模式，并附带样本用例。这些基本原理将帮助你在下面的章节中深入理解MapReduce的高级概念。     5.1  Hadoop和数据处理   这里将通过实践案例来介绍MapReduce的基本原理。 RDBMS和SQL在数据处理中是无处不在的;我们使用SQL中的语言元素来解释MapReduce的基本概念。 在SQL语言元素背景下讨论MapReduce的基本概念不仅为你创造了一个了解MapReduce的熟悉环境，并且也将使你体会到当数据集很大时，MapReduce解决常见数据处理问题的合适性。 为了实现本章目标，我们使用了航空公司的数据集，包括到从1987年2008年所有商业航班抵达及起飞的详细信息。我们首先介绍一下这个数据集;然后你就可以开始通过MapReduce依据我们提到的SQL语言元素处理常见数据问题。在这一过程中，您将熟悉MapReduce的各个组成部分，其中包括： Mapper Reducer Combiner Partitioner   5.2 回顾航空数据集   本章使用了包括美国国内商业航班从1987年到2008年航班到达和起飞详细信息的航空公司数据集。该数据集是以逗号分隔的（CSV）格式，拥有大约120万条记录。数据集未压缩格式的磁盘总容量为120 GB。这是一个适合Hadoop处理的比较大的数据集，但也不是太大，所以很适合这本书的目的。选择该数据集的另一个原因是要在结构化数据处理的背景下讨论MapReduce。虽然Hadoop也用于非结构化数据处理，但其最常见的用途是在结构化数据集上执行大规模的ETL和把它用作大型数据集的数据仓库。该航空公司数据集高度结构化，适合用于解释SQL语言元素方面的MapReduce概念。该数据集可从http://stat-computing.org/dataexpo/2009/the-data.html下载。 数据集各种字段如表5​​-1所示。

本文地址：https://www.askmac.cn/archives/mysql-lock.html 第7章 锁   章节概述 本章介绍如何MySQL的锁（Lock）机制。你会了解： 锁的概念 如何使用显式表锁 如何使用协同（advisory）锁   7.1 锁的概念 MySQL服务端使用多线程架构，这样使其能够并行地位多个客户端进行服务。对连接的每个客户端来说，服务端分配了一个线程作为其连接处理。如果每个客户端访问不同的表，它们并不会互相干扰对方。然而，当多个客户端尝试在同一时间访问同一张表，会产生争用并需要客户端间协调。如，一个客户端正在修改行而另一个客户端正在读取它们，或两个客户端正在同时修改同一行，这样都会产生问题。为了避免这些问题引发的数据讹误，MySQL使用锁来进行解决。   锁是一种避免由于多个客户端同时进行数据访问而引发问题的机制。锁由服务端管理：它会为某个客户端对数据上锁以限制其它客户端对此数据的访问，直到锁被释放。锁仅允许持有它的客户端对被锁的数据进行访问，而对其它对此数据进行争用的客户端限制访问的操作行为。锁机制所起到的效果是为了在多个客户端进行有冲突的操作时，进行等待，以达到顺序化的数据访问。   不是所有并行访问都会产生冲突，因此使用什么类型的锁以允许客户端访问数据则取决于客户端到底是希望进行读还是写： 如果一个客户端希望读数据，其它客户端也希望读这同样的数据，这并不会产生冲突，它们可以在同时进行读取。然而，如果其它客户端如果要进行写（修改）数据的话，就需要等到读取完成才能进行。 如果一个客户端希望写数据，所有其它客户端必须等它写完，不管它们要做的操作是写操作还是读操作。   换句话说，一个读取器一定会阻碍写，但是不会阻止其它的读取操作。而写则会对其它读和写都进行阻止。读锁和写锁的作用就是允许这些限制被实现。锁使得客户保持等待直到可以安全进行。在这种方式下，锁通过不允许并行冲突来保证避免数据讹误，以有序的方式读取被改变的数据。

本文永久链接：https://www.askmac.cn/archives/mongodb-journal.html ‎ C100DBA MongoDB DBA认证考题讲解 Journal日志的存放     Why might you want to put your journal on a separate drive on your primary? 在你的主库上是什么驱动你去把journal日志存放在一个分离（与db文件分离）的磁盘上？ 允许使用文件系统快照备份 为了改善写出吞吐量 提供更好的故障容错 消除对secondary服务器的需求 增加oplog的窗口 此为单选题， 答案为B 为了改善写出吞吐量 参考：https://docs.mongodb.org/manual/core/write-performance/ Journaling MongoDB uses write ahead logging to an on-disk journal to guarantee write operation durability and to provide crash resiliency. Before applying a…

C100DBA MongoDB DBA认证考题讲解 mongodump command       Which of the following are true about the mongodump command ? Can backup data by connecting to a running mongos or mongod server Can backup data using only the data files for a MongoDB database Writes data in either BSON or JSON format 此为多选题 答案为 A 参考地址：https://docs.mongodb.org/manual/reference/program/mongodump/ 1、mongodump…

本文永久链接： https://www.askmac.cn/archives/try-mean.html ‎   随着JavaScript的深入学习，在此我总结了web service的制作方法。编写了简单的Todo列表。 AngularJS+NodeJS(ExpressJS)+MongoDB   虽然搭建web service有很多方法，但这次主要讲解下述几种方法。 因为从服务器到客户端中，都可以用javascript来写。基于MonogoDB，我们称为MEAN栈。 以下我们将其取名为meanstack-sample，主要按顺序讲授直到启动为止所需要做的事。 Yeoman的设定   在制作网络应用的时候，使用yeoman的话，就可以简单地完成制作雏形以及调试，所以我很推荐大家使用。Yeoman是由Yo（项目管理）+bower（依赖性管理）+grunt（实施搭建测试）来组成的，这些都是能辅助JavaScript开发的nodejs的library。 npm install -g yo grunt-cli bower generator-angular generator-karma   Yo 使用Yo的话，就能安装各种雏形。雏形是可以在npm中搜索，通过输入 npm saerch yeoman-generator   就可以实现搜索。根据想搜索的结果，可以选择想使用的雏形比如输入 % yo webapp   或者 % yo angular   就可以生成各种雏形。   Bower   在Yo中制作雏形之后，根据需要追加JavaScript library时，通过使用bower就可以简单地对此进行管理。 安装： bower install jquery –save   通过添加-save，就可以实现在安装的同时记录设定文件。目录中有bower.json的话，通过输入 bower install…

本文永久链接地址：https://www.askmac.cn/archives/nginx-new-edition.html NGINX的商用版更新 NGINX Plus R7支持HTTP/2  TCP负载均衡也得到了改良   投资着们所热切关心的，人气急剧上升的webserver 网页服务器 NGINX今天（美国时间9/16），发表声明称，服务器的最新商用发行中开始支持HTTP的次时代标准HTTP/2了。   在之前的免费的开源版本中，已经部分支持HTTP/2了，今天则正式对顾客们宣布NGINX Plus R7发行了。这个版本中，HTTP/2服务最大的看点在于，在代表同社的product中，也追加了一些其他的新功能。   HTTP/2的一部分是基于Google的SPDY协议的。但是，NGINX的市场顾问Peter Guagenti所述，浏览器方面的HTTP/2的支持还是有点问题的，在大部分的浏览器都实装了HTTP/2之前，默认的高速HTTP协议，使用SPDY会更好。但是HTTP/2的安全性非常优秀，试用应该从现在开始。   HTTP/2的NGINX的实装方式中，对于传统用户，用标准的HTTP1就可以简单地服务于页面。另外，在支持这个功能的客户端中，可以用HTTP/2以及SPDY来连接。但是，无法并行操作SPDY与HTTP/2。   在这次的更新中，NGINX Plus的TCP负载均衡得到了改良。在上次，首次的发行过程中，TCP的支持与NGINX的HTTP的支持无法良好匹配。。但今后，用户可以设定TCP连接的连接限制以及带宽限制。乍一看觉得这只是个次要的功能，但因为限制在流媒体服务中会频繁用到TCP连接，所以可以限制活跃的连接数的功能，对于防范DDoS是最重要的。

C100DBA MongoDB  DBA认证考题讲解 备份运行中的分片集群       which of the following must you do before backing up a running sharded  cluster using a file system snapshot? Disable Journaling Force an election Stop all the config server backup secondaries Disable the balancer 下列哪个选项是当你使用文件系统快照备份一个在运行中的分片集群时必要做的？ 禁用 Journaling 日志 强制一次election 关闭所有的config server 备份secondaries 禁用balancer 可参考文档 https://docs.mongodb.org/manual/tutorial/backup-sharded-cluster-with-filesystem-snapshots/   最佳答案为 E  禁用balancer…