Maclean’s Oracle Database Tech Blog Archives

一．SOLIX公司简介 SOLIX是总部设于美国硅谷的一家全球著名的高科技跨国集团公司，目前在欧洲，澳洲，亚洲都设有分部，全球总人数4000余人。 SOLIX是全世界数据管理领域的领先厂商，其领军产品数据管理套件EDMS SOLUTIONS已经为全球上百家著名企业所采用，其中包括SUN，HoneyWell，DHL，中国平安等。 目前，SOLIX的数据归档产品已经被ORACLE公司认证为唯一绑定合作产品，与ORACLE产品OEM销售。同时，ORACLE已经成为SOLIX在中国的认证归档产品实施商，这在同行产品中是唯一的。 二、一个企业在数据管理领域中的挑战 一个企业在其数据管理的实践中，会遇到如下挑战： 风险控制 –  安全并有效地管理归档数据 –  隐私数据的有效保护 –  准确、及时地响应企业面临的审计 数据增长的同时保持系统性能的稳定 –  通过将历史交易记录迁移至安全可靠的归档文件中，提高核心应用的性能，同时降低灾备等镜像系统的大小与管理代价 –  测试、开发、QA等系统数据大小的有效控制与管理 –  为各类应用提供稳定的服务等级承诺（SLA） 成本控制 –  减少整体IT架构的整体成本，引入并利用更经济有效的多级存储设备 –  在达成企业合规目标的同时，尽可能降低成本与时间的投入 –  提高开发、测试团队的生产效率 三．数据库归档技术——SOLIX的核心产品技术简介 SOLIX的核心技术数据库归档技术就是为了解决企业上述数据管理挑战应运而生。 随着业务的不断进行，数据库文件大小逐渐增大，一方面要为在线业务提供越来越大的高性能磁盘容量，另一方面数据库的工作性能却越来越差。一种新兴的数据库归档技术能很好地解决这个问题。 数据库归档产品SOLIX能为解决数据库性能下降难题做出怎样的贡献？ 每个数据库管理员都会遇到这样的困惑：随着业务的不断进行，数据库文件大小逐渐增大。由此给数据库管理工作带来很大的困难，一方面要为在线业务提供越来越大的高性能磁盘容量，另一方面数据库的工作性能却越来越差。SOLIX则能很好地解决这个问题 l  何谓数据库归档 简单地讲，数据库归档技术就是一种保持在线数据库规模大体不变、为用户应用提供稳定的数据库性能的方法。具体做法是，将数据库中不经常使用的数据迁移至近线设备，将长期不使用的数据迁移至文件形式归档。随着应用需要，数据在在线、近线和文件文档之间移动，比如应用需要访问许久以前的数据，它的物理位置在近线设备则自动移动到在线设备。而对用户的应用而言，这些都是透明的，就像所有数据都存放在在线设备一样，不会对数据库应用产生任何影响（见下面的原理图）。       数据库归档原理图   l  数据库归档把信息生命周期管理的概念引入到应用程序数据管理中，可以监控、分析和预测数据量的增加，利用在线的数据库随时识别并定位不活动的数据或已经完成的业务交易，把长期不用的数据封装归档，这样就大幅降低活动数据的规模，数据库等应用程序运行时的效率可以大幅提升。经过归档，即使在应用程序本身已经废弃的时候还能够重新利用其数据，同时保持实时访问已归档数据的能力。 l  与文件归档显著不同 我们首先谈一下归档的概念，按照SNIA（存储网络工业协会）的定义，归档是数据集合的一致性拷贝，通常用以长期持久地保存事务或者应用状态记录。一般情况下，归档通常用以审计和分析的目的，而不是用于应用恢复。归档之后，文件的原件一般会被删除，并且需要通过前台的操作来恢复文件。普通的文件归档只能够对文件进行操作，而且归档后的文件一般不再产生变化。而数据库归档则不同，数据在归档之后仍然存在改变的可能，也随时会变成在线的活动数据。 事实上，所有的数据库厂商都提供了类似的数据库归档功能，但目前没有形成商用产品，用户可以使用命令或者编程进行相关操作。数据库归档的概念本身十分简单，把一条记录从生产数据库插入到历史数据库中，然后把该条记录在生产数据库中删除就实现了数据库归档的功能。但是在线数据库需要高可靠性、错误处理、审计以及异常处理（如断电、数据库崩溃）等高级功能，这些都只能由专业的数据库归档产品提供。 l  对备份/恢复的影响 备份是存储管理员最重要的工作之一，如果没有进行数据库归档，那么不仅需要备份整个大型的数据库，而且备份窗口要求很长。在进行数据归档之后，由于已归档的数据库部分可以随时进行备份而不会影响在线数据库的应用，这部分数据库一般为长时间不活跃的数据，因此备份工作很容易完成，而在线的数据库部分也因为进行数据库归档后而瘦身，备份数据量减少，备份窗口减小，从而整体减少了需要备份的数据总量。 而对数据进行恢复的时候，可以在短时间内首先完成在线数据库恢复，之后在在线数据库工作的同时进行其他数据的恢复工作。   数据库归档市场目前还处于起步阶段，但有数字表明，目前这一市场的年复合增长率已达到50%，呈现出高速增长的态势。据Enterprise Storage Group顾问公司今年1月发布的报告显示，2006年，全球总体数据归档容量将达到4000PB以上，而到2010年，这一数字将上升到27000PB，其中，亚太区将成为增长最快速的地区。  …

TomCat 迁移步骤简述以及案例 tomcat迁移步骤案例 诗檀软件-tomcat迁移步骤案例 2015-08-10.pdf

MySQL的SQL查询优化课程 文档下载地址： https://zcdn.askmac.cn/MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96.pdf     第一课：课程介绍   https://zcdn.askmac.cn/%E3%80%90dbDao%20IT%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2-%E6%B1%AA%E4%BC%9F%E5%8D%8E%E3%80%91%20MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96_L1_%E8%AF%BE%E7%A8%8B%E4%BB%8B%E7%BB%8D%E5%8F%8A%E5%87%86%E5%A4%87.mp4     第二课：数据访问优化   https://zcdn.askmac.cn/%E3%80%90dbDao%20IT%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2-%E6%B1%AA%E4%BC%9F%E5%8D%8E%E3%80%91%20MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96_L2_%E6%95%B0%E6%8D%AE%E8%AE%BF%E9%97%AE%E4%BC%98%E5%8C%96.mp4     第三课 了解MySQL查询优化概念（1）   https://zcdn.askmac.cn/%E3%80%90dbDao%20IT%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2-%E6%B1%AA%E4%BC%9F%E5%8D%8E%E3%80%91%20MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96_L3_%E4%BA%86%E8%A7%A3MySQL%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96%E8%BF%87%E7%A8%8B%20-%20%E6%9F%A5%E8%AF%A2%E7%9A%84%E6%89%A7%E8%A1%8C%E8%B7%AF%E5%BE%84.mp4     第四课 了解MySQL查询优化概念（2）   https://zcdn.askmac.cn/%E3%80%90dbDao%20IT%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2-%E6%B1%AA%E4%BC%9F%E5%8D%8E%E3%80%91%20MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96_L4_%E4%BA%86%E8%A7%A3MySQL%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96%E8%BF%87%E7%A8%8B%20-%20%E4%BA%86%E8%A7%A3%E6%9F%A5%E8%AF%A2%E7%8A%B6%E6%80%81.mp4     第五课 了解EXPLAIN   https://zcdn.askmac.cn/%E3%80%90dbDao%20IT%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2-%E6%B1%AA%E4%BC%9F%E5%8D%8E%E3%80%91%20MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96_L5_%E4%BA%86%E8%A7%A3MySQL%E6%9F%A5%E8%AF%A2%E4%BC%98%E5%8C%96%E8%BF%87%E7%A8%8B%20-%20%E4%BA%86%E8%A7%A3EXPLAIN%E5%91%BD%E4%BB%A4%E7%9A%84%E4%BD%BF%E7%94%A8.mp4       第六课 SELECT语句优化实例   https://zcdn.askmac.cn/%E3%80%90dbDao%20IT%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2-%E6%B1%AA%E4%BC%9F%E5%8D%8E%E3%80%91%20MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96_L6_%E4%BC%98%E5%8C%96%E5%AE%9E%E4%BE%8B%20-%20%E5%9C%A8Select%E8%AF%AD%E5%8F%A5%E4%B8%AD%E7%B4%A2%E5%BC%95%E7%9A%84%E4%BD%BF%E7%94%A8.mp4     L7 – 优化实例 – 单个复杂查询 vs 多个简单查询   https://zcdn.askmac.cn/%E3%80%90dbDao%20IT%E5%9C%A8%E7%BA%BF%E6%95%99%E8%82%B2-%E6%B1%AA%E4%BC%9F%E5%8D%8E%E3%80%91%20MySQL%E6%9F%A5%E8%AF%A2%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96_L7_%E4%BC%98%E5%8C%96%E5%AE%9E%E4%BE%8B%20-%20%E5%8D%95%E4%B8%AA%E5%A4%8D%E6%9D%82%E6%9F%A5%E8%AF%A2%20vs%20%E5%A4%9A%E4%B8%AA%E7%AE%80%E5%8D%95%E6%9F%A5%E8%AF%A2.mp4   L8 – 优化实例 – JOIN语法中表顺序的影响…

本文地址：https://www.askmac.cn/archives/mysql-upgrade.html     我们知道，对于MySQL的新版本开发仍在继续，Oracle现在对MySQL发行版更新也很频繁。新版本中增加了许多新特性且修正了旧版本中发现的问题。然而，你不应该在未深入了解升级所涉及到的问题和困难程度的情况下贸然进行新版本的升级。如果你需要进行升级，请在执行操作前仔细阅读官方的《MySQL参考手册》： 总是留意查看升级部分中是否有你所需进行升级时要注意的要点。如果有，请遵照所描述的操作步骤进行升级操作。 检查修改注意部分中在你当前安装版本后的所有相关修改信息，由于有些修正并非都是向后兼容的，因此在你进行升级时，你需要对你的已存应用进行一定的改变。   除了那些警告提示外，升级MySQL总体上可以简单使用以下步骤进行操作： 备份你的数据库 关闭Server 在已存版本上安装新版本MySQL 启动Server   如果你在原有版本的最顶层目录上覆盖安装了最新版本MySQL数据库，你可能就不需要做太多的重新设定。这是因为MySQL在Windows版本的安装，RPM包安装，和源文件安装中都使用相同的安装目录，且无关MySQL版本。不过，如果你在升级MySQL时使用tar文件安装的话，新发行版本的安装更像是进行基于特定版本的目录安装，而不是按已有的安装目录进行安装。因此，在这种情况下，你就需要在升级安装时进行一些重新设置了。如果你已经建立有一个软链接来指向你的旧有安装目录，你可以删除此链接，重建并指向新的安装目录。之后操作中对此链接的引用将对新安装的文件进行访问。

Mongodb 配合node.js 是最佳搭档，但如果不经过必要的测试就上线的话肯定会出现这样那样的问题，包括：“无法发挥出预想的性能”、“不了解sharding和replication是如何工作的“、”不知道如何监控才好“，”要如何做备份和恢复呢“，”安全性方面要如何考量“。这系列的文章就是为了解答此问题。   前言 mongodb对于新手是很友好的，安装简单，用户接口也因为JSON而显得很单纯。没有什么RDBMS相关知识的开发者也能开发出简单的应用。基于javascript开发，常常使用样本数据来指导开发，而一旦当真实数据开始大量产生后，就会出现”怎么不能发挥预想性能的问题“ ”MongoDB由于是NOSQL所以速度很快“  ， 这样的见解是很危险的。以mongodb为例，NOSQL的特点是“善于水平数据分配(Sharding)，水平分片的话，请往往比单机要快！”  这虽然是事实，但单机的快慢仍和具体的调优/优化有关。另外，”因为是NOSQL所以就比RDBMS要快“ 这种想法是要不得的；如果不在实际的场景中去充分测试那么没有人能得出有价值的性能比较结论。 也可能会有人这么想：“那么为了提供整体性能，我们就一定要把sharding数据分片用起来啊！” 但实际大家可能会觉得意外的是，MongoDB的大原则其实是尽可能不要进行sharding。 MongoDB的sharding虽然看起来非常不错，似乎有必要为了提高性能而就sharding进行相关的应用设计，但使用起来其实并不简单。 特别是对已经sharding的数据进行备份的话，就较为困难了。 在MongoDB中如果不是特别复杂的查询，那么使用较为一般的硬件，不进行sharding，也可以达到每秒3000-10000个document的查询。    因此，如果不是太大规模的数据量，则没有必要进行sharding。实际使用mongodb的企业很大一部分并没有启用sharding。 因此在本讲座中关于MongoDB单体性能的阐述，我会试图仔细的说明。  第一回我们说明下 “到底是慢在哪里？”， 第二回则说明“为什么慢”。   要知道是什么原因引起了慢   要处理性能问题，第一要义是知道是什么原因引起了慢；我是为基础设施团队工作的，经常从应用团队哪里接到”数据库就是慢得不行，你快帮忙想想办法吧。“ 这要的拜托。  听到这样的问题，一个职业工程师的第一个反应应当是找出到底什么原因造成了慢。 具体而言，”是某一个特定的查询的响应速度满了吗？“ ”还是整体的数据库的处理能力低下？”  ， 以及到底是“查询慢了，还是“事务慢了”。  比如，写入的响应时间明显变长了，那么此时去扩大物理内存，往往也得不到什么改善。 那么MongoDB到底是哪里慢了，让我们了解一些诊断的技巧。   首先来看看慢的查询   首先我们来看看最基本的找出缓慢查询的方法。  在MongoDB中默认情况下，耗时超过100ms以上的查询，会现在在mongod进程的后台日志中。   以下展示的是mongodb 3.0.中的一个慢查询日志的例子（在MongoDB 2.x中也几乎一样):   2015-07-10T04:09:01.113+0900 I COMMAND [conn1] command test.$cmd command: insert { insert: “hoge”, documents:…

设定Oracle网络环境 设定Oracle网络环境 4.1 目标 通过本节内容，您应该能够： 描述Oracle网络设置 使用Enterprise Manager网络服务管理页面进行Oracle网络设定 使用监听器控制程序 设置可访问Oracle数据库的客户端   4.2 网络设置: 简介 客户端/服务器端应用程序连接   Oracle Net是Oracle Net服务的一个组件，常驻于客户端电脑与Oracle数据库服务器中。Oracle Net负责建立和维护客户端应用程序与服务器之间的连接，以及在两者之间以产业标准协议交换信息。

  使用Oracle Enterprise Manager Database Control与SQL*Plus 3.1 目标 阅读本节后，您应该能： 启动Enterprise Manager dbconsole处理作业 存取Enterprise Manager Database Control 使用Enterprise Manager Database Control 授予Enterprise Manager的管理权限 使用SQL*Plus与iSQL*Plus存取您的数据库 3.2 简介：使用Enterprise Manager管理数据库 Oracle Enterprise Manager Database Control提供了广泛的管理功能，包含： 数据库监控 管理 维护功能 在您安装Oracle软件时，Oracle Universal Installer会安装Oracle Enterprise Manager Database Control。Oracle Enterprise Manager Database Control提供了一个Web界面，让您透过Web界面管理Oracle实例与数据库。 您可以使用Oracle Enterprise Manager Database Control执行下列工作： 检视数据库实例的性能与状态相关信息。 建立数据库存储结构，例如表空间。 建立Schema对象，例如表与索引。 管理使用者安全性。 备份数据库。…

  8月4号，甲骨文中国 2015 数据库大会上海分会召开。早上八点，我就已经来到这次大会的举办地点——上海浦东嘉里大酒店三层，想到能在此见到很多的IT精英我的内心就激动不已，而我也很荣幸能代表SH’OUG参加此次盛会。在和我的同事们汇合之后，我们满怀期待的走进了会场。没想到会场早已人山人海，首先映入眼帘的是排队签到的小伙伴们在耐心等待。 穿过熙熙攘攘的人群，我们来到了大会的展板—一个勾勒出oracle公司38年发展历程的巨型背景图前，并且还在此留影纪念（左四就是意气奋发的刘大大）。     经过了漫长的签到，终于进入了oracle数据库大会的主会场，台上的嘉宾已经开讲，只好到后排坐下。   首先甲骨文公司副总裁及中国区技术产品事业部总经理吴承杨带领全体参会人员回顾了oracle38年的发展历程，从最早的oracle 7开始 ，8i，9i，10g，11g，到今天的12c发布，38年的历炼，铸就了今天oracle的辉煌成就。毫无疑问，oracle 数据库是当今数据库领域的霸主，其技术遥遥领先于其他同类数据库产品。 随后，吴承杨先生请上了oracle数据库的年度优秀数据库用户代表，并为他们颁发了奖章。东方航空航空公司技术部高级经理上台发表了演讲，以及表达了对oracle产品的信赖和认可。 接着是吴承杨先生和甲骨文中国高级销售顾问总监李珈女士共同做了“志存高远，直挂云帆 —— 数据库未来之展望”的主题演讲。其中吴承杨先生着重介绍了oracle公司在云计算和大数据方面的发展，李珈女士则通过几个实际案例阐述了RAC在当今的广泛应用，可见其优越性。   下午，我来到了最感兴趣的第一会场，主题为“让数据库飞起来”。期待已久的oracle前资深技术顾问第一个上台演讲，他演讲的题目是“真实世界的SQL优化”。 刘先生通过一幅幅生动的生动的图片讲解了各种oracle数据库性能图片，这种形象的方式不仅让DBA更改的调优，更能让那些不懂oracle技术的人能够发现oracle数据库的性能问题。之后，还介绍了几款oracle可视化调优和智能调优的“民间神器”，着实让与会人员大开眼界。   随着oracle技术的发展，可视化调优越来越受到大众的欢迎，我相信未来的可视化调优和智能调优会是oracle技术的一个闪光点。 接着，oracle的一个资深售前技术顾问沈宏通过对自贸区实际案例的分析，分享了oracle12c 新特性的应用以及发挥in-memory技术的优势，通过RAC+ADG的容灾方案实现数据的零丢失。让我们看到了oracle在技术发展方面取得的巨大突破。 Oracle售前技术顾问谢伟先生随后分享了在数据库中广泛使用的RAC 技术，RAC 在各类型事务数据库中都有不俗的表现。 最后，神州数码的产品负责人上台介绍了DB360 一体机。 第一会场后，我又去了分会2——从关键业务数据到大数据，听了有关oracle集成设计和虚拟化技术的分享 为优化Oracle软件和硬件，oracle推出一款快速、现代和可靠的Linux内核——Oracle Unbreakable企业级内核（Unbreakable Enterprise Kernel）。 客户可以实现快速访问优化和新的增强功能以及故障修复等。这个新产品是Oracle Linux内核开发努力的结果，并远远超过目前其他的主线内核，也进一步突出了Oracle Linux是企业客户的最佳选择”。 此次大会的召开，我们可看到oracle公司在数据库方面所做的努力以及所取得的巨大成就。相信oracle在未来的云计算，以及大数据方面也会有更大的突破。

 ——回顾 感恩 展望   8月4号，甲骨文中国 2015 数据库大会上海分会召开。早上八点，我就已经来到这次大会的举办地点——上海浦东嘉里大酒店三层，想到能在此见到很多的IT精英我的内心就激动不已，而我也很荣幸能代表SH’OUG参加此次盛会。在和我的同事们汇合之后，我们满怀期待的走进了会场。没想到会场早已人山人海，首先映入眼帘的是排队签到的小伙伴们在耐心等待。 穿过熙熙攘攘的人群，我们来到了大会的展板—一个勾勒出oracle公司38年发展历程的巨型背景图前，并且还在此留影纪念（左四就是意气奋发的刘大大）。     经过了漫长的签到，终于进入了oracle数据库大会的主会场，台上的嘉宾已经开讲，只好到后排坐下。   首先甲骨文公司副总裁及中国区技术产品事业部总经理吴承杨带领全体参会人员回顾了oracle38年的发展历程，从最早的oracle 7开始 ，8i，9i，10g，11g，到今天的12c发布，38年的历炼，铸就了今天oracle的辉煌成就。毫无疑问，oracle 数据库是当今数据库领域的霸主，其技术遥遥领先于其他同类数据库产品。 随后，吴承杨先生请上了oracle数据库的年度优秀数据库用户代表，并为他们颁发了奖章。东方航空航空公司技术部高级经理上台发表了演讲，以及表达了对oracle产品的信赖和认可。 接着是吴承杨先生和甲骨文中国高级销售顾问总监李珈女士共同做了“志存高远，直挂云帆 —— 数据库未来之展望”的主题演讲。其中吴承杨先生着重介绍了oracle公司在云计算和大数据方面的发展，李珈女士则通过几个实际案例阐述了RAC在当今的广泛应用，可见其优越性。  

2015年Oracle甲骨文数据库大会于8月4日隆重召开，以“回顾，感恩，展望”为主题的会场人头攒动。作为诗檀软件代表，很荣幸能够在上海参加此次盛会。同行的还有SHOUG用户组的同行，大家早早地便到达了嘉里大酒店，本以为2015年China Joy刚闭幕，对于技术会议而言会相对人少且沉闷些。没想到到达会场的时候，发现自己还是只能无奈成为长长排队登记中的一员，看来关心Oracle技术发展的技术Fans还是依然相当多的呢。 本次大会都安排在酒店3楼，入口通道处放置了Oracle发展历史墙，供大家拍照留念，偶遇平时不太见到的技术名人也是人生一大乐事。除此之外，我们还可以通过历史墙，重新回顾Oracle的整个成长轨迹。从Oracle刚成立开始，到现在推出Oracle 12c及云服务；从数据库起步，到现在能提供全方位软件到硬件的大公司。整个历史事件如长城上的一个个烽火台，寓意着一个又一个里程碑。想到Oracle已在中国深耕多年，我们有理由相信，即便在当前整个大环境遇到一些挫折，只要还有这么多客户持续坚定的支持，Oracle在中国市场上的开拓发展步伐就不会停止！ 整个会议被安排了一整天，上午对所支持的客户进行了回顾感谢，并对当前及未来进行了技术展望。下午则开始了诚意满满的技术分享，会场被分为了4个小会场，并分布有不同主题。4个会场主题大致分布为： 1）Oracle数据库优化及DB360管理平台 2）Oracle数据库大数据应用及虚拟化技术 3）Oracle数据库高可用架构及数据治理 4）Oracle云服务及Extradata一体机主题 会议中，SHOUG主席刘相兵作为主题一会场的第一位主讲人进行了《可视化Oracle调优与智能优化》的演讲，因此我们也都主要聆听了会场一中的所有议题，包括Oracle 12c In-Memory的客户案例，RAC的最佳实践等等，同时也对神州数码DB360解决方案有了一定的了解。 这是沈宏在进行Oracle 12c In-Memory的客户案例讲解： 这是神州数码的专家对其DB360管理平台在进行相关介绍： 由于会议议题涵盖广泛，因此这里我们就不一一列举了，会场的技术气氛十足啊。想到上午甲骨文副总裁吴承杨谈到Oracle公司的Larry仍然热衷于Oracle技术，并亲自参与演示了从私有云到公有云之间的平滑切换， 让我们深深感受到Oracle这家公司在面向新技术时所抱有的技术热情和持久的创新活力。 更多图片可以参见Flickr上的链接： https://www.flickr.com/photos/59721537@N08