道行尚浅的道场


博客页面

浅谈元数据

作为一个对世界充满好奇,而又学力不足的弱鸡,我经常问的问题和楼下保安大哥差不多: 这个糟糕的习惯,一直保持到现在.看到数据库中密密麻麻的数据,这三个问题,也在心中萦绕不去.直到我听说了一个高大上的名词: 元数据 作为一个即将被拍散的前浪,一个十几年的DBA,数据这玩意,我太熟了,但是这...

浅谈数据湖

数据湖的概念 什么是数据湖? 数据湖是一个存储各类数据的大型仓库.本质上来讲,数据湖是数据仓库基于大数据技术的一种实现方式.与传统的,基于关系型数据库技术实现的数据仓库,数据湖再以下几个方面更优秀: 支持海量数据,得益于分布式存储,数据湖可支持海量数据 支持多类数据,数据湖在同时支持结构...

孔乙己新编

西三旗餐馆的格局是和别处不同的:都是当街一个冰柜,摆着各种酒.做工的人,傍午傍晚散了工,每每花两元钱,买一瓶皮珏-这是二十年前的事情,现在每瓶酒要涨到五块了–站在街上喝了解暑,若是啃多花五元,便可以买一叠花生米,或者豆腐丝做下酒物了么,如果能出到30元,那就能买一样荤菜,但这些顾客,大多是背心...

《引爆用户增长》读书笔记

什么是增长? 这里的增长是指企业的增长,即企业通过自身的长期经营,不打扩大积累而形成的持续性发展。 用一组比较简单的公式来说: 企业营收=用户数 * 转化率 * 客单价 大到一个集团,小到一个店铺,其营收都遵循这个公式。 企业的大部分营销行为,也都和上述公式中的三个因素有关。 驱动...

通过SQL拆分数列

问题背景: 我组承接中心入湖任务,现剩余近400张表,尚未入湖,现在要按月拆分,与今年12月入湖完毕. 现在要排9,10,11,12月的计划,假设按表排序后,两表间大小差距不大,要平均将工作排期到四个月份中,并保证存量数据能跑完. 表数量对应工作量 表大小对应存量数据文件生成时间. ...

基于MySQL的SQL讲义

SQL概述 SQL概念 结构化查询语言(Structured Query Language) 简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统;同时也是数据库脚本文件的扩展名。 结构化查询语言是高级的非过程化...

使用SQL取 平均数,众数,中位数

以EMP表中sal列为例 看下数据 SQL> select * from scott.emp ; EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO ----- ---------- ---...

Oracle 三表全外联结实践

问题描述 有三张表内容如下 t1 c1 c2 1 t1 2 t1 t2 ...

Python3 WSGI argument must be a bytes instance

#!/usr/bin/env python #coding:utf-8 from wsgiref.simple_server import make_server def DaoServer(environ, start_response): start_response('20...

java调用Hadoop API操作HDFS

代码 package hadoop_study; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import org.apache.commons.configurati...

Oracle分页功能的实现与解析

建立测试表 测试表建立 SQL> create table dao_objects 2 as select * from dba_objects ; Table created 收集统计信息 SQL> begin 2 dbms_stats....

使用java读取hdfs上的文件

代码 package hadoop_study; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import org.apache.hadoop.fs.FsUrlStrea...

hadoop完全分布式安装

规划 主机名 IP地址 HDFS角色 node1 192.168.2.61 namenode node2 192.168.2....

使用SQL统计词频

## 功能背景 最近在做数据资产梳理,还有还有命名规范. 突然间想统计下表在命名中最常用的简写 通常在数据库中我们使用’_‘分割简写 select TABLE_NAME from dba_tableS WHERE ROWNUM <= 10 AND INSTR(TAB...

zookeeper分布式安装

规划 节点名 IP 角色 node1 192.168.2.61   node2 192.168.2.62   ...

MySQL中使用mycat进行实现与读写分离功能

规划 节点名 IP 角色 node1 192.168.2.61 master1 node2 192.168.2.62 ...

MySQL中使用mycat进行分库分表

## 规划 节点名 IP 角色 node1 192.168.2.61 master node2 192.168.2.62 ...

MySQL MGR搭建

规划 HOSTNAME IP ROLE node1 192.168.2.61 first node node2 192.168...

MySQL PXC搭建

系统准备 安装EPEL [root@node1 ~]# yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm Loaded plugins: fastestmirror, r...

MySQL 使用Haproxy进行负载均衡

安装haproxy 解压haproxy [root@node4 ~]# tar -zxf haproxy-1.4.20.tar.gz 安装haproxy [root@node4 ~]# cd haproxy-1.4.20 [root@node4 haproxy-1.4.20]# ...