道行尚浅的道场

博客页面

INNODB_CMP 详解

系统表介绍 INNODB_CMP 记录了压缩innodb 表信息. 列名 含义 page_size 页大小 compress_ops 压缩次数 ...

Posted by 道行尚浅 on January 2, 2021

hive表操作

建表语句释义 语法帮助 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) ...

Posted by 道行尚浅 on September 5, 2020

hive 删表报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLT

hive> show databases ; OK dao_db default Time taken: 1.989 seconds, Fetched: 2 row(s) hive> use dao_db ; OK Time taken: 0.039 seconds hive>...

Posted by 道行尚浅 on August 30, 2020

hive db的创建与删除

创建数据库 hive> create database dao_db ; OK Time taken: 1.506 seconds hive> create schema dao_db_1 ; OK Time taken: 0.097 seconds 查看现有的数据库 ...

Posted by 道行尚浅 on August 29, 2020

hadoop日志服务相关配置

概述 在执行mapredecue任务是，可以通过Web UI界面查看任务运行状态，界面如下 在任务报错时，可查看相关的日志 如没有进行配置，报错如下： 配置 yarn-site.xml <property> <name>yar...

Posted by 道行尚浅 on August 22, 2020

解决hive报错 Operation category READ is not supported in state standby

问题表现 执行hive命令时，报错信息如下： [root@node1 ~]# hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/hive/apache-hi...

Posted by 道行尚浅 on August 20, 2020

hive报错一例

问题简述 在hive中执行语句，产生如下报错 hive> select id,count(*) from dao_t1 group by id ; WARNING: Hive-on-MR is deprecated in Hive 2 and may not be availabl...

Posted by 道行尚浅 on August 20, 2020

hive安装

下载并上传hive至服务器 [root@node1 ~]# mkdir /hive [root@node1 ~]# mv apache-hive-2.1.0-bin.tar.gz /hive/ [root@node1 ~]# cd /hive [root@node1 hive]# tar -...

Posted by 道行尚浅 on August 20, 2020

简谈主数据管理

主数据管理 主数据管理(Master Data Mangement, MDM) 描述了一组规程,技术和解决方案,用以协调和管理与企业核心业务实体相关的系统记录数据. 主数据管理体系建设 1.建立主数据管理体系 发布《主数据管理规范》对主数据的申请、校验、审核、发布、变更、冻结、归档...

Posted by 道行尚浅 on February 29, 2020

漫谈主数据

主数据的概念 主数据(Master Data) 是指具有高度业务价值的,可以在企业内跨越各个业务部门被重复使用的数据,是单一、准确、权威的数据来源。 主数据的特性与识别 根据主数据的定义,可以看出主数据有以下几个特征: 高价值性:主数据具有高度的业务价值,描述了企业最核心的数据,...

Posted by 道行尚浅 on February 15, 2020

浅谈元数据

作为一个对世界充满好奇,而又学力不足的弱鸡,我经常问的问题和楼下保安大哥差不多: 这个糟糕的习惯,一直保持到现在.看到数据库中密密麻麻的数据,这三个问题,也在心中萦绕不去.直到我听说了一个高大上的名词~~: 元数据 作为一个即将被拍散的前浪,一个十几年的DBA,数据这玩意,我太熟了,但...

Posted by 道行尚浅 on September 23, 2019

浅谈数据湖

数据湖的概念 什么是数据湖? 数据湖是一个存储各类数据的大型仓库.本质上来讲,数据湖是数据仓库基于大数据技术的一种实现方式.与传统的,基于关系型数据库技术实现的数据仓库,数据湖再以下几个方面更优秀: 支持海量数据,得益于分布式存储,数据湖可支持海量数据 支持多类数据,数据湖在同时支持结构...

Posted by 道行尚浅 on September 23, 2019

孔乙己新编

西三旗餐馆的格局是和别处不同的:都是当街一个冰柜,摆着各种酒.做工的人,傍午傍晚散了工，每每花两元钱，买一瓶皮珏-这是二十年前的事情,现在每瓶酒要涨到五块了–站在街上喝了解暑,若是啃多花五元,便可以买一叠花生米,或者豆腐丝做下酒物了么,如果能出到30元,那就能买一样荤菜,但这些顾客,大多是背心...

Posted by 道行尚浅 on August 30, 2019

《引爆用户增长》读书笔记

什么是增长？ 这里的增长是指企业的增长，即企业通过自身的长期经营，不打扩大积累而形成的持续性发展。 用一组比较简单的公式来说： 企业营收=用户数 * 转化率 * 客单价 大到一个集团，小到一个店铺，其营收都遵循这个公式。 企业的大部分营销行为，也都和上述公式中的三个因素有关。 驱动...

Posted by 道行尚浅 on May 24, 2019

通过SQL拆分数列

问题背景: 我组承接中心入湖任务,现剩余近400张表,尚未入湖,现在要按月拆分,与今年12月入湖完毕. 现在要排9,10,11,12月的计划,假设按表排序后,两表间大小差距不大,要平均将工作排期到四个月份中,并保证存量数据能跑完. 表数量对应工作量 表大小对应存量数据文件生成时间. ...

Posted by 道行尚浅 on May 24, 2019

基于MySQL的SQL讲义

SQL概述 SQL概念 结构化查询语言(Structured Query Language) 简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 结构化查询语言是高级的非过程化...

Posted by 道行尚浅 on April 15, 2019

使用SQL取 平均数,众数,中位数

以EMP表中sal列为例 看下数据 SQL> select * from scott.emp ; EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO ----- ---------- ---...

Posted by 道行尚浅 on March 12, 2019

Oracle 三表全外联结实践

问题描述 有三张表内容如下 t1 c1 c2 1 t1 2 t1 t2 ...

Posted by 道行尚浅 on December 29, 2018

Python3 WSGI argument must be a bytes instance

#!/usr/bin/env python #coding:utf-8 from wsgiref.simple_server import make_server def DaoServer(environ, start_response): start_response('20...

Posted by 道行尚浅 on December 20, 2018

java调用Hadoop API操作HDFS

代码 package hadoop_study; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import org.apache.commons.configurati...

Posted by 道行尚浅 on December 7, 2018