道行尚浅的道场


博客页面

hive表操作

建表语句释义 语法帮助 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) ...

hive 删表报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLT

hive> show databases ; OK dao_db default Time taken: 1.989 seconds, Fetched: 2 row(s) hive> use dao_db ; OK Time taken: 0.039 seconds hive>...

hive db的创建与删除

创建数据库 hive> create database dao_db ; OK Time taken: 1.506 seconds hive> create schema dao_db_1 ; OK Time taken: 0.097 seconds 查看现有的数据库 ...

hadoop日志服务相关配置

概述 在执行mapredecue任务是,可以通过Web UI界面查看任务运行状态,界面如下 在任务报错时,可查看相关的日志 如没有进行配置,报错如下: 配置 yarn-site.xml <property> <name>yar...

解决hive报错 Operation category READ is not supported in state standby

问题表现 执行hive命令时,报错信息如下: [root@node1 ~]# hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/hive/apache-hi...

hive报错一例

问题简述 在hive中执行语句,产生如下报错 hive> select id,count(*) from dao_t1 group by id ; WARNING: Hive-on-MR is deprecated in Hive 2 and may not be availabl...

hive安装

下载并上传hive至服务器 [root@node1 ~]# mkdir /hive [root@node1 ~]# mv apache-hive-2.1.0-bin.tar.gz /hive/ [root@node1 ~]# cd /hive [root@node1 hive]# tar -...

简谈主数据管理

主数据管理 主数据管理(Master Data Mangement, MDM) 描述了一组规程,技术和解决方案,用以协调和管理与企业核心业务实体相关的系统记录数据. 主数据管理体系建设 1.建立主数据管理体系 发布《主数据管理规范》对主数据的申请、校验、审核、发布、变更、冻结、归档...

漫谈主数据

主数据的概念 主数据(Master Data) 是指具有高度业务价值的,可以在企业内跨越各个业务部门被重复使用的数据,是单一、准确、权威的数据来源。 主数据的特性与识别 根据主数据的定义,可以看出主数据有以下几个特征: 高价值性:主数据具有高度的业务价值,描述了企业最核心的数据,...

浅谈元数据

作为一个对世界充满好奇,而又学力不足的弱鸡,我经常问的问题和楼下保安大哥差不多: 这个糟糕的习惯,一直保持到现在.看到数据库中密密麻麻的数据,这三个问题,也在心中萦绕不去.直到我听说了一个高大上的名词~~: 元数据 作为一个即将被拍散的前浪,一个十几年的DBA,数据这玩意,我太熟了,但...

浅谈数据湖

数据湖的概念 什么是数据湖? 数据湖是一个存储各类数据的大型仓库.本质上来讲,数据湖是数据仓库基于大数据技术的一种实现方式.与传统的,基于关系型数据库技术实现的数据仓库,数据湖再以下几个方面更优秀: 支持海量数据,得益于分布式存储,数据湖可支持海量数据 支持多类数据,数据湖在同时支持结构...

孔乙己新编

西三旗餐馆的格局是和别处不同的:都是当街一个冰柜,摆着各种酒.做工的人,傍午傍晚散了工,每每花两元钱,买一瓶皮珏-这是二十年前的事情,现在每瓶酒要涨到五块了–站在街上喝了解暑,若是啃多花五元,便可以买一叠花生米,或者豆腐丝做下酒物了么,如果能出到30元,那就能买一样荤菜,但这些顾客,大多是背心...

《引爆用户增长》读书笔记

什么是增长? 这里的增长是指企业的增长,即企业通过自身的长期经营,不打扩大积累而形成的持续性发展。 用一组比较简单的公式来说: 企业营收=用户数 * 转化率 * 客单价 大到一个集团,小到一个店铺,其营收都遵循这个公式。 企业的大部分营销行为,也都和上述公式中的三个因素有关。 驱动...

通过SQL拆分数列

问题背景: 我组承接中心入湖任务,现剩余近400张表,尚未入湖,现在要按月拆分,与今年12月入湖完毕. 现在要排9,10,11,12月的计划,假设按表排序后,两表间大小差距不大,要平均将工作排期到四个月份中,并保证存量数据能跑完. 表数量对应工作量 表大小对应存量数据文件生成时间. ...

基于MySQL的SQL讲义

SQL概述 SQL概念 结构化查询语言(Structured Query Language) 简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统;同时也是数据库脚本文件的扩展名。 结构化查询语言是高级的非过程化...

使用SQL取 平均数,众数,中位数

以EMP表中sal列为例 看下数据 SQL> select * from scott.emp ; EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO ----- ---------- ---...

Oracle 三表全外联结实践

问题描述 有三张表内容如下 t1 c1 c2 1 t1 2 t1 t2 ...

Python3 WSGI argument must be a bytes instance

#!/usr/bin/env python #coding:utf-8 from wsgiref.simple_server import make_server def DaoServer(environ, start_response): start_response('20...

java调用Hadoop API操作HDFS

代码 package hadoop_study; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import org.apache.commons.configurati...

Oracle分页功能的实现与解析

建立测试表 测试表建立 SQL> create table dao_objects 2 as select * from dba_objects ; Table created 收集统计信息 SQL> begin 2 dbms_stats....