首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

入门指南 | Datavines 安装部署篇

编程知识
2024年09月07日 09:48

摘要:本文主要介绍基于源码部署 Datavines 和执行检查作业,内容主要分为以下几个部分:

  • 平台介绍
  • 快速部署
  • 运行数据质量检查作业

Datavines 的目标是成为更好的数据可观测性领域的开源项目,为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建设中来,和我们一起成长,携手共建更好的社区。

https://github.com/datavane/datavines
https://github.com/datavane/datavines/issues
https://github.com/datavane/datavines/pulls


平台介绍

Datavines 是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据,让您做到心中有数.

快速部署

环境准备

在安装 Datavines 之前请确保你的服务器上已经安装下面软件

  • Git,确保 git clone的顺利执行
  • JDK,确保 jdk >= 8
  • Maven, 确保项目的顺利打包(当然你也可以在本地打包以后上传至服务器)
  • MySQL, 确保版本 >=5.7

下载代码

git clone https://github.com/datavane/datavines.git
cd datavines

数据库准备

Datavines 的元数据是存储在关系型数据库中,目前支持 MySQL ,下面以 MySQL 为例说明安装步骤:

  • 创建数据库 datavines
  • 执行 script/sql/datavines-mysql.sql 脚本进行数据库的初始化

项目构建

打包并解压

mvn clean package -Prelease
cd datavines-dist/target
tar -zxvf datavines-1.0.0-SNAPSHOT-bin.tar.gz

解压完成以后进入目录

cd datavines-1.0.0-SNAPSHOT-bin

编辑配置信息

cd conf
vi application.yaml

修改数据库信息

spring:
 datasource:
   driver-class-name: com.mysql.cj.jdbc.Driver
   url: jdbc:mysql://127.0.0.1:3306/datavines?useUnicode=true&characterEncoding=UTF-8
   username: root
   password: 123456

如果你是使用 Spark 做为执行引擎,并且是提交到 yarn 上面去执行的,那么需要在 common.properties 中配置 yarn 相关的信息

  • standalone 模式
yarn.mode=standalone
yarn.application.status.address=http://%s:%s/ws/v1/cluster/apps/%s #第一个%s需要被替换成yarn的ip地址
yarn.resource.manager.http.address.port=8088
  • ha 模式
yarn.mode=ha
yarn.application.status.address=http://%s:%s/ws/v1/cluster/apps/%s
yarn.resource.manager.http.address.port=8088
yarn.resource.manager.ha.ids=192.168.0.1,192.168.0.2

启动服务

cd bin
sh datavines-daemon.sh start mysql

查看日志,如果日志里面没有报错信息,并且能看到
[INFO] 2022-04-10 12:29:05.447 io.datavines.server.DatavinesServer:[61] - Started DatavinesServer in 3.97 seconds (JVM running for 4.69) 的时候,证明服务已经成功启动。

访问前端页面

在浏览器输入: 服务器IP:5600 ,就会跳转至登录界面,输入账号密码 admin/123456

运行数据质量检查作业

创建数据源

进入首页后,点击右上角 创建数据源 按钮,输入数据源的名称,然后选择数据源类型。以 MySQL 为例,输入 MySQL 的连接信息,点击 测试连接 按钮。如果成功,请单击 保存

进入数据源

点击并进入数据源,找到 作业管理 页面

创建检查作业

  • 点击 创建规则作业 按钮,选择 数据质量作业

  • 进入规则的配置页面

  • 进行规则配置

    • 选择 枚举值[不在]检查 规则
    • 依次选择数据库、表和列
    • 输入枚举数组 [0,1]
  • 进行期望值配置

    • 如果没有期望值则选择
  • 进行校验配置

    • 选择 实际值 检查公式、 > 比较符并输入阈值 10
    • 这样就构成 【实际值 > 10】 公式 ,公式成立时表示检查结果为成功,否则是失败。
  • 进行错误数据配置

    • 选择保存在源数据源中,填写已创建好的数据库
  • 完成配置后点击 保存并运行 来执行检查作业。

查看规则作业的信息

作业列表 找到刚刚创建并执行的检查作业。

点击 执行记录 页面, 你可以看到执行历史列表。

点击 日志 按钮,你可以看到规则执行的日志信息。

点击 结果 按钮,你可以看到规则执行的检查结果。

点击 错误数据 按钮,你可以看到规则执行的错误数据。

结束语

本文详细介绍了Datavines平台的部署安装到运行的整个过程,每个环节图文并茂,相信很多小伙伴都跃跃欲试了,动起来吧,更多精彩等着你来挖掘。

关于Datavane

Datavane 是一个专注于大数据领域的开源组织(社区),由一群大数据领域优秀的开源项目作者共同创建,旨在帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件,宗旨是:只为做一个好软件。目前已经聚集了一批优质的开源项目,涉及到数据集成、大数据组件管理、数据质量等。

在 Datavane 社区中,所有的项目都是开源开放的,代码质量和架构设计优质的潜力项目。社区保持开放中立、协作创造、坚持精品,鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作,创新创造,建设一个更加强大的开源社区。

官 网: http://www.datavane.org/
Github : https://github.com/datavane

From:https://www.cnblogs.com/simple-focus/p/18401422
本文地址: http://www.shuzixingkong.net/article/1803
0评论
提交 加载更多评论
其他文章 五子棋AI:实现逻辑与相关背景探讨(上)
绪论 本合集将详细讲述如何实现基于群只能遗传算法的五子棋AI,采用C++作为底层编程语言 本篇将简要讨论实现思路,并在后续的文中逐一展开 了解五子棋 五子棋规则 五子棋是一种经典的棋类游戏,规则简单却充满策略性。游戏在一个19×19的棋盘上进行(也可以使用13×13或15&#21
五子棋AI:实现逻辑与相关背景探讨(上) 五子棋AI:实现逻辑与相关背景探讨(上) 五子棋AI:实现逻辑与相关背景探讨(上)
musl libc 与 glibc 在 .NET 应用程序中的兼容性
musl Linux 和 glibc 是两种不同的 C 标准库实现,它们在多个方面存在显著差异。历史和使用情况:glibc 是较早且广泛使用的 C 标准库实现,具有较长的开发历史和广泛的社区支持。它被大多数 Linux 发行版采用,特别是在桌面和服务器环境中。 musl 是一个相对较新的实现,旨在提
JDBC,SQL注入,事务,C3P0于Druid连接池(最详细解析)
JDBC JDBC(Java DataBase Connectivty,Java数据库连接)API,是一种用于执行Sql语句的Java API,可以为关系型数据库提供统一的访问,其由一组Java编写的类和接口组成. JDBC驱动程序 起初,SUN公司推出JDBC API希望能适用于所有数据库,但实际
JDBC,SQL注入,事务,C3P0于Druid连接池(最详细解析) JDBC,SQL注入,事务,C3P0于Druid连接池(最详细解析) JDBC,SQL注入,事务,C3P0于Druid连接池(最详细解析)
(零) React Native 项目开发拾遗
一位离职的前端同事,最近接了个 React Native 的活儿,遇到许多搞不定的问题,于是找到我帮忙“补课”(没有系统的学习 React Native,也不具备原生 Android 和 iOS 开发基础知识)。 此前带过另一位前端同事入门 React Native 开发,有段时间甚至一天得花一两个
manim边学边做--角度标记
manim中绘制一个角度其实就是绘制两条直线,本篇介绍的不是绘制角度,而是绘制角度标记。 对于锐角和钝角,角度标记是一个弧,弧的度数与角的度数一样; 对于直角,角度标记是一个垂直的拐角。 manim中关于角度标记的模型主要有3个: Angle:根据两条直线绘制角度标记 RightAngle:根据两条
manim边学边做--角度标记 manim边学边做--角度标记 manim边学边做--角度标记
[C#基础1/21] C#概述
Notion原笔记 1. C# 简介 1.1 C# 定义 C# 在继承 C 和 C++ 强大功能的同时去掉了一些它们的复杂特性,使其成为 C 语言家族中的一种高效强大的编程语言 1.2 C# 用途 用于捕获、分析和处理数据的业务应用程序 可从 Web 浏览器访问的动态 Web 应用程序 2D 和 3
真人模特失业?AI虚拟试衣一键成图,IDM-VTON下载介绍
在电商行业竞争尤为激烈的当下,除了打价格战外,如何有效的控制成本,是每个从业者都在思考的问题 IDM-VTON是一个AI虚拟换装工具,旨在帮助服装商家解决约拍模特导致的高昂成本问题,只需一张服装图片,就可以生成各种身穿该服装的模特,大大简化了传统的产品展示过程 IDM-VTON最新中文版: 百度网盘
真人模特失业?AI虚拟试衣一键成图,IDM-VTON下载介绍 真人模特失业?AI虚拟试衣一键成图,IDM-VTON下载介绍 真人模特失业?AI虚拟试衣一键成图,IDM-VTON下载介绍
HashMap深入讲解
HashMap是Java中最常用的集合类框架,也是Java语言中非常典型的数据结构, 而HashSet和HashMap者在Java里有着相同的实现,前者仅仅是对后者做了一层包装,也就是说HashSet里面有一个HashMap(适配器模式)。因此了解HashMap源码也就了解HashSet了 介绍 K
HashMap深入讲解