[Doris] Doris的安装和部署 (二)

文章目录

      • 1.安装要求
        • 1.1 Linux操作系统要求
        • 1.2 软件需求
        • 1.3 注意事项
        • 1.4 内部端口
      • 2.集群部署
        • 2.1 操作系统安装要求
        • 2.2 下载安装包
        • 2.3 解压
        • 2.4 配置FE
        • 2.5 配置BE
        • 2.6 添加BE
        • 2.7 FE 扩容和缩容
        • 2.8 Doris 集群群起脚本
      • 3.图形化

1.安装要求

1.1 Linux操作系统要求

在这里插入图片描述

1.2 软件需求

在这里插入图片描述

1.3 注意事项
  1. 所有部署节点关闭Swap。
  2. Follower的数量必须为奇数,Observer 数量随意。
  3. 当集群可用性要求很高时(比如提供在线业务),可以部署3个 Follower和1-3个Observer。如果是离线业务,建议部署1个Follower和1-3个Observer。
  4. 测试环境也可以仅适用一个BE进行测试。实际生产环境,BE实例数量直接决定了整体查询延迟。
1.4 内部端口

在这里插入图片描述

在这里插入图片描述

当部署多个FE实例时,要保证FE的http_port配置相同。

2.集群部署

在这里插入图片描述

2.1 操作系统安装要求

设置系统最大打开文件句柄数(注意这里的*不要去掉)。

sudo vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

设置最大虚拟块的大小。

sudo vim /etc/sysctl.conf
vm.max_map_count=2000000

重启生效。

2.2 下载安装包

在这里插入图片描述

cat /proc/cpuinfo | grep avx2

如果能看到avx2 字样选择带 avx2 的包。
arm64 架构 cpu(apple),选择 arm64 的安装包下载。

2.3 解压

(1)安装 fe

mkdir -p /opt/module/doris

tar -xvf apache-doris-fe-1.2.4.1-bin-arm.tar.xz -C /opt/module/doris

mv /opt/module/doris/apache-doris-fe-1.2.4.1-bin-arm /opt/module/doris/fe

(2)安装 be

tar -xvf apache-doris-be-1.2.4.1-bin-arm.tar.xz -C /opt/module/doris

mv /opt/module/doris/apache-doris-be-1.2.4.1-bin-arm /opt/module/doris/be

(3)安装其他依赖(java udf 函数)

tar -xvf apache-doris-dependencies-1.2.4.1-bin-arm.tar.xz -C /opt/module/doris

mv /opt/module/doris/apache-doris-dependencies-1.2.4.1-bin-arm /opt/module/doris/dependencies

cp /opt/module/doris/dependencies/java-udf-jar-with-dependencies.jar /opt/module/doris/be/lib
2.4 配置FE

1)修改FE配置文件

vim /opt/module/doris/fe/conf/fe.conf

# web 页面访问端口
http_port = 7030
# 配置文件中指定元数据路径:默认在 fe 的根目录下,可以不配
# meta_dir = /opt/module/doris/fe/doris-meta
# 修改绑定 ip
priority_networks = 192.168.254.102/24
  1. 生产环境强烈建议单独指定目录不要放在Doris安装目录下,最好是单独的磁盘(如果有SSD最好)。
  2. 如果机器有多个IP,比如内网外网, 虚拟机docker等,需要进行IP绑定,才能正确识别。
  3. JAVA_OPTS 默认Java 最大堆内存为 4GB,建议生产环境调整至 8G 以上。

2)启动FE

/opt/module/doris/fe/bin/start_fe.sh --daemon

3)登录 FE Web页面

地址:http://hadoop102:7030/login
用户:root
密码:无

在这里插入图片描述

2.5 配置BE
vim /opt/module/doris/be/conf/be.conf

webserver_port = 7040

priority_networks = 192.168.254.102/24

mem_limit=40%

分发be

xsync be
2.6 添加BE

BE节点需要先在FE中添加,才可加入集群。可以使用mysql-client连接到FE。

1)使用 Mysql 客户端连接到 FE

mysql -h hadoop102 -P9030 -uroot

在这里插入图片描述

2)添加BE

ALTER SYSTEM ADD BACKEND "hadoop102:9050";
ALTER SYSTEM ADD BACKEND "hadoop103:9050";
ALTER SYSTEM ADD BACKEND "hadoop104:9050";

3)启动BE

hadoop102, hadoop103, hadoop104 上都启动BE

/opt/module/doris/be/bin/start_be.sh --daemon

4)mysql查看BE状态

SHOW PROC '/backends'\G

在这里插入图片描述

2.7 FE 扩容和缩容

通过将FE扩容至3个以上节点(必须是奇数)来实现FE的高可用。

1)添加为OBSERVER

ALTER SYSTEM ADD OBSERVER "hadoop103:9010";
ALTER SYSTEM ADD OBSERVER "hadoop104:9010";

2)分发fe

xsync fe

3)启动fe
hadoop102启动:

/opt/module/doris/fe/bin/start_fe.sh --daemon

hadoop103, hadoop104 第一次启动的时候需要参数 --helper leader主机: edit_log_port

/opt/module/doris/fe/bin/start_fe.sh --daemon --helper hadoop102:9010

4)mysql上看fe的状态

show proc '/frontends';

在这里插入图片描述

2.8 Doris 集群群起脚本
#!/bin/bash
case $1 in
    "start")
        for host in hadoop102 hadoop103 hadoop104 ; do
            echo "========== 在 $host 上启动 fe  ========="
            ssh $host "source /etc/profile; /opt/module/doris/fe/bin/start_fe.sh --daemon"
        done
        for host in hadoop102 hadoop103 hadoop104 ; do
            echo "========== 在 $host 上启动 be  ========="
            ssh $host "source /etc/profile; /opt/module/doris/be/bin/start_be.sh --daemon"
        done

       ;;
    "stop")
            for host in hadoop102 hadoop103 hadoop104 ; do
                echo "========== 在 $host 上停止 fe  ========="
                ssh $host "source /etc/profile; /opt/module/doris/fe/bin/stop_fe.sh "
            done
            for host in hadoop102 hadoop103 hadoop104 ; do
                echo "========== 在 $host 上停止 be  ========="
                ssh $host "source /etc/profile; /opt/module/doris/be/bin/stop_be.sh "
            done

           ;;

    *)
        echo "你启动的姿势不对"
        echo "  start   启动doris集群"
        echo "  stop    停止stop集群"

    ;;
esac

在这里插入图片描述

hadoop102:7030/login

在这里插入图片描述

在这里插入图片描述

3.图形化

在这里插入图片描述

在这里插入图片描述

BE:backends

在这里插入图片描述

FE:frontends

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/386097.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Hive的小文件问题

目录 一、小文件产生的原因 二、小文件的危害 三、小文件的解决方案 3.1 小文件的预防 3.1.1 减少Map数量 3.1.2 减少Reduce的数量 3.2 已存在的小文件合并 3.2.1 方式一:insert overwrite (推荐) 3.2.2 方式二:concatenate 3.2.3 方式三&#xff…

[Python] 如何用import导入模块

本篇博客来记以下关于import导入模块的笔记~ 可莉将这篇博客收录在了:《Python》 可莉推荐的优质博主主页:Kevin ’ s blog 我们在Python中可以使用import从标准库中导入一天模块,模块相当于是一个 .py 文件,我们导入后调用相当于…

腾讯云4核8G服务器多少钱?646元一年零3个月

腾讯云服务器4核8G配置优惠价格表,轻量应用服务器和CVM云服务器均有活动,云服务器CVM标准型S5实例4核8G配置价格15个月1437.3元,5年6490.44元,轻量应用服务器4核8G12M带宽一年446元、529元15个月,腾讯云百科txybk.com分…

pythondjangomysql苏州一日游之可视化分析69216-计算机毕业设计项目选题推荐(附源码)

摘 要 信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对旅游服务等问题,对旅游服务进行…

【动态规划】【中位数】【C++算法】1478. 安排邮筒

# 作者推荐 【深度优先搜索】【树】【图论】2973. 树中每个节点放置的金币数目 本文涉及知识点 动态规划汇总 LeetCode1478. 安排邮筒 给你一个房屋数组houses 和一个整数 k ,其中 houses[i] 是第 i 栋房子在一条街上的位置,现需要在这条街上安排 k…

C++基础入门:掌握核心概念(超全!)

C作为一门广泛使用的编程语言,以其高性能和灵活性在软件开发领域占据重要地位。无论是游戏开发、系统编程还是实时应用,C都是一个不可或缺的工具。本博客旨在为初学者提供C编程语言的核心概念,帮助你建立坚实的基础。 C关键字 C关键字是编程…

扫拖一体洗地机哪个好用?热门扫拖一体机品牌

扫拖一体洗地机是一种现代化的清洁设备,它可以帮助我们更快、更有效地清洁地面。这几年市面上的主流品牌纷纷更新迭代产品,那么,选择什么品牌的洗地机才是算是一个不错的选择呢?我们先了解下洗地机吧。 洗地机的功能与原理 市面…

编码、理解和实现LLM中的自注意力、多头注意力、交叉注意力和因果注意力

原文链接:understanding-and-coding-self-attention 2024年1月14日 自注意力是 LLM 的一大核心组件。对大模型及相关应用开发者来说,理解自注意力非常重要。近日,Ahead of AI 杂志运营者、机器学习和 AI 研究者 Sebastian Raschka 发布了一篇…

三天翻倍!ARM 被炒成“英伟达第二”?

周一,Arm股价再度大涨29%,盘中涨幅一度超过40%,单日交易量是过去三个月日均交易量的十倍以上,创下历史新高。自2月7日市场收盘后Arm公布财报以来,短短三个交易日内,Arm股价累计上涨超过90%。 上周&#xf…

前端JavaScript篇之await 在等待什么呢?async/await 如何捕获异常

目录 await 在等待什么呢?async/await 如何捕获异常 await 在等待什么呢? await 关键字实际上是等待一个表达式的结果,这个表达式的计算结果可以是 Promise 对象或者其他值。如果 await 后面的表达式不是 Promise 对象,那么 awai…

论文阅读-Pegasus:通过网络内一致性目录容忍分布式存储中的偏斜工作负载

论文名称:Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories 摘要 高性能分布式存储系统面临着由于偏斜和动态工作负载引起的负载不平衡的挑战。本文介绍了Pegasus,这是一个利用新一代可编程交换机…

CTFshow web(php命令执行 68-71)

web68 还是那句话,没看到flag在哪,那就优先找到flag位置 这里cvar_dump(scandir("/")); 直接输出根目录的位置,然后查看源代码,发现flag位置为flag.txt 知道flag在根目录下面的flag.txt直接访问就好了 cinclude(/flag…

【开源】JAVA+Vue.js实现农村物流配送系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 系统登录、注册界面2.2 系统功能2.2.1 快递信息管理:2.2.2 位置信息管理:2.2.3 配送人员分配:2.2.4 路线规划:2.2.5 个人中心:2.2.6 退换快递处理:…

Zig、C、Rust的Pk1

Zig、C、Rust的Pk1 github.com上看到“A basic comparitive analysis of C, C, Rust, and Zig.”:https://github.com/CoalNova/BasicCompare/tree/main 里边的代码是9个月之前的,用现在的zig 0.11.0 及0.12-dev都无法通过编译(具体为:zig-w…

快速搭建PyTorch环境:Miniconda一步到位

快速搭建PyTorch环境:Miniconda一步到位 🌵文章目录🌵 🌳一、为何选择Miniconda搭建PyTorch环境?🌳🌳二、Miniconda安装指南:轻松上手🌳🌳三、PyTorch与Minic…

langchain==win11搭建使用GPU

annaconda安装Python 3.11.7 下载代码: GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat(原Langchain-ChatGLM)基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM)…

适用于Android 的 7 大短信恢复应用程序

对于 Android 用户来说,丢失重要的短信可能是一种令人沮丧的体验。幸运的是,有许多短信恢复应用程序可以帮助恢复丢失或删除的短信。在本文中,将与您分享 7 个最佳短信恢复应用程序,并帮助您找到可用于恢复已删除消息的最佳应用程…

医院排队叫号系统的设计与实践

随着医疗服务需求的增加,医院排队叫号系统成为了现代医院管理的必备工具。它不仅可以提高医院服务效率,减少患者等待时间,还可以优化医院资源利用,提升患者就诊体验。本文将介绍医院排队叫号系统的设计与实践,包括系统…

2.13学习总结

1.出差(Bleeman—ford)(spfa) (dijkstra) 2.最小生成树(prim)(Kruskal) 最短路问题: 出差https://www.luogu.com.cn/problem/P8802 题目描述 AA …

MySQL:常用指令

MySQL官网 一、在Windows 系统 cmd窗口里执行的命令 启动:net start MySQL停止:net stop MySQL卸载:sc delete MySQL 二、在macOS系统终端里执行的命令 启动:mysql.server start停止:mysql.server stop重启:mysql.server restart 三、执行帮…
最新文章