请选择 进入手机版 | 继续访问电脑版

JeeGit 官方论坛

找回密码
立即注册
搜索
热搜: 活动 交友 discuz
发新帖

1

收听

0

听众

181

主题
发表于 2023-7-14 08:47:56 | 查看: 572| 回复: 3
https://cloud.tencent.com/develo ... Evtq92slJc4gxXvXvmy


替代ELK:ClickHouse+Kafka+FlieBeat

替代ELK:ClickHouse+Kafka+FlieBeat

发布于 2022-08-29 12:08:36
2430


举报



点击上方“芋道源码”,选择“设为星标
管她前浪,还是后浪?
能浪的浪,才是好浪!
每天 10:33 更新文章,每天掉亿点点头发...
源码精品专栏



背景
saas业务业务未来需要业务管理、业务管理等业务能力。
为了平台系统能力、我们需要完善数据集来帮助运营分析活动效果、提升运营能力。
如果在实际过程中直接部署系统,对于用户来说,将是一个巨大的数据比较能力的服务器。我们在开发中使用折中方案完善数据分析。
基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
Elasticsearch 与 ClickHouse
ClickHouse是一款系统列式对数据库管理的测试,我们使用ClickHouse进行了以下优势:
①ClickHouse 输入商品大
单服务器记录写入量在 50MB 到 50MB/秒,记录写入超过 60w 个数,是 ES 的 5 倍以上。
在 ES 中比较常见的写 Rejected 导致数据丢失、写入延迟等问题,在 ClickHouse 中不容易发生。
②查询速度快
网页缓存中的快速数据,在页面缓存中的快速查询单 2-30GB/查询速度;没有在的情况下,查询查询结果的查询速度和数据查询速度比 ES ClickHouse 5-30倍以上。
③点击费用比ES费用多少
Click House 的 ES 高,同样数据占用的计算机空间比 ES 的 1/0 使用 1/03 次,可以节省空间的同时,也能有效地减少碳 IO,这也是 Click 查询效率更高的原因之一。


点击使用House的内存资源,可以比用CPU的资源。


基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能
成本分析
备注:在没有任何折扣的情况下,基于阿里云分析。


环境部署动物园管理员聚集部署


yum install java-1.8.0-openjdk-devel.x86_64/etc/profile 配置环境变量更新系统时间yum install  ntpdatentpdate asia.pool.ntp.orgmkdir zookeepermkdir ./zookeeper/datamkdir ./zookeeper/logswget  --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gztar -zvxf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/zookeeperexport ZOOKEEPER_HOME=/usr/zookeeper/apache-zookeeper-3.7.1-binexport PATH=$ZOOKEEPER_HOME/bin:$PATH进入ZooKeeper配置目录cd $ZOOKEEPER_HOME/conf新建配置文件vi zoo.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/usr/zookeeper/datadataLogDir=/usr/zookeeper/logsclientPort=2181server.1=zk1:2888:3888server.2=zk2:2888:3888server.3=zk3:2888:3888在每台服务器上执行,给zookeeper创建myidecho "1" > /usr/zookeeper/data/myidecho "2" > /usr/zookeeper/data/myidecho "3" > /usr/zookeeper/data/myid进入ZooKeeper bin目录cd $ZOOKEEPER_HOME/binsh zkServer.sh start复制
卡夫卡基地部署mkdir -p /usr/kafkachmod 777 -R /usr/kafkawget  --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.2.0/kafka_2.12-3.2.0.tgztar -zvxf kafka_2.12-3.2.0.tgz -C /usr/kafka不同的broker Id 设置不一样,比如 1,2,3broker.id=1listeners=PLAINTEXT://ip:9092socket.send.buffer.bytes=102400socket.receive.buffer.bytes=102400socket.request.max.bytes=104857600log.dir=/usr/kafka/logsnum.partitions=5num.recovery.threads.per.data.dir=3offsets.topic.replication.factor=2transaction.state.log.replication.factor=3transaction.state.log.min.isr=3log.retention.hours=168log.segment.bytes=1073741824log.retention.check.interval.ms=300000zookeeper.connect=zk1:2181,zk2:2181,zk3:2181zookeeper.connection.timeout.ms=30000group.initial.rebalance.delay.ms=0后台常驻进程启动kafkanohup /usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-start.sh /usr/kafka/kafka_2.12-3.2.0/config/server.properties   >/usr/kafka/logs/kafka.log >&1 &/usr/kafka/kafka_2.12-3.2.0/bin/kafka-server-stop.sh$KAFKA_HOME/bin/kafka-topics.sh --list --bootstrap-server  ip:9092$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server ip:9092 --topic test --from-beginning$KAFKA_HOME/bin/kafka-topics.sh  --create --bootstrap-server  ip:9092  --replication-factor 2 --partitions 3 --topic xxx_data复制
FileBeat 部署sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearchCreate a file with a .repo extension (for example, elastic.repo) in your /etc/yum.repos.d/ directory and add the following lines:/etc/yum.repos.d/ 目录下创建elastic.repo[elastic-8.x]name=Elastic repository for 8.x packagesbaseurl=https://artifacts.elastic.co/packages/8.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-mdyum install filebeatsystemctl enable filebeatchkconfig --add filebeat复制
复制
FileBeat配置文件说明,坑点1(需设置keys_under_root: true)。如果不设置kafka的消息字段如下:


文件目录: /etc/filebeat/filebeat.ymlfilebeat.inputs:- type: log  enabled: true  paths:    - /root/logs/xxx/inner/*.log  json:  如果不设置该索性,所有的数据都存储在message里面,这样设置以后数据会平铺。       keys_under_root: true output.kafka:  hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]  topic: 'xxx_data_clickhouse'  partition.round_robin:            reachable_only: false            required_acks: 1            compression: gzipprocessors: 剔除filebeat 无效的字段数据    - drop_fields:          fields: ["input", "agent", "ecs", "log", "metadata", "timestamp"]        ignore_missing: falsenohup ./filebeat -e -c /etc/filebeat/filebeat.yml > /user/filebeat/filebeat.log & 输出到filebeat.log文件中,方便排查复制
clickhouse 部署


检查当前CPU是否支持SSE 4.2,如果不支持,需要通过源代码编译构建grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"返回 "SSE 4.2 supported" 表示支持,返回 "SSE 4.2 not supported" 表示不支持创建数据保存目录,将它创建到大容量磁盘挂载的路径mkdir -p /data/clickhouse修改/etc/hosts文件,添加clickhouse节点举例:10.190.85.92 bigdata-clickhouse-0110.190.85.93 bigdata-clickhouse-02服务器性能参数设置:cpu频率调节,将CPU频率固定工作在其支持的最高运行频率上,而不动态调节,性能最好echo 'performance' | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor内存调节,不要禁用 overcommitecho 0 | tee /proc/sys/vm/overcommit_memory始终禁用透明大页(transparent huge pages)。 它会干扰内存分配器,从而导致显着的性能下降echo 'never' | tee /sys/kernel/mm/transparent_hugepage/enabled首先,需要添加官方存储库:yum install yum-utilsrpm --import <https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG>yum-config-manager --add-repo <https://repo.clickhouse.tech/rpm/stable/x86_64>查看clickhouse可安装的版本:yum list | grep clickhouse运行安装命令:yum -y install clickhouse-server clickhouse-client修改/etc/clickhouse-server/config.xml配置文件,修改日志级别为information,默认是trace<level>information</level>执行日志所在目录:正常日志/var/log/clickhouse-server/clickhouse-server.log异常错误日志/var/log/clickhouse-server/clickhouse-server.err.log查看安装的clickhouse版本:clickhouse-server --versionclickhouse-client --passwordsudo clickhouse stopsudo clickhouse tartsudo clickhouse start复制


clickhouse 部署过程中遇到的一些问题如下:
①点击house创建kafka引擎表:
CREATE TABLE default.kafka_clickhouse_inner_log ON CLUSTER clickhouse_cluster (    log_uuid   String ,    date_partition   UInt32 ,    event_name   String ,    activity_name   String ,    activity_type   String ,    activity_id   UInt16 ) ENGINE = Kafka SETTINGS    kafka_broker_list = 'kafka1:9092,kafka2:9092,kafka3:9092',    kafka_topic_list = 'data_clickhouse',    kafka_group_name = 'clickhouse_xxx',    kafka_format = 'JSONEachRow',    kafka_row_delimiter = '\n',    kafka_num_consumers = 1;复制
1:clikhouse 客户端问题无法查询 kafka 引擎
不允许直接选择。要启用使用设置 stream_like_engine_allow_direct_select.(QUERY_NOT_ALLOWED)(版本 22.5.2.53(官方构建))


解决方案:
需要在clickhouse client 创建加上 --stream_like_engine_allow_direct_select 1 clickhouse-client --stream_like_engine_allow_direct_select 1 --password xxxxx复制


②点击房屋创建本地节点表
2:无法开启本地表宏
代码:62。DB::Exception:[10.74.244.57:9000] 上出现错误:代码:62.DB::Exception:在处理“/clickhouse/tables/default/”中的替换时,配置中没有宏“碎片” bi_inner_log_local/{shard}' at '50' 或宏在这里不受支持。(SYNTAX_ERROR)(版本 22.5.2.53(官方版本))。(SYNTAX_ERROR) (版本 22.5.2.53 (正式版))
创建本地表(使用复制去重表引擎)create table default.bi_inner_log_local ON CLUSTER clickhouse_cluster (    log_uuid   String ,    date_partition   UInt32 ,    event_name   String ,    activity_name   String ,    credits_bring   Int16 ,    activity_type   String ,    activity_id   UInt16 ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/default/bi_inner_log_local/{shard}','{replica}')  PARTITION BY date_partition  ORDER BY (event_name,date_partition,log_uuid)   SETTINGS index_granularity = 8192;复制
解决方案:在不同的clickhouse节点上配置不同的分片,每个节点的分片名称不能一致。
<macros>        <shard>01</shard>        <replica>example01-01-1</replica>    </macros>复制




3:clickhouse中节点数据已经存在
代码:253。DB::Exception:出现错误:代码:253。DB::Exception:副本/clickhouse/tables/default/bi_inner_log_local/01/replicas/example01-01-1 已存在。(REPLICA_IS_ALREADY_EXIST)(版本 22.5.2.53(官方版本))。(REPLICA_IS_ALREADY_EXIST)(版本 22.5.2.53(官方构建))
解决方案:进入zookeeper客户端删除相关节点,然后再重新创建ReplicatedReplaceingMergeTree表。这样可以保障每一个clickhouse节点去消费kafka分区的数据。
③点击房屋创建聚会表
日志(根据日志_uuid 分发给数据,相同的日志_uuid 会发送到同一时间的数据分片上重发):
CREATE TABLE default.bi_inner_log_all ON CLUSTER clickhouse_cluster AS default.bi_inner_log_localENGINE = Distributed(clickhouse_cluster, default, bi_inner_log_local, xxHash32(log_uuid));复制
4:自动查询表无法查询
代码:516。DB::Exception:从 10.74.244.57:9000 接收。DB::Exception:默认值:身份验证失败:密码不正确或没有该名称的用户。(AUTHENTICATION_FAILED) (版本 22.5.2.53 (正式版))
解决方案:
<!--分布式表配置--> <remote_servers>       <clickhouse_cluster> <!--集群名称, 可以自定义, 后面在新建库、表的时候需要用到集群名称-->     <shard>    <!--内部复制(默认false), 开启后, 在分布式表引擎下, 数据写入时-->                        <!--每个分片只会去寻找一个节点写, 并不是每个都写-->                        <internal_replication>true</internal_replication>                        <replica>                            <host>ip1</host>                            <port>9000</port>                                    <user>default</user>                                    <password>xxxx</password>                        </replica>                    </shard>                    <shard>                        <internal_replication>true</internal_replication>                        <replica>                            <host>ip2</host>                            <port>9000</port>                                    <user>default</user>                                    <password>xxxx</password>                        </replica>                    </shard>                </clickhouse_cluster>        </remote_servers>复制
④点击房屋创建物化视图
创建物化物,把查看 Kafka 消费表消费的同步 ClickHouse 表格数据表。
CREATE MATERIALIZED VIEW default.view_bi_inner_log ON CLUSTER clickhouse_cluster TO default.bi_inner_log_all AS SELECT     log_uuid ,date_partition ,event_name ,activity_name ,credits_bring ,activity_type ,activity_id FROM default.kafka_clickhouse_inner_log;复制
小结:不负有心人,解决完以上所有的问题。数据流转通了!这里所有组件都是功夫文档比较新的版本,所以过程中问题的解决基本都是官方或操作手册一步一步的解决。


总结一句话:问题遇到去解决或--帮助去解决,慢慢的你的官方升华。
总结
整个部署的过程中有一个坑,特别是filebeat yml的参数设置和clickhouse的配置说明。
很久没有更新了,经常看到博客35岁以后办的问题。说实话我自己也不会好以后怎么办,核心还是持续的&输出。不断的博客制造了自己的护城河,不管是技术专家、业务专家、架构、管理等。
个人建议如果能经常写代码就奋战一线,管理彻底与公司绑定。
如果所在行业的公司还是已经选择了整体的商业影响力,个人觉得可以奋战在一线,未来的工作。考量更多的影响力、感觉、技术架构。现在的我 35,从容的面对一天。


欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢


已在知识星球更新源码解析如下:








最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、RedisMongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。
提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。
获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。





发表于 2023-7-14 08:48:47
https://www.cnblogs.com/yushengdada/p/13095284.html

搭建ELK日志系统并集成到Spring Cloud

回复 显示全部楼层 道具 举报

发表于 2023-7-14 08:50:00

回复 显示全部楼层 道具 举报

发表于 2023-11-16 08:46:47
<table>
<thead>
<tr>
<th style="text-align:center"><span class="spark-text">比较项</span></th>
<th style="text-align:center"><span class="spark-text">uni-app</span></th>
<th style="text-align:center"><span class="spark-text">iOS原生开发</span></th>
<th style="text-align:center"><span class="spark-text">Android原生开发</span></th>
<th style="text-align:center"><span class="spark-text">微信小程序原生开发</span></th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:center"><span class="spark-text">跨平台性</span></td>
<td style="text-align:center"><span class="spark-text">支持多端运行,一套代码可以同时发布到iOS、Android、H5等平台。</span></td>
<td style="text-align:center"><span class="spark-text">不支持多端运行,需要为每个平台编写不同的代码。</span></td>
<td style="text-align:center"><span class="spark-text">不支持多端运行,需要为每个平台编写不同的代码。</span></td>
<td style="text-align:center"><span class="spark-text">只支持在微信中运行,无法在其他平台上使用。</span></td>
</tr>
<tr>
<td style="text-align:center"><span class="spark-text">开发效率</span></td>
<td style="text-align:center"><span class="spark-text">基于Vue.js,有丰富的组件库和API,可以提高开发效率。</span></td>
<td style="text-align:center"><span class="spark-text">需要学习Objective-C或Swift语言,开发成本较高。</span></td>
<td style="text-align:center"><span class="spark-text">需要学习Java或Kotlin语言,开发成本较高。</span></td>
<td style="text-align:center"><span class="spark-text">基于JavaScript,有丰富的组件库和API,可以提高开发效率。</span></td>
</tr>
<tr>
<td style="text-align:center"><span class="spark-text">性能表现</span></td>
<td style="text-align:center"><span class="spark-text">由于是虚拟DOM渲染,性能略低于原生开发。</span></td>
<td style="text-align:center"><span class="spark-text">性能较好,接近原生应用。</span></td>
<td style="text-align:center"><span class="spark-text">性能较好,接近原生应用。</span></td>
<td style="text-align:center"><span class="spark-text">性能较差,由于是基于WebView渲染的。</span></td>
</tr>
<tr>
<td style="text-align:center"><span class="spark-text">可调用原生功能</span></td>
<td style="text-align:center"><span class="spark-text">支持通过插件调用设备硬件或特定平台的原生功能。</span></td>
<td style="text-align:center"><span class="spark-text">可以直接调用设备的硬件和系统API。</span></td>
<td style="text-align:center"><span class="spark-text">可以直接调用设备的硬件和系统API。</span></td>
<td style="text-align:center"><span class="spark-text">可以通过小程序API调用一些特定的原生功能。</span></td>
</tr>
<tr>
<td style="text-align:center"><span class="spark-text">更新方式</span></td>
<td style="text-align:center"><span class="spark-text">支持热更新,无需重新编译和发布。</span></td>
<td style="text-align:center"><span class="spark-text">需要重新编译并发布到App Store或企业证书中。</span></td>
<td style="text-align:center"><span class="spark-text">需要重新编译并发布到Google Play或企业证书中。</span></td>
<td style="text-align:center"><span class="spark-text">需要重新提交审核并发布到微信中。</span></td>
</tr>
<tr>
<td style="text-align:center"><span class="spark-text">社区支持</span></td>
<td style="text-align:center"><span class="spark-text">uni-app有活跃的社区和丰富的文档资源可供参考。</span></td>
<td style="text-align:center"><span class="spark-text">iOS和Android都有成熟的开发者社区和丰富的文档资源。</span></td>
<td style="text-align:center"><span class="spark-text">Android有成熟的开发者社区和丰富的文档资源。</span></td>
<td style="text-align:center"><span class="spark-text">微信小程序有成熟的开发者社区和丰富的文档资源。</span></td>
</tr>
<tr>
<td style="text-align:center"><span class="spark-text">特点和优势</span></td>
<td style="text-align:center"><span class="spark-text">- 一套代码多端运行</span><br><span class="spark-text">- 基于Vue.js,易于上手</span><br><span class="spark-text">- 丰富的组件库和API</span><br><span class="spark-text">- 支持热更新</span><br><span class="spark-text">- 适合中小型项目快速开发</span><br><span class="spark-text">- 节省开发和维护成本</span><br><span class="spark-text">- 开源免费</span><br><span class="spark-text">- 社区活跃,文档丰富</span></td>
<td style="text-align:center"><span class="spark-text">- 高性能</span><br><span class="spark-text">- 可以直接调用设备的硬件和系统API</span><br><span class="spark-text">- 适合大型复杂项目开发</span><br><span class="spark-text">- 有严格的应用审核标准</span><br><span class="spark-text">- 用户基数大</span><br><span class="spark-text">- 可以访问iPhone/iPad的完整功能集</span><br><span class="spark-text">- Xcode集成开发环境强大</span><br><span class="spark-text">- MacOS生态系统完善</span><br><span class="spark-text">- iOS用户体验优秀</span></td>
<td style="text-align:center"><span class="spark-text">- 高性能</span><br><span class="spark-text">- 可以直接调用设备的硬件和系统API</span><br><span class="spark-text">- 适合大型复杂项目开发</span><br><span class="spark-text">- Google Play应用商店广泛覆盖</span><br><span class="spark-text">- Android Studio集成开发环境强大</span><br><span class="spark-text">- Android生态系统完善</span><br><span class="spark-text">- Android用户基数大</span><br><span class="spark-text">- 可以定制系统的UI和功能 </span><br><span class="spark-text">- Kotlin编程语言逐渐流行</span><br><span class="spark-text">- Google提供强大的技术支持</span></td>
<td style="text-align:center"><span class="spark-text">- 无需下载安装即可使用</span><br><span class="spark-text">- 适合轻量级应用快速迭代</span><br><span class="spark-text">- 微信用户基数大</span><br><span class="spark-text">- 可以实现与微信支付、位置等原生功能的无缝对接</span><br><span class="spark-text">- H5兼容性好</span><br><span class="spark-text">- WXML和WXSS简单易学</span><br><span class="spark-text">- WePY、Taro等框架让小程序开发更便捷 </span><br><span class="spark-text">- 有完善的开发者工具和调试器</span></td>
</tr>
<tr>
<td style="text-align:center"><span class="spark-text"></span><strong><span class="spark-text">适用场景</span></strong><span class="spark-text"></span></td>
<td style="text-align:center"><span class="spark-text">- 中小型项目,需要快速迭代发布多个平台的应用。</span><br><span class="spark-text">- H5网页应用的开发。</span><br><span class="spark-text">- 同时需要iOS和Android平台的应用,但预算有限或者开发人员较少的情况。</span></td>
<td style="text-align:center"><span class="spark-text">- 大型企业级应用,对性能要求较高的应用。</span><br><span class="spark-text">- iOS平台独占的应用,如游戏、音视频等。</span><br><span class="spark-text">- iPhone/iPad的完整功能集需要被使用的应用。</span><br><span class="spark-text">- Apple生态系统的深度整合需求的应用。</span></td>
<td style="text-align:center"><span class="spark-text">- Android平台独占的应用,如游戏、音视频等。</span><br><span class="spark-text">- Google Play应用商店广泛覆盖的应用。</span><br><span class="spark-text">- Android系统定制化需求较高的应用。</span><br><span class="spark-text">- Kotlin编程语言技术栈的应用开发团队。</span></td>
<td style="text-align:center"><span class="spark-text">- 轻量级、快速的迭代应用,如电商、新闻阅读、社交分享等。</span><br><span class="spark-text">- H5网页应用的适配和扩展。</span><br><span class="spark-text">- 需要与微信支付、位置等原生功能进行对接的场景。 </span><br><span class="spark-text"> - WeChat Work、企业号内部管理应用的开发。</span></td>
</tr>
</tbody>
</table>

回复 显示全部楼层 道具 举报

您需要登录后才可以回帖 登录 | 立即注册

QQ|Archiver|手机版|小黑屋|JeeGit 官方论坛 ( 吉ICP备19001578号-2|吉B2-20200006 )

GMT+8, 2024-3-29 20:46 , Processed in 0.028930 second(s), 17 queries .

Powered by Discuz! X3.5

Copyright © 2001-2024 Tencent Cloud.

快速回复 返回顶部 返回列表