技术标签: 2024年程序员学习 spring boot elasticsearch 后端
Canal的下载:
进入下载地址,选择Canal下载,我这里下载的是windows版本,如果你是linux版本的可以选择不同的版本下载,也可以使用docker搭建
# position info 你的MySQL的主机和端口
canal.instance.master.address=127.0.0.1:3306
# username/password 连接MySQL的用户名和密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
canal.instance.connectionCharset = UTF-8
在canal.deployer-1.1.7-SNAPSHOT\bin目录下,双击startup.bat即可启动
查看是否启动成功:
看到上述截图,代表Canal的服务端已经搭建成功
下载地址:https://github.com/alibaba/canal/releases
通过双击bin目录下的startup.bat文件启动canal-admin,然后通过IP+8089端口访问
使用密码登录:默认用户 admin/123456
具体不做描述,不是本篇重点,后续补充
注意: 项目pom文件中导入的canal版本需要和本地(或服务器)上启动的canal版本保持一致,否则会有代码中连接不上本地canal的情况,本案例采用的是canal 1.6版本
<!--canal-->
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.client</artifactId>
<version>1.1.6</version>
</dependency>
<!--如果你用的是canal1.1.6版本以下的,可以不用映入下面的这项内容,用1.1.6不引入这个会导入不了Message类报错-->
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.protocol</artifactId>
<version>1.1.6</version>
</dependency>
新建监听类,用于监听Canal通道中的binlog日志信息,实时监听数据库的数据变化,代码如下:
package com.study.listener;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import java.net.InetSocketAddress;
import java.util.List;
/\*\*
\* @BelongsProject: workdemo
\* @BelongsPackage: com.study.listener
\* @Author: jiaoqixue
\* @CreateTime: 2022-12-22 14:27
\* @Description: TODO
\* @Version: 1.0
\* 这种没有经过消息队列
\* 直接连接Canal
\* 每隔一条去检查Canal里有没有消息
\*/
@Slf4j
@Component
public class CanalClient {
private final static int BATCH\_SIZE = 1000;
/\*\*
\* @param
\* @Author: jqx
\* @Date: 2022/12/22 15:11
\* @Description: Canal入库方法
\*/
public void run() {
//建立连接
CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("10.0.42.83", 11111), "example", "", "");
try {
//打开连接(注意pom文件中引入的canal版本一定要和本机启动的版本保持一致,否则可能会出现连接打开被拒绝的情况)
connector.connect();
//配置需要监听的数据表(订阅数据库表,全部表)
connector.subscribe(".\*..\*");
//回滚到未ack的地方,下次fetch的时候,可以从最后一个没有ack的地方拿
connector.rollback();
//
while (true) {
//获取指定数量的数据
Message message = connector.getWithoutAck(BATCH\_SIZE);
//获取批量ID
long batchid = message.getId();
//获取批量的数量
int size = message.getEntries().size();
//如果没有数据,线程睡眠一秒
if (batchid == -1 || size == 0) {
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
} else {
//如果有数据则处理数据
dataHandle(message.getEntries());
}
//进行 batch id 的确认。确认之后,小于等于此 batchId 的 Message 都会被确认。
connector.ack(batchid);
}
} catch (Exception e) {
e.printStackTrace();
} finally {
connector.disconnect();
}
}
/\*\*
\* @param entrys
\* @Author: jqx
\* @Date: 2022/12/22 16:40
\* @Description: 数据处理方法
\*/
private void dataHandle(List<CanalEntry.Entry> entrys) throws Exception {
for (CanalEntry.Entry entry : entrys) {
if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN || entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {
//开启或者关闭事务的实体类型,跳过
continue;
}
//RowChange对象,包含了一行数据变化的所有特征
CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(entry.getStoreValue());
//获取操作类型:insert/update/delete类型
CanalEntry.EventType eventType = rowChange.getEventType();
//判断是否为 DDL语句
if (rowChange.getIsDdl()) {
log.info("是DDL语句{}", rowChange.getSql());
}
// 根据不同的语句类型,处理不同的业务
if (eventType == CanalEntry.EventType.INSERT) {
//是新增语句,业务处理。如果新增的时候数据没有发生变化的情况下,是不会被执行
log.info("新增数据:库名:{},--表名:{}", entry.getHeader().getSchemaName(), entry.getHeader().getTableName());
} else if (eventType == CanalEntry.EventType.UPDATE) {
//是修改语句,业务处理。如果修改的时候是没有修改任何数据的情况下,是不会被执行
log.info("修改数据:库名:{},--表名:{}", entry.getHeader().getSchemaName(), entry.getHeader().getTableName());
} else if (eventType == CanalEntry.EventType.DELETE) {
//是删除语句,业务处理。如果删除的时候是没有数据的情况下,是不会被执行
log.info("删除数据:库名:{},--表名:{}", entry.getHeader().getSchemaName(), entry.getHeader().getTableName());
}
}
}
}
在启动类上集成CommandLineRunner接口,并重写run方法,Spring boot的CommandLineRunner接口主要用于实现在项目启动后,去执行一段代码块逻辑,这段初始化代码在整个应用生命周期内只会执行一次,当项目中有多个类实现CommandLineRunner接口时,可以通过注解@Order控制实现类执行顺序,其中Order的值越小越先被执行。
package com.study;
import com.study.listener.CanalClient;
import org.springframework.amqp.rabbit.annotation.EnableRabbit;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
import org.springframework.scheduling.annotation.EnableAsync;
import org.springframework.scheduling.annotation.EnableScheduling;
import javax.annotation.Resource;
@SpringBootApplication
@EnableScheduling
@EnableDiscoveryClient
@EnableAsync
@EnableRabbit
public class WorkdemoApplication implements CommandLineRunner {
@Resource
private CanalClient canalClient;
public static void main(String[] args) {
SpringApplication.run(WorkdemoApplication.class, args);
}
@Override
public void run(String... args) throws Exception {
//项目启动,执行canal客户端监听,原因实现了CommandLineRunner接口,可在项目启动后执行此段代码
canalClient.run();
}
}
在监听类上实现ApplicationRunner接口,springBoot项目启动时,若想在启动之后直接执行某一段代码,就可以用 ApplicationRunner这个接口,并实现接口里面的run(ApplicationArguments args)方法,方法中写上自己的想要的代码逻辑
@Component //此类一定要交给spring管理
public class ConsumerRunner implements ApplicationRunner{
@Override
public void run(ApplicationArgumers args) throws Exception{
//代码
System.out.println("需要在springBoot项目启动时执行的代码---");
}
}
RabbitMQ的搭建非本文重点,所以这里不做详细描述,如不能按照以下方式搭建成功,可以自己百度搭建rabbitMq,我这里使用的是docker搭建的
#1.获取镜像
docker pull rabbitmq
#2.创建并启动容器
docker run -d -p 15672:15672 -p 5672:5672 -e RABBITMQ\_DEFAULT\_VHOST=my_vhost -e RABBITMQ\_DEFAULT\_USER=admin -e RABBITMQ\_DEFAULT\_PASS=admin --hostname myRabbit --name rabbitmq rabbitmq
#3.启动rabbitmq\_management(RabbitMQ的管理界面)
docker exec -it rabbitmq rabbitmq-plugins enable rabbitmq_management
#4.开放服务器的15672端口和5672端口
firewall-cmd --zone=public --add-port=15672/tcp --permanent
firewall-cmd --zone=public --add-port=5672/tcp --permanent
#5.重启防火墙生效
firewall-cmd --reload
#6.检查阿里云安全组是否放行对应的端口,如果没有放行也是无法访问的,记得去阿里云控制台去放行对应的端口
#7.访问http://ip:15672
#用户名:admin
#密码:admin
# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = rabbitMQ
##################################################
######### RabbitMQ #############
##################################################
rabbitmq.host =IP
#如果你没有在启动容器的时候使用RABBITMQ\_DEFAULT\_VHOST=my\_vhost指定,那你就写 / 即可
rabbitmq.virtual.host =my_vhost
rabbitmq.exchange =canal.exchange
rabbitmq.username =admin
rabbitmq.password =admin
rabbitmq.deliveryMode =
#数据库连接信息
# position info
canal.instance.master.address=127.0.0.1:3306
# username/password
canal.instance.dbUsername=root
canal.instance.dbPassword=123456
# mq config
canal.mq.topic=canal.routing.key
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
#RabbitMQ配置
spring.rabbitmq.host=106.122.133.533
spring.rabbitmq.port=5672
spring.rabbitmq.username=admin
spring.rabbitmq.password=admin
**自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。**
**深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
**因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/fbd8bfc3a9f2093945e6382580274a9b.png)
![img](https://img-blog.csdnimg.cn/img_convert/5b90be0091dc55275973fd3dda66388f.png)
![img](https://img-blog.csdnimg.cn/img_convert/d2cfaab49b1dee03d75affa2152aac98.png)
![img](https://img-blog.csdnimg.cn/img_convert/aa7be53e9912f9feae876144773ec977.png)
![img](https://img-blog.csdnimg.cn/img_convert/ff72911a7f2cfa3475e8a7fd78eff8f5.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
![img](https://img-blog.csdnimg.cn/img_convert/e6775f0e2d6a09699d6e880b52b615b0.png)
不知道该从何学起的朋友。**
[外链图片转存中...(img-gHz0igXz-1712862394720)]
[外链图片转存中...(img-6kGrxKp3-1712862394720)]
[外链图片转存中...(img-1F7mU30d-1712862394721)]
[外链图片转存中...(img-YfNVgHgV-1712862394721)]
[外链图片转存中...(img-egqKbyJe-1712862394721)]
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!**
**由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
**如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)**
[外链图片转存中...(img-lj849Oq7-1712862394721)]
文章浏览阅读3.5k次,点赞2次,收藏13次。为了从FTP服务器下载文件,需要要实现一个简单的FTP客户端。FTP(文件传输协议) 是 TCP/IP 协议组中的应用层协议。FTP协议使用字符串格式命令字,每条命令都是一行字符串,以“\r\n”结尾。客户端发送格式是:命令+空格+参数+"\r\n"的格式服务器返回格式是以:状态码+空格+提示字符串+"\r\n"的格式,代码只要解析状态码就可以了。读写文件需要登陆服务器,特殊用..._ftp 登录返回230
文章浏览阅读648次。前提:systemctl stop firewalld 关闭防火墙关闭selinux查看getenforce临时关闭setenforce 0永久关闭sed-i'/SELINUX/s/enforcing/disabled/'/etc/selinux/configselinux的三种模式enforcing:强制模式,SELinux 运作中,且已经正确的开始限制..._centos7 安装rabbitmq3.6.5
文章浏览阅读5.8k次。满意答案s55f2avsx2017.09.05采纳率:46%等级:12已帮助:5646人新版Android Studio/IntelliJ IDEA可以直接导入eclipse项目,不再推荐使用eclipse导出gradle的方式2启动Android Studio/IntelliJ IDEA,选择 import project3选择eclipse 项目4选择 create project f..._android studio 项目导入idea 看不懂安卓项目
文章浏览阅读860次,点赞2次,收藏6次。AI大模型技术已经在自然语言处理、计算机视觉、多模态交互等领域取得了显著的进展和成果,同时也引发了一系列新的挑战和问题,如数据质量、计算效率、知识可解释性、安全可靠性等。城市运维涉及到多个方面,如交通管理、环境监测、公共安全、社会治理等,它们需要处理和分析大量的多模态数据,如图像、视频、语音、文本等,并根据不同的场景和需求,提供合适的决策和响应。知识搜索有多种形式,如语义搜索、对话搜索、图像搜索、视频搜索等,它们可以根据用户的输入和意图,从海量的数据源中检索出最相关的信息,并以友好的方式呈现给用户。_ai大模型应用开发
文章浏览阅读8.2k次,点赞12次,收藏121次。为什么要测量阻抗呢?阻抗能代表什么?阻抗测量的注意事项... ...很多人可能会带着一系列的问题来阅读本文。不管是数字电路工程师还是射频工程师,都在关注各类器件的阻抗,本文非常值得一读。全文13000多字,认真读完大概需要2小时。一、阻抗测试基本概念阻抗定义:阻抗是元器件或电路对周期的交流信号的总的反作用。AC 交流测试信号 (幅度和频率)。包括实部和虚部。图1 阻抗的定义阻抗是评测电路、元件以及制作元件材料的重要参数。那么什么是阻抗呢?让我们先来看一下阻抗的定义。首先阻抗是一个矢量。通常,阻抗是_阻抗实部和虚部
文章浏览阅读955次。前面章节分享试用了pyzero,pygame但随着想增加更丰富的游戏内容,好多还要进行自己编写类,从今天开始解绍一个新的python游戏库arcade模块。通过此次的《连连看》游戏实现,让我对swing的相关知识有了进一步的了解,对java这门语言也有了比以前更深刻的认识。java的一些基本语法,比如数据类型、运算符、程序流程控制和数组等,理解更加透彻。java最核心的核心就是面向对象思想,对于这一个概念,终于悟到了一些。_arcade语言 like
文章浏览阅读1.1k次。源码简介与安装说明:2021增强版短视频去水印源码 去水印微信小程序源码网站 去水印软件源码安装环境(需要材料):备案域名–服务器安装宝塔-安装 Nginx 或者 Apachephp5.6 以上-安装 sg11 插件小程序已自带解析接口,支持全网主流短视频平台,搭建好了就能用注:接口是公益的,那么多人用解析慢是肯定的,前段和后端源码已经打包,上传服务器之后在配置文件修改数据库密码。然后输入自己的域名,进入后台,创建小程序,输入自己的小程序配置即可安装说明:上传源码,修改data/_去水印机要增强版
文章浏览阅读557次。1. 触发器是FPGA存储数据的基本单元2. 触发器作为时序逻辑的基本元件,官方提供了丰富的配置方式,以适应各种可能的应用场景。_fdre #(.init(1'b0) // initial value of register (1'b0 or 1'b1) ) fdce_osc (
文章浏览阅读560次。本该是不同编译器结果不同,但是尝试了g++ msvc都是先计算c,再计算b,最后得到a+b+c是经过赋值以后的b和c参与计算而不是6。由上表可知,将q复制到p数组可以表示为:*p++=*q++,*优先级高,先取到对应q数组的值,然后两个++都是在后面,该行运算完后执行++。在电脑端编译完后会分为text data bss三种,其中text为可执行程序,data为初始化过的ro+rw变量,bss为未初始化或初始化为0变量。_嵌入式面试笔试c语言知识点
文章浏览阅读2.3k次。57 Things I've Learned Founding 3 Tech CompaniesJason Goldberg, Betashop | Oct. 29, 2010, 1:29 PMI’ve been founding andhelping run techn_mature
文章浏览阅读1.9k次。问题:先讲下需求,有若干个文本文件(txt或者csv文件等),每行代表一条数据,现在希望能合并成 1 个文本文件,且需要去除重复行。分析:一向奉行简单原则,如无必要,绝不复杂。如果数据量不大,那么如下两条命令就可以搞定合并:cat a.txt >> new.txtcat b.txt >> new.txt……去重:cat new...._python 超大文本合并
文章浏览阅读489次。这个过渡页是第一次打开小程序展示的,点击某个小程序前把手机的开发者->network link conditioner->enable & very bad network 就会在停在此页。比如《支付宝运动》这个小程序先看这个类的.h可以看到它继承于DTViewController点击左上角返回的方法- (void)back;#import "DTViewController.h"#import "APBaseLoadingV..._类似支付宝页面过度加载页