爬坑记录
大多数文档都属于原创,自己的爬坑经验。
一些技术爬坑从2013年左右逐步积累的,没有在任何平法发表过,现在都转为 Markdown 线上浏览,方便自己查阅也方便读者。
领域:大数据、Hadoop、Spark、批流一体化、数据融合开发、数据湖、湖仓一体、目标检测、视频集成识别、人工智能算法、大模型
<h2 id="软件准备" tabindex="-1">软件准备 <a class="header-anchor" href="#软件准备" aria-label="Permalink to "软件准备"">​</a></h2>
<ol>
<li>操作系统:Mac OS X 10.11.6</li>
<li>Nginx:1.10.2</li>
<li>OpenSSL:1.1.0c</li>
<li>Zlib:1.2.3</li>
<li>PCre:8.30<... 阅读全文
2. Debian12编译ZLM开启webrtc实现GB28181语音对讲
<blockquote>
<p>本来想采用 CentOS7 编译,过程中各种ssl版本低,cmake版本低的错误。于是采用 Debian12 编译,实现了语音对讲。后续再尝试在 CentOS7 上进行编译。</p>
</blockquote>
<h2 id="系统情况" tabindex="-1">系统情况 <a class="header-anchor" href="#系统情况" aria-label="Permalink to "系统情况"">​</a>... 阅读全文
<ol>
<li>下载 Python3</li>
</ol>
<p><a href="https://www.python.org/downloads/" target="_blank" rel="noreferrer">https://www.python.org/downloads/</a> 下载对应的 Python3 版本。下载地址:<a href="https://www.python.org/ftp/python/" target="_blank" rel="noreferrer">https:/... 阅读全文
<blockquote>
<p>本章主要介绍 Doris 建表,分区表以及 resource,catalog 的创建以及管理。</p>
</blockquote>
<h2 id="doris-分区表" tabindex="-1">Doris 分区表 <a class="header-anchor" href="#doris-分区表" aria-label="Permalink to "Doris 分区表"">​</a></h2>
<p>建表语句:</p>
<... 阅读全文
<h2 id="doris-大量小文件优化" tabindex="-1">Doris 大量小文件优化 <a class="header-anchor" href="#doris-大量小文件优化" aria-label="Permalink to "Doris 大量小文件优化"">​</a></h2>
<p><strong>关键配置参数</strong></p>
<ul>
<li>tablet_max_versions:单个Tablet保留的最大Version... 阅读全文
<h2 id="adas告警设计-v1" tabindex="-1">Adas告警设计 V1: <a class="header-anchor" href="#adas告警设计-v1" aria-label="Permalink to "Adas告警设计 V1:"">​</a></h2>
<div class="language-sql line-numbers-mode"><button title="Copy Code" class="copy"></b... 阅读全文
<h2 id="streamload" tabindex="-1">StreamLoad <a class="header-anchor" href="#streamload" aria-label="Permalink to "StreamLoad"">​</a></h2>
<p><strong>JSON</strong></p>
<p>采用 curl 方式导入:</p>
<div class="language-shell line-numbers-mo... 阅读全文
<h2 id="doris索引介绍" tabindex="-1">Doris索引介绍 <a class="header-anchor" href="#doris索引介绍" aria-label="Permalink to "Doris索引介绍"">​</a></h2>
<p>Apache Doris 存储引擎采用类似 LSM 树的结构提供快速的数据写入支持。进行数据导入时,数据会先写入 Tablet 对应的 MemTable 中,当 MemTable 写满之... 阅读全文
<h1 id="doris-介绍" tabindex="-1">Doris 介绍 <a class="header-anchor" href="#doris-介绍" aria-label="Permalink to "Doris 介绍"">​</a></h1>
<p>Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能... 阅读全文
<h2 id="逻辑架构" tabindex="-1">逻辑架构 <a class="header-anchor" href="#逻辑架构" aria-label="Permalink to "逻辑架构"">​</a></h2>
<ol>
<li>表结构分层</li>
</ol>
<ul>
<li>逻辑表(Logical Table)</li>
</ul>
<p>用户直接操作的抽象表,支持多种数据模型:</p>
<ul>
<li>
<p>明细模型(Dupli... 阅读全文
<h2 id="安装" tabindex="-1">安装 <a class="header-anchor" href="#安装" aria-label="Permalink to "安装"">​</a></h2>
<div class="language-shell line-numbers-mode"><button title="Copy Code" class="copy"></button><span class="lang">shell</span... 阅读全文
<h2 id="开始部署前了解下kvm-qemu-libvirt-openstack之间的关系" tabindex="-1">开始部署前了解下KVM-Qemu-Libvirt-Openstack之间的关系 <a class="header-anchor" href="#开始部署前了解下kvm-qemu-libvirt-openstack之间的关系" aria-label="Permalink to "开始部署前了解下KVM-Qemu-Libvirt-Openstack之间的关系"">&Z... 阅读全文
<h2 id="kvm-虚拟化环境安装" tabindex="-1">KVM--虚拟化环境安装 <a class="header-anchor" href="#kvm-虚拟化环境安装" aria-label="Permalink to "KVM--虚拟化环境安装"">​</a></h2>
<h3 id="检查硬件的相关" tabindex="-1">检查硬件的相关 <a class="header-anchor" href="#检查硬件的相关" aria-l... 阅读全文
<h2 id="安装极其注意事项" tabindex="-1">安装极其注意事项 <a class="header-anchor" href="#安装极其注意事项" aria-label="Permalink to "安装极其注意事项"">​</a></h2>
<h3 id="一-查看cpu" tabindex="-1">一 查看CPU <a class="header-anchor" href="#一-查看cpu" aria-label="Permalin... 阅读全文
<h2 id="kvm存储" tabindex="-1">KVM存储 <a class="header-anchor" href="#kvm存储" aria-label="Permalink to "KVM存储"">​</a></h2>
<p>默认存储池在/var/lib/libvirt/images
KVM必须配置一个目录当做存储磁盘镜像(存储卷的目录),我们称这个目录为存储池</p>
<h3 id="存储池管理" tabindex="-1">存储池管理 ... 阅读全文