Hbase+Phoenix 2024-03-02 背景 mysql 单表数据量超过 2000W，CRUD 性能会极具下降。需要 DBA 或自动化脚本定期归档（半年或一年数据迁移到归档数据库中），以起到缩表的目的。电商项目一两个月就能积累几千万条数据。在这种情况下，要么频繁的做归档，要么选择可以容乃数百 TB 而不需要归档的大数据平台（降低运维成本）。 HBase HBase 是一种构建在 HDFS 之上的分布式、面向列（但不是列存储）的存储系统。 在需要实时读写 、随机访问 超大规模数据集时，可以使用 HBase。 HBase 可以通过线性方式增加节点来进行扩展 。HBase 不是关系型数据库，自身不支持 SQL 查询引擎，HBase 适合将大而稀疏的表放在分布式集群上。 HBase 是 Google Bigtable 的开源实现，利用 Hadoop HDFS 作为其文件存储系统；利用 Hadoop MapReduce（或其他计算引擎） 来处理 HBase 中的海量数据；使用 Zookeeper 作为协同服务。 HBase 的特点 容量大：一个表可以有上亿行，上百万列 面向列：面向列的存储（但不是列存储，参考 HBase 数据存储）....
uni-app 2024-10-23 uni-app uni-app 是一个使用 Vue.js 开发所有前端应用的框架，开发者编写一套代码，可发布到iOS、Android、Web（响应式）、以及各种小程序（微信/支付宝/百度/头条/飞书/QQ/快手/钉钉/淘宝）、快应用等多个平台。 DCloud公司拥有900万开发者、数百万应用、12亿手机端月活用户、数千款uni-app插件、70+微信/qq群。阿里小程序工具官方内置uni-app（详见），腾讯课堂官方为uni-app录制培训课程（详见），开发者可以放心选择。 uni-app在手，做啥都不愁。即使不跨端，uni-app也是更好的小程序开发框架（详见）、更好的App跨平台框架、更方便的H5开发框架。不管领导安排什么样的项目，你都可以快速交付，不需要转换开发思维、不需要更改开发习惯。 看视频，10分钟了解uni-app 为什么要选择uni-app？ uni-app在开发者数量、案例、跨端抹平度、扩展灵活性、性能体验、周边生态、学习成本、开发成本等8大关键指标上拥有更强的优势。 功能框架图 一套代码编到14个平台，这不是梦想。眼见为实，扫描14个二维码，亲自体验最全....
ClickHouse 2024-10-06 OLTP 全称 OnLine Transaction Processing，联机事务处理系统, 就是对数据的增删改查等操作。存储的是业务数据，来记录某类业务事件的发生，比如下单、支付、注册、等等。 典型代表有Mysql、 Oracle等数据库，对应的网站、系统应用后端数据库 针对事务进行操作，对响应时间要求高，面向前台应用的，应用比较简单，数据量相对较少，是GB级别的。 面向群体：业务人员 OLAP 当数据积累到一定的程度，需要对过去发生的事情做一个总结分析时，就需要把过去一段时间内产生的数据拿出来进行统计分析，从中获取想要的信息，为公司做决策提供支持，这个就是做OLAP了。 OnLine Analytical Processing，联机分析处理系统,存储的是历史数据，对应的风控平台、BI平台、数据可视化等系统就属于OLAP。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策，并且提供直观易懂的查询结果 典型代表有 Hive、ClickHouse 针对基于查询的分析系统，基础数据来源于生产系统中的操作数据，数据量非常大，常规....
DevOps 2024-02-03 六西格玛管理法 六西格玛管理法是一种质量尺度和追求的目标，是一套科学的工具和管理方法，运用 DMAIC（改善）或DFSS（设计）的过程进行流程的设计和改善。是一种经营管理策略。6 Sigma管理是在提高顾客满意程度的同时降低经营成本和周期的过程革新方法，它是通过提高组织核心过程的运行质量，进而提升企业赢利能力的管理方式，也是在新经济环境下企业获得竞争力和持续发展能力的经营策略。 ISO9001 ISO9001不是指一个标准，而是一类标准的统称，是由TC176（TC176指质量管理体系技术委员会）制定的所有国际标准，是ISO12000多个标准中最畅销、最普遍的产品。 ISO9001质量管理体系认证标准是很多国家，特别是发达国家多年来管理理论与管理实践发展的总结，它体现了一种管理哲学和质量管理方法及模式，已被世界上100多个国家和地区采用。 ISO9001国际质量管理体系标准是迄今为止世界上最成熟的一套管理体系和标准，是企业发展和成长之根本。 精益生产 指导思想：用最少的时间和资源消耗，生产出高质量的产品 一种系统性的生产方法，其目标在于减少生产过程中的无益浪费（日语：無駄，M....
K8S 2024-01-13 应用部署演进 传统部署时代 早期的时候，在物理服务器上运行应用程序。缺点： 无法限制在物理服务器中运行的应用程序资源使用，会导致资源分配问题，过高或过低 部署多个物理机，维护许多物理服务器的成本很高。 虚拟化部署时代 虚拟化技术允许在单个物理服务器的 CPU 上运行多台虚拟机（VM）。虚拟化能使应用程序在不同 VM 之间被彼此隔离，且能提供一定程度的安全性，能够更好地利用物理服务器的资源，具有更高的可伸缩性，以及降低硬件成本等等的好处。缺点： 需要单独一个系统，占用资源 不能灵活的扩容和缩容 容器部署时代 容器类似于 VM，但是更宽松的隔离特性，使容器之间可以共享操作系统（OS）。容器比起 VM 被认为是更轻量级的，每个容器都具有自己的文件系统、CPU、内存、进程空间等。跨云和操作系统发行版本的可移植性：可在 Ubuntu、CoreOS、CentOS、 Google Kubernetes Engine 和其他任何地方运行。容器化部署存在的问题： 10 个物理机发布 100 个容器，怎么快速发布和管理 用户请求过来，怎么分配请求到 100 个容器里面 突发海量请求过来，....
Flink 2024-09-16 大数据 大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 人工智能 人工智能（Artificial Intelligence），英文缩写为AI。是新一轮科技革命和产业变革的重要驱动力量，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是智能学科重要的组成部分，它企图了解智能的实质，并生产出一种新的能以与人类智能相似的方式做出反应的智能机器。人工智能是十分广泛的科学，包括机器人、语言识别、图像识别、自然语言处理、专家系统、机器学习，计算机视觉等。 **人工智能大模型带来的治理挑战也不容忽视。**马斯克指出，在人工智能机器学习面具....
