# HELP jvm_gc_collection_seconds Time spent in a given JVM garbage collector in seconds.# TYPE jvm_gc_collection_seconds summary#这是一个Summary指标，与Histogram类似，可以对指标数据进行采样 # 并发收集器 CMS(Concurrent Mark-Sweep) 以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器对于要求服务器响应速度的应用上，这种垃圾回...阅读全文
used < committed < max, and the unit of measure for all of them is bytes init: the initial amount of memory that the JVM requested from the operating system at startup. this is controlled by the -Xms cli option of the java command. See 2 used: amount...阅读全文
一、前言 第一版的接口响应时长分布统计图表是根据 Prometheus Counter 数据类型制作的折线图,它大概长下面这个样子。 原理其实也非常简单,我就是将请求分组进行统计。大致的代码就是下面这个样子 // UploadAPIRequestDurationCounter 上报接口请求时长 func (s *apiMetrics) UploadAPIRequestDurationCounter(method, endpoint string, duration time.Duration) ...阅读全文
9月15日，国家网络安全宣传周期间，云计算服务安全分论坛在福州召开。论坛上，天翼云科技有限公司副总经理、首席网络安全官广小明分享了天翼云在政务云领域的基础设施建设、产品技术升级以及安全保障能力。近年来，各地推进数字政府、数字政务建设的步伐不断加快。天翼云作为云服务国家队，面向政务领域客户的信息化建设、支撑智慧城市多业务系统上云等需求，基于分布式云架构，以统一的建设标准和安全基线为指导，探索自主可控政务云平台的集约化运营模式，为政务领域客户提供laaS/PaaS/SaaS一体化上云服务。在构建政...阅读全文
9月13日-14日，由中国信息通信研究院、中国通信标准化协会联合主办的2023数字化转型发展大会暨首届数字原生大会在京举办。大会公布了第二届“鼎新杯”数字化转型应用大赛获奖案例，天翼云斩获五项大奖，顺利通过三项“2023年上半年政企数字化转型IOMM最新评估”，技术实力与实践成果再获权威认可。凭借在一体化政务云、数字政府建设方面的突出贡献，天翼云多位专家获评一体化政务云标准编制突出贡献专家、数字政府建设赋能计划先锋人物。现场，天翼云与中国信通院云计算与大数据研究所共同出席数字政府签约仪式，未来...阅读全文
9月11日，由中国交通报社、中国交通运输协会主办的2023北京数字交通大会在北京召开。天翼云科技有限公司央企行业中心解决方案专家沈凯龙参加数字交通全栈能力创新论坛并发表演讲，分享了天翼云的技术能力与优势，以及在数字交通创新发展方面的探索与成果。在人工智能、大数据、云计算等创新技术的驱动下，数字交通建设迎来关键发展期。作为云服务国家队，天翼云在数字交通领域持续发力，为支撑交通运输高质量发展、加快建设交通强国、更好地服务数字中国战略提供强力引擎。在IaaS层面天翼云满足不同交通场景部署需求，提供公...阅读全文
hbase 2.2.6 3 hmasters ，400+ regionservers，about 80w regions， totoal hfiles compressed 20PB ，uncompressed 80P (cores40 内存187.4G 磁盘150T)/nodes 主要写入操作bulkload与put，日写入150T Regionserver 堆内存60G 1. hbase flush 和 compact对写的影响 简单说： 写数据时会先写到memstore 当memstore...阅读全文
我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。Minor Compaction称为小合并，主要是选取一些小的、相邻的HFile将他们合并成较大的HFile，并删除HFile中的过期数据。Major ...阅读全文
HBase 参数设置参考 前言HBase 配置参数极其繁多，参数配置可能会影响到 HBase 性能问题，因此得好好总结下。 HBase 调优是个技术活。得结合多年生产经验加测试环境下性能测试得出。 JVM垃圾回收优化 本地 memstore 分配缓存优化 Region 拆分优化 Region 合并优化 Region 预先加载优化 负载均衡优化 启用压缩，推荐snappy 进行预分区，从而避免自动 split，提高 HBase 响应速度 避免出现 region 热点现象，启动按照 table 级别...阅读全文
在hbase中，rowkey的设计应该遵循三大原则 rowkey唯一原则 hbase中数据是以k-v格式存储的，rowkey可以类比为mysql里面的key值，因此在hbase的一张表里面，rowkey不应该重复。而且一个rowkey只能对应一条数据，用rowkey去get表里面的数据时，返回的应该是唯一一条对应的数据记录，不应该返回多条 另外，因为rowkey是按照字典顺序排序存储的，所以可以将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。不过这样做虽然方便了scan等范围查询数...阅读全文
HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.Increasin...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能...阅读全文
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一...阅读全文
导读腾讯云 Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务，包含 Kibana 及常用插件，并集成了安全、SQL、机器学习、告警、监控等高级特性（X-Pack）。本文描述在实际使用中，经常会遇到的ES集群负载不均的问题，并结合多种场景进行分析、解决，以及如何避免。作者简介岳涛腾云忆想大数据产品架构师，多年分布式、高并发大数据系统的研发、系统架构设计经验，擅长主流大数据架构技术平...阅读全文
kubelet节点压力驱逐 kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 基于kubernets v1.17.4 1.什么时候发生驱逐 kubelet结合以下数据项来做出驱逐决定： （1）驱逐信号； （2）驱逐策略； （3）驱逐监测间隔； 1.1 驱逐信号 节点上的memory、no...阅读全文
图文轻松说透 K8S Pod 各种驱逐场景 Kubernetes Pod 被驱逐是什么意思？ 它们被终止，通常是没有足够资源的结果。但是为什么会这样呢？ 驱逐是指派给节点的Pod 被终止的过程。Kubernetes 中最常见的情况之一是Preemption，为了在资源有限的节点中调度新的 Pod，需要终止另一个 Pod 以释放资源。 此外，Kubernetes 会不断检查资源并在需要时驱逐 Pod，这个过程称为节点压力驱逐。 在本文中，您将发现： Pod 被驱逐的原因：抢占和节点压力抢占式驱逐P...阅读全文
作者：Carlos Arilla翻译：bot（才云）校对：星空下的文仔（才云）在生产环境中，如何设置 Kubernetes 的 Limit 和 Request 对于优化应用程序和集群性能至关重要。矛盾的是，分布式系统旨在解决应用程序之间的资源共享问题（例如 Kubernetes），但它们面临的挑战之一却是如何正确共享资源。在以前，应用程序通常被设计为独立运行，并可以使用现有的所有资源。但随着企业应用程序数量的急剧增长和对系统稳定、弹性要求的提升，新格局下，应用程序之间需要共享相同的资源，这使得资...阅读全文
http://www.tuicool.com/articles/Jniemin 这个链接主要介绍了cgroup中使用的三种cpu资源限制方式 cpuset隔离方式是以分配核心的方式进行资源隔离，可以提供的资源分配最小粒度是核心，不能提供更细粒度的资源隔离，但是隔离之后运算的相互影响最低。需要注意的是在服务器开启了超线程的情况下，要小心选择分配的核心，否则不同cgroup间的性能差距会比较大。cpuquota给我们提供了一种比cpuset可以更细粒度的分配资源的方式，并且保证了cgroup使用cp...阅读全文
docker对CPU的使用 docker对于CPU的可配置的主要几个参数如下： --cpu-shares CPU shares (relative weight) --cpu-period Limit CPU CFS (Completely Fair Scheduler) period --cpu-quota Limit CPU CFS (Completely Fair Scheduler) quota --cpuset-cpus CPUs in which to allow execution...阅读全文
前面我们了解了 Prometheus 中 Relabeling 重新标记的使用，本文我们将学习 Prometheus 中是如何使用服务发现来查找和抓取目标的。我们知道在 Prometheus 配置文件中可以通过一个 static_configs 来配置静态的抓取任务，但是在云环境下，特别是容器环境下，抓取目标地址是经常变动的，所以用静态的方式就不能满足这些场景了。所以我们需要监控系统能够动态感知这个变化，不可能每次变动都去手动重新配置的，为了应对复杂的动态环境，Prometheus 也提供了与基...阅读全文
