归档: 2023

2023

10

27

系统监控面板上的 P99 延迟曲线开始变得陡峭，告警信息不断涌入。最初用于支撑业务运营的单体 PostgreSQL 数据库，在每秒数千个用户行为事件的写入压力下，已经不堪重负。更糟糕的是，运营团队需要近乎实时的复杂分析查询，例如“过去5分钟

2023-10-27 数据工程

Elixir ClickHouse CQRS Jenkins

27

一个棘手的需求摆在面前：我们需要一个内容页面，其中的关键补充信息由AI模型动态生成。但同时，这个页面必须具备优秀的SEO表现和极快的首屏加载速度。常规的客户端渲染方案，即页面加载后通过AJAX请求AI接口再填充内容，会直接导致搜索引擎无法索

2023-10-27 全栈开发

SSR Keras Kit MobX TensorFlow.js

27

我们的 Jenkins 控制器快被几个重量级的构建任务压垮了。这些任务不是常规的编译打包，而是动辄数小时的数据预处理和模型训练作业。它们长时间霸占着构建代理，导致常规的CI/CD流水线严重阻塞。将这些耗时任务迁移出去，释放 Jenkins

2023-10-27 DevOps

Jenkins Serverless AWS Azure Service Bus 构建与工具

27

在一个典型的时序数据收集中间件集群中，多个节点同时接收来自不同数据源的指标。直接将这些原始数据写入后端的时序数据库（TSDB）会带来巨大的写入压力和存储成本。一个常见的优化是引入一个聚合层：集群中仅有一个节点作为“领导者”（Leader），

2023-10-27 分布式系统

Consul Go 时序单元测试高可用

27

单体应用里实现一个滑动窗口计数器相当直接，一个本地的 ConcurrentLinkedDeque 或类似的数据结构，配上一个定时清理任务就能解决问题。但在分布式环境下，这个模型瞬间崩塌。所有服务实例都需要一个统一的、精确的视图来判断某个行为

2023-10-27 后端架构

Spring Boot NumPy 分布式锁 Redis 高性能

27

在构建为在线模型推理服务的特征存储时，一个核心的技术挑战是如何高效地计算并提供具有高基数（high-cardinality）实体的时间窗口特征。例如，我们需要为数百万用户计算“过去5分钟内的点击次数”或“过去1小时内的平均交易额”。这类特征

2023-10-27 数据工程

Feature Store TimescaleDB Kafka 流式计算高基数