lequs
本站致力于IT相关技术的分享
基于Elixir与ClickHouse构建CQRS模式的高吞吐量实时指标管道 基于Elixir与ClickHouse构建CQRS模式的高吞吐量实时指标管道
系统监控面板上的 P99 延迟曲线开始变得陡峭，告警信息不断涌入。最初用于支撑业务运营的单体 PostgreSQL 数据库，在每秒数千个用户行为事件的写入压力下，已经不堪重负。更糟糕的是，运营团队需要近乎实时的复杂分析查询，例如“过去5分钟
2023-10-27 数据工程
Elixir ClickHouse CQRS Jenkins
在 SvelteKit 中集成 Keras 模型实现服务端动态内容生成与 MobX 状态管理 在 SvelteKit 中集成 Keras 模型实现服务端动态内容生成与 MobX 状态管理
一个棘手的需求摆在面前：我们需要一个内容页面，其中的关键补充信息由AI模型动态生成。但同时，这个页面必须具备优秀的SEO表现和极快的首屏加载速度。常规的客户端渲染方案，即页面加载后通过AJAX请求AI接口再填充内容，会直接导致搜索引擎无法索
2023-10-27 全栈开发
SSR Keras Kit MobX TensorFlow.js
使用 Jenkins 与 Azure Service Bus 编排跨云 Serverless 构建工作流 使用 Jenkins 与 Azure Service Bus 编排跨云 Serverless 构建工作流
我们的 Jenkins 控制器快被几个重量级的构建任务压垮了。这些任务不是常规的编译打包，而是动辄数小时的数据预处理和模型训练作业。它们长时间霸占着构建代理，导致常规的CI/CD流水线严重阻塞。将这些耗时任务迁移出去，释放 Jenkins
2023-10-27 DevOps
Jenkins Serverless AWS Azure Service Bus 构建与工具
构建基于Consul领导者选举的高可用时序数据聚合器及其单元测试实践 构建基于Consul领导者选举的高可用时序数据聚合器及其单元测试实践
在一个典型的时序数据收集中间件集群中，多个节点同时接收来自不同数据源的指标。直接将这些原始数据写入后端的时序数据库（TSDB）会带来巨大的写入压力和存储成本。一个常见的优化是引入一个聚合层：集群中仅有一个节点作为“领导者”（Leader），
2023-10-27 分布式系统
Consul Go 时序 单元测试 高可用
基于NumPy与Redis分布式锁构建高性能的分布式滑动窗口计数器 基于NumPy与Redis分布式锁构建高性能的分布式滑动窗口计数器
单体应用里实现一个滑动窗口计数器相当直接，一个本地的 ConcurrentLinkedDeque 或类似的数据结构，配上一个定时清理任务就能解决问题。但在分布式环境下，这个模型瞬间崩塌。所有服务实例都需要一个统一的、精确的视图来判断某个行为
2023-10-27 后端架构
Spring Boot NumPy 分布式锁 Redis 高性能
Kafka流处理结合TimescaleDB解决高基数实时特征存储的架构实践 Kafka流处理结合TimescaleDB解决高基数实时特征存储的架构实践
在构建为在线模型推理服务的特征存储时，一个核心的技术挑战是如何高效地计算并提供具有高基数（high-cardinality）实体的时间窗口特征。例如，我们需要为数百万用户计算“过去5分钟内的点击次数”或“过去1小时内的平均交易额”。这类特征
2023-10-27 数据工程
Feature Store TimescaleDB Kafka 流式计算 高基数
5 / 5