datakfy
本站致力于IT相关技术的分享
  文章分类
DevOps 3 分布式系统 3 后端架构 6 DevSecOps 1 云原生 2 架构设计 2 移动端开发 1 可观测性 4 分布式架构 2 架构与设计 3 数据工程与存储 2 数据工程 1
使用C#在DigitalOcean构建连接GCP Pub/Sub与React的高可用WebSocket消息桥 使用C#在DigitalOcean构建连接GCP Pub/Sub与React的高可用WebSocket消息桥
我们的核心计算服务，出于成本和历史原因，部署在DigitalOcean的Droplets上。然而，对于事件驱动和异步任务处理，我们选择了Google Cloud Pub/Sub，因为它具备出色的可扩展性和托管便利性。这就产生了一个直接的技术
2023-10-27 后端架构
C# Google Cloud Pub/Sub React DigitalOcean WebSocket 多云架构
基于事件溯源构建支撑实时与分析双重负载的CQRS读模型 基于事件溯源构建支撑实时与分析双重负载的CQRS读模型
一个棘手的架构需求摆在面前：我们需要为一个高频资产追踪系统设计后端。该系统必须同时满足两个看似矛盾的目标。第一，为数千个并发用户提供一个实时仪表盘，延迟必须在亚秒级，实时展示资产的最新位置与状态。第二，数据分析团队需要对资产的全生命周期历史
2023-10-27 后端架构
WebSockets Memcached JWT Event Sourcing Delta Lake
基于 TDD 与 Babel 运行时转译实现 OAuth 2.0 插件化认证核心 基于 TDD 与 Babel 运行时转译实现 OAuth 2.0 插件化认证核心
维护一个支持多种认证方式的 OAuth 2.0 服务，其复杂性往往会随着业务扩展而失控。最初可能只需要支持标准的密码模式，但很快，产品需求就会引入 GitHub、Google 登录，甚至对接遗留系统的单点登录。这通常导致核心代码库中出现臃肿
2023-10-27 后端架构
架构设计 Node.js OAuth 2.0 TDD Babel
Ktor 与 Server-Sent Events 驱动的异步 Prettier 格式化服务实现 Ktor 与 Server-Sent Events 驱动的异步 Prettier 格式化服务实现
团队扩大后，前端代码格式化规范的统一成了一个不大不小的麻烦。虽然有 .prettierrc 和 husky，但总有人本地环境配置不当，导致 CI 阶段因为格式问题频繁失败。CI 流水线中执行 npm install 再运行 Prettier
2023-10-27 后端架构
Prettier Ktor Server-Sent Events GraalVM Kotlin
构建从 Kafka 到 Pinecone 的实时向量摄取服务 Swift 实现与 Cilium 安全加固 构建从 Kafka 到 Pinecone 的实时向量摄取服务 Swift 实现与 Cilium 安全加固
问题的起点非常明确：一个持续产生高流量事件的Kafka topic，其消息体是半结构化的用户生成内容。业务需求是将这些内容实时向量化并存入Pinecone，以支持下游的相似性搜索和推荐服务。团队现有的Python消费者在应对峰值流量时表现出
2023-10-27 后端架构
Pinecone Kafka Swift Cilium 消息队列
使用 Actix-web 与 ZeroMQ 构建一个进程隔离的分布式插件系统并通过 GitHub Actions 实现自动化部署 使用 Actix-web 与 ZeroMQ 构建一个进程隔离的分布式插件系统并通过 GitHub Actions 实现自动化部署
项目的需求演进往往会把一个干净的单体应用拖入泥潭。最初，我们只是需要一个核心的HTTP服务，但很快，各种定制化的数据处理逻辑开始涌入：一个需要调用Python脚本，一个需要执行计算密集的算法，另一个则需要连接一个特殊的硬件设备。把这些功能全
2023-10-27 后端架构
Actix-web ZeroMQ GitHub Actions Rust 微内核架构