datakfy
本站致力于IT相关技术的分享
  文章分类
DevOps 3 后端架构 6 分布式系统 3 DevSecOps 1 可观测性 4 云原生 2 移动端开发 1 分布式架构 2 架构与设计 3 架构设计 2 数据工程与存储 2 数据工程 1
在容器编排环境中基于外部状态存储实现Dask调度器的高可用架构 在容器编排环境中基于外部状态存储实现Dask调度器的高可用架构
一个长期运行的分布式计算任务，其调度器Pod因为节点故障或OOM而崩溃，所有计算状态瞬间蒸发。这是在生产环境中使用原生Dask时，我们不得不面对的严峻现实。Dask的中心化调度器（Scheduler）本身是一个单点故障（SPOF），尽管容器
2023-10-27 分布式系统
Dask CAP Theorem 容器编排 Kubernetes etcd
构建高可用Milvus分区动态管理服务中的分布式锁架构权衡 构建高可用Milvus分区动态管理服务中的分布式锁架构权衡
在一个典型的多租户AI服务中，我们使用Milvus作为核心的向量检索引擎。为了隔离租户数据并优化资源利用，我们采用了动态加载和卸载Partition的策略。应用服务是无状态、可水平扩展的，这意味着任何一个服务实例都可能接收到来自某个租户的请
2023-10-27 分布式系统
Milvus 分布式锁 架构设计 Zookeeper Redis
基于 Raft 与 Algolia 构建高可用分布式配置系统的 CQRS 架构实践 基于 Raft 与 Algolia 构建高可用分布式配置系统的 CQRS 架构实践
一个看似简单的分布式配置管理系统，在生产环境中，往往要同时满足两个相互冲突的核心需求：写入操作必须保证强一致性与高可用性，任何配置的变更都不能丢失或产生冲突；而读取与搜索操作则需要极致的速度、模糊匹配和高并发能力，以供成百上千的服务实例或开
2023-10-27 分布式系统
Raft 协议 API 设计 Algolia Nuxt.js Lit