datakfy
本站致力于IT相关技术的分享
构建异构微服务体系下的Solr近实时原子更新管道 构建异构微服务体系下的Solr近实时原子更新管道
项目进入深水区，一个棘手的技术痛点浮出水面。我们的数据科学团队（主力技术栈为Python/FastAPI）需要对用户画像数据进行复杂的、多维度的实时查询，以支撑在线推荐和反欺诈模型。而这些用户画像数据，其源头分散在多个由Java/Sprin
2023-10-27 架构与设计
Spring Boot FastAPI Solr 微服务 数据一致性
基于事件溯源构建支撑实时与分析双重负载的CQRS读模型 基于事件溯源构建支撑实时与分析双重负载的CQRS读模型
一个棘手的架构需求摆在面前：我们需要为一个高频资产追踪系统设计后端。该系统必须同时满足两个看似矛盾的目标。第一，为数千个并发用户提供一个实时仪表盘，延迟必须在亚秒级，实时展示资产的最新位置与状态。第二，数据分析团队需要对资产的全生命周期历史
2023-10-27 后端架构
WebSockets Memcached JWT Event Sourcing Delta Lake
构建一个基于 Express 和 Prettier 的容器化代码格式化即服务 (FaaS) 平台 构建一个基于 Express 和 Prettier 的容器化代码格式化即服务 (FaaS) 平台
团队扩张到一定规模后，代码风格一致性就成了 CI/CD 流水线中的一个顽疾。起初，我们依赖 pre-commit 钩子和本地的 .prettierrc 文件，但这套体系的脆弱性很快就暴露了：新成员忘记配置钩子、不同项目间的 Prettier
2023-10-27 DevOps
Kubernetes 容器编排 Prettier Node.js Express.js CI/CD
基于Delta Lake构建多租户分片数据湖的元数据路由Kit实现 基于Delta Lake构建多租户分片数据湖的元数据路由Kit实现
项目初期，为了快速迭代，我们将所有租户的分析型数据全部塞进了一个巨大的Delta Lake表中，通过一个 tenant_id 字段进行逻辑隔离。这个方案在租户数量少于一百个时运行得相当不错。但当租户数量突破一千，直逼五千时，这个单一巨表的架
2023-10-27 数据工程
Kit 多租户 Delta Lake 数据库分片 PySpark
基于 Micronaut 和 OCI 标准构建管理应用生命周期的 Kubernetes Operator 基于 Micronaut 和 OCI 标准构建管理应用生命周期的 Kubernetes Operator
团队内部推进 GitOps 已经有一段时间，但总有几个场景覆盖不到。最典型的一个，是基础环境镜像的自动化更新。例如，我们有一个通用的 Java 基础镜像，当它更新了安全补丁并推送到 OCI 仓库后，我们希望所有依赖它的应用 Pod 都能自动
2023-10-27 云原生
Micronaut OCI 设计模式 Kubernetes 核心库
构建动态可配的多租户SaaS平台：从VPC网络隔离到Cassandra数据建模的架构权衡 构建动态可配的多租户SaaS平台：从VPC网络隔离到Cassandra数据建模的架构权衡
最初的多租户设计方案几乎都始于同一个简单的起点：在所有核心数据表中增加一个 tenant_id 字段。这种模式在业务初期，租户数量不多时，以其极低的实现成本占据了绝对优势。然而，当平台需要服务于对安全、性能和定制化有严苛要求的企业级客户时，
2023-10-27 分布式架构
架构设计 Cassandra VPC Nacos 多租户
5 / 5