归档: 2023 | datakfy

2023

10

27

项目进入深水区，一个棘手的技术痛点浮出水面。我们的数据科学团队（主力技术栈为Python/FastAPI）需要对用户画像数据进行复杂的、多维度的实时查询，以支撑在线推荐和反欺诈模型。而这些用户画像数据，其源头分散在多个由Java/Sprin

2023-10-27 架构与设计

Spring Boot FastAPI Solr 微服务数据一致性

27

一个棘手的架构需求摆在面前：我们需要为一个高频资产追踪系统设计后端。该系统必须同时满足两个看似矛盾的目标。第一，为数千个并发用户提供一个实时仪表盘，延迟必须在亚秒级，实时展示资产的最新位置与状态。第二，数据分析团队需要对资产的全生命周期历史

2023-10-27 后端架构

WebSockets Memcached JWT Event Sourcing Delta Lake

27

团队扩张到一定规模后，代码风格一致性就成了 CI/CD 流水线中的一个顽疾。起初，我们依赖 pre-commit 钩子和本地的 .prettierrc 文件，但这套体系的脆弱性很快就暴露了：新成员忘记配置钩子、不同项目间的 Prettier

2023-10-27 DevOps

Kubernetes 容器编排 Prettier Node.js Express.js CI/CD

27

项目初期，为了快速迭代，我们将所有租户的分析型数据全部塞进了一个巨大的Delta Lake表中，通过一个 tenant_id 字段进行逻辑隔离。这个方案在租户数量少于一百个时运行得相当不错。但当租户数量突破一千，直逼五千时，这个单一巨表的架

2023-10-27 数据工程

Kit 多租户 Delta Lake 数据库分片 PySpark

27

团队内部推进 GitOps 已经有一段时间，但总有几个场景覆盖不到。最典型的一个，是基础环境镜像的自动化更新。例如，我们有一个通用的 Java 基础镜像，当它更新了安全补丁并推送到 OCI 仓库后，我们希望所有依赖它的应用 Pod 都能自动

2023-10-27 云原生

Micronaut OCI 设计模式 Kubernetes 核心库

27

最初的多租户设计方案几乎都始于同一个简单的起点：在所有核心数据表中增加一个 tenant_id 字段。这种模式在业务初期，租户数量不多时，以其极低的实现成本占据了绝对优势。然而，当平台需要服务于对安全、性能和定制化有严苛要求的企业级客户时，

2023-10-27 分布式架构

架构设计 Cassandra VPC Nacos 多租户