datakfy
本站致力于IT相关技术的分享
构建异构微服务体系下的Solr近实时原子更新管道 构建异构微服务体系下的Solr近实时原子更新管道
项目进入深水区，一个棘手的技术痛点浮出水面。我们的数据科学团队（主力技术栈为Python/FastAPI）需要对用户画像数据进行复杂的、多维度的实时查询，以支撑在线推荐和反欺诈模型。而这些用户画像数据，其源头分散在多个由Java/Sprin
2023-10-27 架构与设计
Spring Boot FastAPI Solr 微服务 数据一致性
基于Delta Lake构建多租户分片数据湖的元数据路由Kit实现 基于Delta Lake构建多租户分片数据湖的元数据路由Kit实现
项目初期，为了快速迭代，我们将所有租户的分析型数据全部塞进了一个巨大的Delta Lake表中，通过一个 tenant_id 字段进行逻辑隔离。这个方案在租户数量少于一百个时运行得相当不错。但当租户数量突破一千，直逼五千时，这个单一巨表的架
2023-10-27 数据工程
Kit 多租户 Delta Lake 数据库分片 PySpark
Ktor 与 Server-Sent Events 驱动的异步 Prettier 格式化服务实现 Ktor 与 Server-Sent Events 驱动的异步 Prettier 格式化服务实现
团队扩大后，前端代码格式化规范的统一成了一个不大不小的麻烦。虽然有 .prettierrc 和 husky，但总有人本地环境配置不当，导致 CI 阶段因为格式问题频繁失败。CI 流水线中执行 npm install 再运行 Prettier
2023-10-27 后端架构
Prettier Kotlin Ktor Server-Sent Events GraalVM
基于事件溯源构建支撑实时与分析双重负载的CQRS读模型 基于事件溯源构建支撑实时与分析双重负载的CQRS读模型
一个棘手的架构需求摆在面前：我们需要为一个高频资产追踪系统设计后端。该系统必须同时满足两个看似矛盾的目标。第一，为数千个并发用户提供一个实时仪表盘，延迟必须在亚秒级，实时展示资产的最新位置与状态。第二，数据分析团队需要对资产的全生命周期历史
2023-10-27 后端架构
WebSockets Delta Lake Memcached JWT Event Sourcing
构建动态可配的多租户SaaS平台：从VPC网络隔离到Cassandra数据建模的架构权衡 构建动态可配的多租户SaaS平台：从VPC网络隔离到Cassandra数据建模的架构权衡
最初的多租户设计方案几乎都始于同一个简单的起点：在所有核心数据表中增加一个 tenant_id 字段。这种模式在业务初期，租户数量不多时，以其极低的实现成本占据了绝对优势。然而，当平台需要服务于对安全、性能和定制化有严苛要求的企业级客户时，
2023-10-27 分布式架构
架构设计 Cassandra VPC Nacos 多租户
基于 Micronaut 和 OCI 标准构建管理应用生命周期的 Kubernetes Operator 基于 Micronaut 和 OCI 标准构建管理应用生命周期的 Kubernetes Operator
团队内部推进 GitOps 已经有一段时间，但总有几个场景覆盖不到。最典型的一个，是基础环境镜像的自动化更新。例如，我们有一个通用的 Java 基础镜像，当它更新了安全补丁并推送到 OCI 仓库后，我们希望所有依赖它的应用 Pod 都能自动
2023-10-27 云原生
Kubernetes Micronaut OCI 设计模式 核心库
5 / 5