zezepath
本站致力于IT相关技术的分享
  文章分类
后端架构 5 平台工程 2 可观测性 3 分布式系统 3 DevSecOps 1 数据工程 5 数据工程与存储 1 云原生 3 架构设计 3 架构与设计 1 DevOps 1 分布式架构 2
构建处理 SciPy 稀疏向量并应对 Pinecone BASE 特性的生产级索引工具 构建处理 SciPy 稀疏向量并应对 Pinecone BASE 特性的生产级索引工具
问题的起点非常明确：我们需要为一个包含数百万文档的语料库构建语义相似性检索功能。每个文档通过一个高维稀疏向量表示，维度高达50万，由TF-IDF模型生成。在这样的维度下，一个常规的 NumPy 稠密矩阵是完全不可行的——仅100万个文档就需
2023-11-20 数据工程
SciPy Pinecone BASE 构建与工具
利用 Debezium CDC 将 SQL Server 数据变更实时同步至 NestJS 与 Zustand 前端 利用 Debezium CDC 将 SQL Server 数据变更实时同步至 NestJS 与 Zustand 前端
接手一个项目，核心系统是跑在 SQL Server 上的老旧ERP。新的需求是在一个Web仪表盘上实时展示库存变更。最直接的想法是轮询，但每秒一次的轮询对数据库和网络都是巨大的浪费，而且无法真正做到“实时”。更麻烦的是，ERP是供应商的黑盒
2023-10-27 数据工程
Kafka SQL Server NestJS Zustand GitLab CI/CD Debezium WebSockets
构建从 MyBatis 到 Qwik 的实时 AI 特征管道以实现即时个性化 构建从 MyBatis 到 Qwik 的实时 AI 特征管道以实现即时个性化
我们面临一个典型的存量系统现代化改造难题。核心业务数据稳固地运行在 PostgreSQL 之上，数据访问层由 MyBatis 全权接管，这套组合在多年的事务处理中表现得稳定可靠。但新的需求来了：业务方希望在用户访问前端页面时，能根据用户的实
2023-10-27 数据工程
Qwik AI, Data Science & Big Data MyBatis CDC Kafka Real-time
构建融合设计模式 LevelDB DVC与Loki的版本化特征提取引擎 构建融合设计模式 LevelDB DVC与Loki的版本化特征提取引擎
在迭代一个机器学习模型时，最混乱的环节往往不是模型训练，而是特征工程。我们团队的特征脚本散落在各个代码仓库，同一个特征可能有多个实现版本，没人能说清线上模型用的究竟是哪个版本的逻辑。当模型效果出现波动时，追溯问题就像一场噩梦：是数据源变了，
2023-10-27 数据工程
设计模式 LevelDB Loki DVC
使用Haskell DSL统一批处理与时序特征源的混合特征存储架构决策 使用Haskell DSL统一批处理与时序特征源的混合特征存储架构决策
特征工程的复杂性不在于单一特征的计算，而在于保证在线服务与离线训练之间特征逻辑的绝对一致性，尤其是在一个同时依赖于海量批处理数据和高频时序数据的混合环境中。我们面临的挑战是：数据科学家用Python或SQL快速迭代特征逻辑，但这些定义往往是
2023-10-27 数据工程
Hadoop Elasticsearch Feature Store Haskell TimescaleDB