Kubeflow 是一个基于 Kubernetes 的端到端机器学习平台，集成了多个开源工具和组件，覆盖了从数据准备到模型部署的全流程。以下是  Kubeflow 常用的核心组件及其作用，按功能模块分类整理：

在  Kubernetes + Kubeflow  环境中确保模型训练可靠，需贯穿  数据 → 训练 → 评估 → 部署  全链路的验证：

流程阶段​

• 数据阶段: 自动化质量检查 + 特征一致保障
• 训练阶段: 实时监控 + 分布式协调 + 检查点容灾
• 评估阶段: 性能/可解释性/飘逸检测 (Drift detection) 三层次验证
• 运维层面: k8s 自愿隔离 + Kubeflow 流水线自动化测试

解决的问题​

之前的输入全部是以一个向量作为输入，如何处理输入是一排不定数量的向量呢？

可能的输入​

文字输入句子，语音信号，关系图(人际关系，分子结构)

可能的输出​

• Each vector has a label (label: value type for regression problem, class type for classification problem)
• 应用: 分析文字的词性，分析声音信号里面的 phonetic，分析 social network 中每个节点的特性，比如电商环境里面分析某个人会不会购买某个商品。

Sequence-to-sequence model (Seq2seq)​

• The output length is determined by model.
• 应用: Speech Recognition, Machine Translation, Speech Translation

Present version 1 - Convolutional Layer​

Image Classification​

对电脑来说，一张图片是一个三维的 Tensor(维度大于 2 的矩阵 --> Tensor)。

概念​

Critical Points​

• Local minima
• Local maxima
• Saddle point (马鞍)

基本概念​

• Linear model($b + wx$)
• Sigmoid $[ y = b + \sum_i c_i \, \text{sigmoid} \left( b_i + \sum_j w_{ij}x_j \right) ]$

最近在思考比亚迪是不是可以投资，所以特别在年中的时候，做一些网络资讯的收集和一些个人认识。

机器学习知识架构和应用​

知识结构图 v1​

应用​

准备​

• 环境: AWS SageMarker Notebook (ml.t3.medium)
• 服务: AWS SageMarker Inference(Models, Endpoint configurations, Endpoints)
• Models Repo: huggingface models (other like S3 bucket, fine-tuning models)

Abbreviation

• tgi: Text Generate Interface