Skip to main content

使用管道进行数据运维

· 3 min read

关键术语​

  • AWS Step Functions- 一种无服务器协调服务，可让您使用可视化工作流协调分布式应用程序和微服务的组件。
  • AWS Batch- 一种托管计算服务，可在 AWS 上调度和运行任何规模的批量计算工作负载。自动提供资源。
  • AWS Glue- 无服务器 ETL 和数据集成服务，可为分析和机器学习准备和转换数据。
  • ETL 管道- 从数据源提取数据、处理/清理数据并将其加载到目标数据库或数据仓库的提取、转换和加载管道。
  • 无服务器管道 - 使用 Lambda、Glue、Batch 和 Step Functions 等云服务来构建可自动管理基础设施的数据管道。
  • DataOps- 协作数据管理实践，侧重于通过自动化基础设施提高数据交付的质量和速度。

风险管理（Risk Management）常用术语（中英对照）

· 5 min read

以下是金融风险管理领域的核心术语，涵盖市场风险、信用风险、操作风险、流动性风险等场景，按类别分类整理：

1. 市场风险（Market Risk）​

英文中文说明
Value at Risk (VaR)风险价值在特定置信水平（如 95%）下的最大潜在损失。
Expected Shortfall (ES/CVaR)预期短缺/条件风险价值超过 VaR 阈值的平均损失（衡量极端风险）。
Greeks (Delta, Gamma, Vega, etc.)希腊字母（Delta、Gamma、Vega 等）衡量衍生品价格对市场因素的敏感性（如 Delta=期权价格对标的资产价格的敏感度）。
Stress Testing压力测试模拟极端市场情景（如金融危机）对投资组合的影响。
Backtesting回测用历史数据验证风险模型（如 VaR）的准确性。
Monte Carlo Simulation蒙特卡洛模拟通过随机生成路径模拟未来市场情景（用于复杂衍生品定价和风险管理）。
Historical Simulation历史模拟法基于历史数据计算风险指标（如 VaR）。
Volatility Clustering波动率聚集金融时间序列中高波动率常伴随高波动率的现象（GARCH 模型捕捉此特性）。

Quantitative Finance（量化金融）核心术语（中英对照）

· 4 min read

以下是量化金融领域的关键术语，涵盖资产定价、算法交易、风险管理、衍生品模型等场景，按类别分类整理：

1. 资产定价（Asset Pricing）​

英文中文说明
Arbitrage Pricing Theory (APT)套利定价理论基于多因子解释资产收益率的模型（比 CAPM 更灵活）。
Capital Asset Pricing Model (CAPM)资本资产定价模型描述资产预期收益率与市场风险（β）的关系：(E(Ri)=Rf+βi(E(Rm)−Rf))(E(R_i) = R_f + \beta_i (E(R_m) - R_f))。
Fama-French Three-Factor Model法玛-弗伦奇三因子模型扩展 CAPM，加入市值（SMB）和价值（HML）因子。
Carhart Four-Factor Model卡哈特四因子模型在三因子基础上加入动量因子（MOM）。
Risk-Neutral Pricing风险中性定价衍生品定价中假设投资者风险中性，用无风险利率折现预期收益。
Stochastic Discount Factor (SDF)随机贴现因子将未来现金流折现到当前的一般化定价框架。

数据科学-优化、启发式和模拟

· 2 min read
  • 启发式--一种实际解决问题的方法，不能保证最优，但足以达到直接目标。
  • 贪婪算法（Greedy Algorithm）--一种遵循启发式的算法，在每个阶段做出局部最优选择，希望找到全局最优。
  • 旅行推销员问题 (Traveling Salesman Problem, TSP)- 一个经典的计算机科学优化问题，涉及寻找访问列表中每个城市一次的最短路线。
  • 仿真--用数学模型模仿现实世界中一段时间内的过程，以研究系统行为和性能。
  • 大数法则- 概率模拟中样本量越大，越能揭示真实的基本统计分布的原理。
  • 实验跟踪- MLOps 跟踪机器学习实验迭代中性能等关键指标的实践。

机器学习和人工智能实践

· 2 min read

关键术语​

  • 监督学习（Supervised Learning）--一种使用标注的历史数据来训练模型以预测未标注的未来数据的机器学习方法。
  • 无监督学习（Unsupervised Learning）--一种在无标签数据中发现隐藏模式和关系的机器学习方法。
  • 聚类- 一种无监督学习技术，根据相似性对数据点进行分组，并将其分配到聚类中。
  • K-均值聚类 - 一种流行的聚类算法，通过计算分配给某个聚类的所有数据点的均值，将数据划分为 k 个聚类。
  • 诊断- 肘部图、轮廓分析和距离图等可视化工具，用于评估和调整聚类模型的性能。
  • 并行化- 在多个 CPU 内核上同时运行 k-means 等聚类计算，以提高性能。

监督学习和无监督学习​

监督学习你需要知道数据的 label

  • 股票问题: 通过过去确定性的交易价格数据来预测股票价格
  • 房价计算问题

无监督学习则是你不知道数据的 label，尝试发现 label 来找到新事物得出新结论

  • 分析事物之间的关系
  • 聚类问题: 分析用户类型

微服务关键概念

· 3 min read

关键术语​

  • 微服务（Microservice）- 封装的、可重复使用的逻辑，可部署到生产环境中。
  • 持续集成（CI）--经常将代码变更合并到共享存储库中，并自动构建和测试变更以尽早发现问题的做法。
  • 持续交付（Continuous Delivery）--一种开发实践，可通过自动部署随时可靠地发布增量软件变更。
  • 端到端 MLOps- 通过 Hugging Face Spaces 等平台，实现从模型开发到部署和托管的机器学习生命周期的完全自动化。
  • AWS App Runner - 用于部署容器化网络服务和 API 的完全托管服务。
  • Flask- 一种流行的轻量级 Python 网络应用程序框架。
  • Makefile- 包含一组用于自动构建和管理项目的指令的文件。
  • Requirements File - 包含应用程序使用的 Python 软件包依赖关系列表的文本文件。

运行微服务​

数据科学

· 3 min read
  • Jupyter Notebook- 一种开源网络应用程序，用于创建和共享包含实时代码、可视化和文本的文档。
  • Colab Notebook- 由谷歌托管的 Jupyter 笔记本，可免费使用 GPU 和机器学习工具。
  • GitHub- Git 仓库托管服务，用于存储和管理代码以及跟踪更改。支持协作。
  • 虚拟环境- 一种隔离的 Python 环境，允许安装用于特定应用程序的软件包，而不是全局安装。
  • README 文件- 介绍和解释项目的文本文件。它包含的信息有助于他人理解和贡献。
  • 需求文件- 列出运行应用程序所需的所有 Python 软件包依赖关系的文本文件。允许重复构建。
  • Makefile- 包含一系列指令的文件，用于自动构建、测试和管理项目。
  • 持续集成- 经常合并代码更改并自动构建和测试代码以快速发现问题的做法。

数据科学家的一天​

数据推理分析框架​

Data Science Structure

  1. Ingest
  2. EDA (Exploratory Data Analysis)
  3. Modeling: Learning Data -> Predict
  4. Conclusion: Strong Recommendation + Data support

MLOps 关键概念

· 3 min read

关键术语​

  • MLOps 平台：专门的软件解决方案和工作流程，用于操作机器学习模型。MLOps 平台具有数据标记、模型监控、特征存储和优化模型服务等功能。
  • 持续集成（CI）：一种自动化软件开发实践，开发人员经常将代码变更合并到共享存储库中。然后自动构建和测试变更，以便及早发现问题。
  • 持续交付：一种软件工程方法，团队在短周期内生产软件，确保软件可随时可靠发布。它依赖于自动化（如基础设施即代码）来复制测试/开发环境。
  • 基础设施即代码：通过代码而不是人工流程来管理和配置基础设施。这样，环境配置、部署和管理就可以在各个开发阶段保持一致和可重复。
  • 功能存储：集中式存储库，用于存储机器学习模型训练所需的特征。这有助于管理用于模型创建、存储和发现的数据，同时防止漂移。

什么是 MLOps?

· 3 min read

DevOps, DataOps 和 MLOps

术语​

  • MLOps - DevOps 式自动化方法与 ML 最佳实践的结合，侧重于将 ML 模型部署到生产系统中并进行操作。
  • DevOps- 协作文化和开发人员自动化操作，以持续改进部署并减少业务部门之间的摩擦。包括 CI/CD 等自动化工具和原则。
  • CI/CD- 持续集成和持续交付 - DevOps 工作流程中的关键实践。CI 包括定期自动测试和验证增量构建的软件，而 CD 则侧重于自动向生产等环境发布更新。
  • 成熟度模型 - MLOps 中的概念，定义了 MLOps 复杂性和有效性的递增级别，通常为 4-5 级，从手动、孤立、不可靠到可扩展、自主和弹性系统。
  • 数据运维- 具体侧重于使用 DevOps 概念和自动化原则来管理数据工作负载，如聚合、转换、存储、分析等。
  • 特征存储- 用于管理、存储和提供 ML 特征的中央存储库，以便构建模型和进行再培训。优化数据管道和重用。