Skip to main content

Python import 错误

· 6 min read

context: 我是用了 python 的相对路径，在本地是可以跑到的，使用 python -m src.index 的方式，但是放到 lambda 就出现找不到 index 的问题。

This is a error I meet in lambda deplouyment with image
{
"errorMessage": "Unable to import module 'index': attempted relative import with no known parent package",
"errorType": "Runtime.ImportModuleError",
"requestId": "",
"stackTrace": []
}

原因: 主要原因在于运行环境，lambda 的 __package__ -> None，导致错误。

这个错误是因为在 AWS Lambda 中，Python 的相对导入（如 from .module import x）无法正常工作，通常是因为缺少正确的包结构或者文件组织方式与本地环境不同。

金融市场角色

· 3 min read

金融市场

  • 过去是交易所
  • 现在是计算机来做交易配对与计算

Financial Market Participants

  • 公司 Firms：需要筹集资金的公司
  • 投资者 Investors：个人，家庭，养老基金，政府投资资金与股权交易
  • 政府 Government：保证市场诚信，保护投资者，保证价格正确反映投资标的价格
  • 财务中介机构 Financial Intermediaries：经纪人链，做市商，银行，证券机构

投资风险管理：债券与股市投资关键策略

· 3 min read

风险管理​

投资管理其实是在管理风险，投资中的风险有哪些？

  • Country risk 国家风险: 当国家边境封锁后，你投资到该国的钱无法取回。
  • Market risk 市场风险：市场出现熊市
  • Currency risk 货币风险：货币贬值
  • Liquidity risk 流动性风险：小盘股的股价暴涨暴跌
  • Inflation rist 通胀风险：由于通货膨胀过高，造成投资损失
  • Shortfall risk 短缺风险：达不到投资目标

k8s istio 解决方案

· 5 min read

Istio​

Istio  是一个开源的  服务网格（Service Mesh）  平台，用于管理、连接和保护微服务架构中的服务间通信。它通过透明的代理（基于  Envoy）拦截网络流量，并提供以下核心功能：

核心功能​

  1. 流量管理
    • 动态路由配置(A/B 测试，金丝雀 Canary 发布)
    • 负载均衡、超时重试、熔断(Circuit Breaking)
    • 通过VirtualService 和 DestinationRule 匹配规则
  2. 安全性
    • 自动服务间身份认证(mTLS)
    • 细颗粒的访问控制(基于 RBAC)
    • 通过 AuthorizationPolicy 定义权限
  3. 可观测性
    • 自动生成指标(Prometheus)、日志和分布式追踪(Jaeger/Zipkin)
    • 通过 Grafana 提供可视化监控
  4. 稳定性
    • 故障注入 fault injection
  5. 策略与扩展
    • 配额管理(Rate Limiting)
    • 通过 Wasm 插件扩展功能

用人工智能打造人工智能

· 5 min read

关键术语​

AI 编程

  • AI Pair Programming（人工智能结对编程）--人类与人工智能助手之间的协作式软件开发，可交互式地提出代码建议。
  • GitHub Copilot- 来自 GitHub 的人工智能编程工具，可在开发人员输入代码时实时提供上下文感知的代码建议和整个功能。
  • Code Whisperer- 亚马逊的智能编码助手，由 CodeGuru 和 GPT-3 提供代码片段和文档建议。仍处于预览阶段。
  • OpenAI Codex- 来自 OpenAI 的人工智能系统，经过代码训练，可将自然语言翻译为代码，并建议人类编程的可能性。
  • 负责任的人工智能 - 开发和部署尊重人权和民主价值观（如透明度、隐私、非歧视和问责制）的人工智能。

使用 Rust 构建 MLOps 解决方案

· 5 min read

关键术语​

Rust

  • Rust - 一种注重安全、速度和效率的现代系统编程语言。提供保证内存安全等高级功能。
  • rustup- Rust 的工具链安装程序。可轻松安装编译器、软件包管理器 cargo 和其他 Rust 工具。
  • Cargo- Rust 构建系统和软件包管理器。用于管理依赖关系和构建/编译 Rust 项目。
  • Crates- 可在 crates.io 上共享的 Rust 代码包。相当于其他语言中的库或模块。
  • rustfmt - Rust 格式化工具，用于根据指南自动格式化 Rust 源代码。确保风格一致。
  • Clippy- Rust 内核工具，用于分析代码并检测潜在问题或改进。帮助编写更习惯的 Rust 代码。
  • Makefile- 定义规则/命令的文件，用于自动构建和管理项目。允许工作流程标准化。
  • Codespaces- 由 GitHub 托管的基于浏览器的开发环境。为提高 Rust 的生产力而预先配置。
  • GitHub Copilot - AI 结对程序员工具，旨在实时建议代码补全和整个函数。支持 Rust。

MLOps

  • Hugging Face- 专注于 NLP 和预训练转换器模型（如 BERT）的流行工具箱。已集成 Rust。
  • ONNX- 实现框架互操作性的模型开放标准格式。允许模型移植。
  • EFS- 亚马逊弹性文件系统，为 AWS 提供可扩展的云文件存储。 可挂载到 Lambda。
  • RustBERT- Hugging Face 的 BERT 变换器模型的 Rust 实现和绑定。支持 NLP。
  • PyTorch- 适用于 Python 的灵活机器学习框架，现在通过 Torch-rs 与 Rust 绑定。
  • CUDA - 允许 GPU 加速的并行计算 API 模型。Rust 通过后端提供支持。
  • Stable Diffusion- 使用深度学习的开源文本到图像生成器。可通过绑定从 Rust 访问。
  • torch-rs- 为流行的 PyTorch 深度学习框架提供 Rust 绑定的原型，以支持 ML 解决方案。
  • Distroless- 仅专注于应用程序运行时的容器模型，可减少攻击面和漏洞。安全性能良好。

Rust on Cloud

  • Actix- 用于构建高性能网络服务（如微服务）的 Rust 网络框架。支持异步和可扩展性。
  • App Engine - GCP 全面管理的无服务器应用程序平台。支持 Rust 作为自定义运行时选项。
  • Cloud Run- GCP 产品，用于在完全托管的环境中运行无状态容器。与 Rust 工作流集成。
  • Cargo Lambda- Rust crate，帮助打包、测试、部署和管理用 Rust 编写的 AWS Lambdas。
  • Step Functions- 通过组合 Lambda 函数实现无服务器可视化工作流的 AWS 服务。可通过 Rust SDK 访问。
  • Tokio- 用于 Rust 的异步运行时，通过利用线程将非阻塞 I/O 扩展到数以万计的任务。
  • ECS- 亚马逊弹性容器服务，用于使用 AWS CLI 或 SDK（包括 Rust）启动 Docker 容器。
  • ECR - 亚马逊弹性容器注册中心（Amazon Elastic Container Registry），提供与 Rust CI/CD 集成的可管理、可扩展的 Docker 容器存储。
  • Copilot- CLI 工具，用于在 AWS 服务（如使用 Docker 的 ECS/ECR）上简化容器化应用程序的构建、发布和运行。

机器学习容器

· 6 min read

关键术语​

  • 容器 Container- 一种标准化的轻量级软件包，可将应用程序的代码和依赖关系捆绑在一起，以便在任何环境中可靠运行。
  • 容器注册中心（Container Registry）- 用于存储、共享和部署容器镜像的存储库，通常集成到 CI/CD 管道中。例如 Docker Hub、AWS ECR。
  • 容器协调 Container Orchestration- 利用 Kubernetes 和亚马逊 ECS 等平台对容器进行自动管理、扩展和协调。
  • 持续交付- 通过 CI/CD 管道自动化部署，快速可靠地构建、测试和发布容器的软件开发实践。
  • 基础设施即代码（Infrastructure as Code）--通过机器可读的定义文件管理网络、计算、存储等基础设施，而不是手动流程。实现可重现性。
  • 无发行版容器 Distroless Container- 经过优化的容器映像，只包含应用程序、运行时语言和基本系统库，省略了外壳、软件包管理器等。提高安全性。

Containerized Microservices​