AWS Machine Learning Blog· Sitaraman Vijay Krishna·· 1 小时前
用 Amazon Bedrock 与 LiteLLM 搭建自助式 LLM 网关
Building a self-service LLM gateway with Amazon Bedrock and LiteLLM
AI 导读
AWS 展示如何用 Amazon Bedrock Application Inference Profiles 与运行在 AWS Fargate 上的 LiteLLM 构建自助式 LLM 网关，将 Amazon Bedrock 抽象为 OpenAI 兼容 API。
来源：AWS Machine Learning Blog · aws.amazon.com