最近在开发智能文档搜索的工作中，我需要将各种文件转换为 Markdown 格式，然后通过向量化计算，把它们创建到向量数据库中，以便实现语义搜索文档的功能。并结合 LLMs 和 RAG（Retrieval Augmented Generation）来获取与搜索目标相关的文档内容完成二次创作。由于多模态下需要处理的文档类型太多了，我曾用 python 写了几个工具方法，使用 MarkItDown 来统一处理的。但现实问题是 MarkItDown 目前没有 .NET 版本的实现，而我的应用是 .NET 的程序，如果能有一个办法将 python 脚本无缝嵌入到我的 .NET 应用程序中那就太棒了，这就是我为什么要使用 CSnakes 的原因。

阅读全文

本文介绍了一种简单的语音生成式 AI 应用架构，通过结合新的 gpt-4o-realtime-preview 模型和 Azure AI Search，实现了 RAG 模式。新的 Azure OpenAI gpt-4o-realtime-preview 模型以其语音到语音的功能，为更自然的应用程序用户界面打开了大门。这种新的基于语音的界面也带来了一个有趣的新挑战：如何在使用音频作为输入和输出的系统中实现检索增强生成 (RAG)？

RAG 是一种将语言模型与您自己的数据相结合的流行模式。我们将介绍一种简单的语音生成式 AI 应用架构，该架构支持在实时音频 API 之上进行 RAG，并支持来自客户端设备的全双工音频流，同时安全地处理对模型和检索系统的访问。

阅读全文