首页 星云 工具 资源 星选 资讯 热门工具
:

PDF转图片 完全免费 小红书视频下载 无水印 抖音视频下载 无水印 数字星空

解锁GraphRag.Net的无限可能:手把手教你集成国产模型和本地模型

编程知识
2024年08月05日 15:34

        在上次的文章中,我们已经详细介绍了GraphRag的基本功能和使用方式。如果你还不熟悉,建议先阅读前面的文章

        通过前两篇文章,相信你已经了解到GraphRag.Net目前只支持OpenAI规范的接口,但许多小伙伴在社区中提议,希望能增加对本地模型(例如:ollama等)的支持。所以这次,我们将探讨如何在GraphRag.Net中使用自定义模型和本地模型。

 

为什么选择GraphRag.Net?

        GraphRag.Net采用了Semantic Kernel作为基础,让我们能够非常简洁地抽象出会话与向量接口。因此,用户可以非常方便地实现自己定制的解决方案。接下来,我们会通过一个具体的例子,展示如何将本地模型和国产模型集成到GraphRag.Net中。

默认配置方法

        首先,我们来看看如何进行默认配置:

// OpenAI配置
builder.Configuration.GetSection("OpenAI").Get<OpenAIOption>();
// 文档切片配置
builder.Configuration.GetSection("TextChunker").Get<TextChunkerOption>();
// 配置数据库连接
builder.Configuration.GetSection("GraphDBConnection").Get<GraphDBConnectionOption>();

// 注意,需要先注入配置文件,然后再注入GraphRag.Net
builder.Services.AddGraphRagNet();

        这里,我们将在默认配置中注入OpenAI的配置、文本切片的配置和数据库连接的配置。然后,依次注入这些配置文件和GraphRag.Net的服务。

自定义配置方法

        如果需要自定义模型或本地模型,可能需要实现一些额外的服务接口,下面是自定义配置的示例:

var kernelBuild = Kernel.CreateBuilder();
kernelBuild.Services.AddKeyedSingleton<ITextGenerationService>("mock-text", new MockTextCompletion());
kernelBuild.Services.AddKeyedSingleton<IChatCompletionService>("mock-chat", new MockChatCompletion());
kernelBuild.Services.AddSingleton<ITextEmbeddingGenerationService>(new MockTextEmbeddingGeneratorService());
kernelBuild.Services.AddKeyedSingleton("mock-embedding", new MockTextEmbeddingGeneratorService());

builder.Services.AddGraphRagNet(kernelBuild.Build());

在这个自定义配置示例中,我们引入了三个自定义服务接口:ITextGenerationServiceIChatCompletionServiceITextEmbeddingGenerationService

实现自定义服务接口

接下来,我们需要为每个服务接口提供具体的实现。以下是三个接口的具体实现:

实现IChatCompletionService

  public class MockChatCompletion : IChatCompletionService
  {
      private readonly Dictionary<string, object?> _attributes = new();
      private string _chatId;


      private static readonly JsonSerializerOptions _jsonSerializerOptions = new()
      {
          NumberHandling = JsonNumberHandling.AllowReadingFromString,
          Encoder = JavaScriptEncoder.Create(UnicodeRanges.All)
      };

      public IReadOnlyDictionary<string, object?> Attributes => _attributes;

      public MockChatCompletion()
      {

      }

      public async Task<IReadOnlyList<ChatMessageContent>> GetChatMessageContentsAsync(ChatHistory chatHistory, PromptExecutionSettings? executionSettings = null, Kernel? kernel = null, [EnumeratorCancellation] CancellationToken cancellationToken = default)
      {
          StringBuilder sb = new();
          string result = $"这是一条Mock数据,便于聊天测试,你的消息是:{chatHistory.LastOrDefault().ToString()}";
          return [new(AuthorRole.Assistant, result.ToString())];
      }

      public async IAsyncEnumerable<StreamingChatMessageContent> GetStreamingChatMessageContentsAsync(ChatHistory chatHistory, PromptExecutionSettings? executionSettings = null, Kernel? kernel = null, [EnumeratorCancellation] CancellationToken cancellationToken = default)
      {
          StringBuilder sb = new();
          string result = $"这是一条Mock数据,便于聊天测试,你的消息是:{chatHistory.LastOrDefault().ToString()}";
          foreach (var c in result)
          {
              yield return new StreamingChatMessageContent(AuthorRole.Assistant, c.ToString());
          }
      }
  }

  

实现ITextGenerationService

 public class MockTextCompletion : ITextGenerationService, IAIService
 {
     private readonly Dictionary<string, object?> _attributes = new();
     private string _chatId;

     private static readonly JsonSerializerOptions _jsonSerializerOptions = new()
     {
         NumberHandling = JsonNumberHandling.AllowReadingFromString,
         Encoder = JavaScriptEncoder.Create(UnicodeRanges.All)
     };

     public IReadOnlyDictionary<string, object?> Attributes => _attributes;

     public MockTextCompletion()
     {

     }

     public async Task<IReadOnlyList<TextContent>> GetTextContentsAsync(string prompt, PromptExecutionSettings? executionSettings = null, Kernel? kernel = null, CancellationToken cancellationToken = default)
     {
         StringBuilder sb = new();
         string result = $"这是一条Mock数据,便于聊天测试,你的消息是:{prompt}";
         return [new(result.ToString())];
     }

     public async IAsyncEnumerable<StreamingTextContent> GetStreamingTextContentsAsync(string prompt, PromptExecutionSettings? executionSettings = null, Kernel? kernel = null, CancellationToken cancellationToken = default)
     {
         StringBuilder sb = new();
         string result = $"这是一条Mock数据,便于聊天测试,你的消息是:{prompt}";
         foreach (var c in result)
         {
             var streamingTextContent = new StreamingTextContent(c.ToString(), modelId: "mock");

             yield return streamingTextContent;
         }
     }
 }

实现ITextEmbeddingGenerationService

  public sealed class MockTextEmbeddingGeneratorService : ITextEmbeddingGenerationService
  {
      private Dictionary<string, object?> AttributesInternal { get; } = [];
      public IReadOnlyDictionary<string, object?> Attributes => this.AttributesInternal;
      public MockTextEmbeddingGeneratorService()
      {

      }
      public async Task<IList<ReadOnlyMemory<float>>> GenerateEmbeddingsAsync(
        IList<string> data,
        Kernel? kernel = null,
        CancellationToken cancellationToken = default)
      {
          IList<ReadOnlyMemory<float>> results = new List<ReadOnlyMemory<float>>();

          float[] array1 = { 1.0f, 2.0f, 3.0f };
          float[] array2 = { 4.0f, 5.0f, 6.0f };
          float[] array3 = { 7.0f, 8.0f, 9.0f };

          // 将数组包装为ReadOnlyMemory<float>并添加到列表中
          results.Add(new ReadOnlyMemory<float>(array1));
          results.Add(new ReadOnlyMemory<float>(array2));
          results.Add(new ReadOnlyMemory<float>(array3));

          return results;
      }

      public void Dispose()
      {

      }
  }

  

        看到这里,你可能已经发现,集成自定义模型和本地模型非常简单。只需按照上述步骤,实现相应的接口并注入配置,你就可以在GraphRag.Net中使用这些自定义的功能。

 

结语

        通过本文的介绍,我们了解了如何在GraphRag.Net中集成国产模型和本地模型。希望大家能够根据这些示例,开发出更多适合自己需求的功能。更多精彩内容,欢迎关注我的公众号,并发送进群加入我们的GraphRag.Net交流群,与社区小伙伴们一起交流学习!

        感谢阅读,我们下期再见!

 

From:https://www.cnblogs.com/xuzeyu/p/18343527
本文地址: http://www.shuzixingkong.net/article/814
0评论
提交 加载更多评论
其他文章 stm32 F103C8T6 4x4矩阵键盘使用
首先感谢 江科大 的stm32入门课程 受益匪浅。推荐有兴趣的朋友去看看。 先看看我用的矩阵键盘是啥样的(很常见的一种) 接线如图(其他型号根据自己需求接上GPIO口) 代码基于stm大善人的代码修改而来,讲的很详细,非常感谢。 直接上代码: 头文件Key4x4.h #ifndef __KEY4x4
stm32 F103C8T6 4x4矩阵键盘使用 stm32 F103C8T6 4x4矩阵键盘使用 stm32 F103C8T6 4x4矩阵键盘使用
如何对MIL-STD-1553B进行选型
MIL-STD-1553B产品选型是一个复杂而细致的过程,‌需要综合考虑多个因素以确保所选产品能够满足特定应用场景的需求。 一、‌引言 MIL-STD-1553B作为一种广泛应用于航空航天领域的数据总线标准,‌其产品的选型对于确保系统的高效、‌可靠运行至关重要。‌选型过程中,‌需要充分理解MIL-S
C#自定义快捷操作键的实现 - 开源研究系列文章
这次想到应用程序的快捷方式使用的问题。 Windows已经提供了API函数能够对窗体的热键进行注册,然后就能够在窗体中使用这些注册的热键进行操作了。于是笔者就对这个操作进行了整理,将注册热键操作写成了帮助类,并且用此博文来记录这个使用DEMO,便于其他读者进行复用代码。 1、 项目目录; 2、 源码
C#自定义快捷操作键的实现 - 开源研究系列文章 C#自定义快捷操作键的实现 - 开源研究系列文章 C#自定义快捷操作键的实现 - 开源研究系列文章
Kotlin 布尔值教程:深入理解与应用示例
Kotlin中的布尔值是一种数据类型,仅能存储`true`或`false`两种状态,适用于表示二选一的情况,如开关或真假判断。布尔类型可通过`Boolean`关键字声明,并直接赋值为`true`或`false`。此外,Kotlin支持使用比较运算符创建布尔表达式,用于条件判断。条件语句包括`if`、
南京大学计算机基础(四)踩坑笔记
第六周 缓冲区溢出章节 bang问题: 每次输入的id将影响getbuf中的堆栈位置,用-u 12的ebp和-u 123的ebp位置就不一样。 注意汇编代码中不能出现a0(代表换行符),如果地址有a0就将它随便改改就行了(a0改为a8-0x8)。 注意gdb如果不能重定向,可能是因为你修改了gdbi
南京大学计算机基础(四)踩坑笔记 南京大学计算机基础(四)踩坑笔记 南京大学计算机基础(四)踩坑笔记
一些八股:1.fetch 的理解。2.let、const、var
一、 说说你对 Fetch 的理解,它有哪些优点和不足? Fetch API 是现代 JavaScript 中用于进行网络请求的接口,旨在替代传统的 XMLHttpRequest。它提供了一种更简单、更灵活的方法来获取资源和与服务器进行交互。下面,我将详细介绍 Fetch 的优点和不足。 Fetch
代码随想录Day5
242.有效的字母异位词 给定两个字符串 s 和 t ,编写一个函数来判断 t 是否是 s 的字母异位词。 注意:若 s 和 t 中每个字符出现的次数都相同,则称 s 和 t 互为字母异位词。 示例 1: 输入: s = &quot;anagram&quot;, t = &quot;nagaram&
在oracle中将一行字符串拆分成多行
例如,有如下一张表,表名为bk_test。插入了以下数据: CREATE TABLE BK_TESK(id varchar2(10),s varchar2(20)); insert into BK_TESK values (&#39;A&#39;,&#39;1,2,3&#39;); insert i
在oracle中将一行字符串拆分成多行 在oracle中将一行字符串拆分成多行