mistral

Documentation

Index

• Constants
• func Prompt(ctx context.Context, prompt rq.PromptV1, rsp *llm.StreamResponse) error
• type Message
• type Model
  • func (m Model) PrettyStr() string
• type Request
• type StreamResponse

Constants

const (
	ModelMistralNemo  = Model(llm.ModelMistralNemo)
	ModelMistralLarge = Model(llm.ModelMistralLarge)
)

const (
	Version = "2407"
)

Functions

func Prompt

func Prompt(ctx context.Context, prompt rq.PromptV1, rsp *llm.StreamResponse) error

Types

type Message

type Message struct {
	Role    string `json:"role"`
	Content string `json:"content"`
}

type Model

type Model llm.ServiceName

func (Model) PrettyStr

func (m Model) PrettyStr() string

type Request

type Request struct {
	Model       string    `json:"model"`
	Messages    []Message `json:"messages"`
	Temperature float64   `json:"temperature"`
	Stream      bool      `json:"stream"`
}

type StreamResponse

type StreamResponse struct {
	ID      string `json:"id"`
	Object  string `json:"object"`
	Created int64  `json:"created"`
	Model   string `json:"model"`
	Choices []struct {
		Index int `json:"index"`
		Delta struct {
			Content string `json:"content"`
		} `json:"delta"`
		FinishReason string `json:"finish_reason"`
	} `json:"choices"`
	Usage struct {
		PromptTokens     int `json:"prompt_tokens"`
		CompletionTokens int `json:"completion_tokens"`
		TotalTokens      int `json:"total_tokens"`
	} `json:"usage"`
}