cerebras

Documentation

Index

• Constants
• type Message
• type Request
• type Service
  • func NewService(sd *ty.ShutdownContext, secr *secr.Client) *Service
  • func (s *Service) Prompt(ctx context.Context, prompt rq.PromptV1, rsp *llm.StreamResponse) error
• type StreamResponse

Constants

const ApiKeySuffic = "CEREBRAS_API_KEY"

Types

type Message

type Message struct {
	Role    string `json:"role"`
	Content string `json:"content"`
}

type Request

type Request struct {
	Model       string    `json:"model"`
	Messages    []Message `json:"messages"`
	Stream      bool      `json:"stream"`
	MaxTokens   int       `json:"max_tokens,omitempty"`
	Temperature float64   `json:"temperature,omitempty"`
	TopP        float64   `json:"top_p,omitempty"`
}

type Service

type Service struct {
	// contains filtered or unexported fields
}

func NewService

func NewService(sd *ty.ShutdownContext, secr *secr.Client) *Service

func (*Service) Prompt

func (s *Service) Prompt(ctx context.Context, prompt rq.PromptV1, rsp *llm.StreamResponse) error

type StreamResponse

type StreamResponse struct {
	ID      string `json:"id"`
	Object  string `json:"object"`
	Created int64  `json:"created"`
	Model   string `json:"model"`
	Choices []struct {
		Delta struct {
			Content string `json:"content"`
		} `json:"delta"`
		Index        int    `json:"index"`
		FinishReason string `json:"finish_reason"`
	} `json:"choices"`
	Usage struct {
		PromptTokens     int `json:"prompt_tokens"`
		CompletionTokens int `json:"completion_tokens"`
		TotalTokens      int `json:"total_tokens"`
	} `json:"usage"`
}