Pular para o conteúdo

Neuron Etapa de streaming

Ver como Markdown Editar no GitHub Documentação em 2cc7b2b

Este exemplo mostra uma divisão clara. Neuron transmite a resposta do agente em partes, enquanto Queuety persiste cada parte de forma durável por meio de StreamingStep. Assim, o UI pode receber um rascunho em tempo real enquanto o fluxo de trabalho continua funcionando mesmo após falhas ou novas tentativas do processo de trabalho.

Quando este padrão é útil

Use-o quando um rascunho ou uma resposta for longo o bastante para justificar a transmissão em tempo real, quando você não quiser perder a saída parcial se o processo de trabalho falhar e quando o artefato final ainda precisar ser salvo no estado do fluxo de trabalho após a transmissão.

O agente Neuron

PHP
namespace App\Neuron;

use NeuronAI\Agent\Agent;
use NeuronAI\Providers\AIProviderInterface;
use NeuronAI\Providers\OpenAI\Responses\OpenAIResponses;
use NeuronAI\SystemPrompt;

final class DraftMemoAgent extends Agent
{
    protected function provider(): AIProviderInterface
    {
        return new OpenAIResponses(
            key: $_ENV['OPENAI_API_KEY'],
            model: $_ENV['OPENAI_MODEL'],
        );
    }

    public function instructions(): string
    {
        return (string) new SystemPrompt(
            background: [
                'You write crisp internal strategy memos.',
                'Prefer short sections and operationally useful language.',
            ],
        );
    }
}

A etapa de streaming Queuety

PHP
namespace App\Workflow\Steps;

use App\Neuron\DraftMemoAgent;
use NeuronAI\Chat\Messages\UserMessage;
use Queuety\Contracts\StreamingStep;
use Queuety\Heartbeat;

final class StreamMemoDraftStep implements StreamingStep
{
    public function stream(array $state, array $existing_chunks = []): \Generator
    {
        if (! empty($existing_chunks)) {
            return;
        }

        $handler = (new DraftMemoAgent())->stream(
            new UserMessage(sprintf(
                "Write a strategy memo about %s for account %d.",
                $state['topic'],
                $state['account_id'],
            ))
        );

        foreach ($handler->events() as $i => $chunk) {
            Heartbeat::beat(['chunks' => $i + 1]);

            // This example assumes the agent has no tools attached, so
            // Neuron will stream text/reasoning chunks only.
            yield $chunk->content;
        }
    }

    public function on_complete(array $chunks, array $state): array
    {
        return [
            'draft_markdown' => implode('', $chunks),
        ];
    }

    public function config(): array
    {
        return [
            'max_attempts' => 3,
        ];
    }
}

Use em um fluxo de trabalho

PHP
use Queuety\Queuety;

Queuety::workflow('memo_drafting')
    ->then(BuildDraftBriefStep::class)
    ->then(StreamMemoDraftStep::class)
    ->then(StoreMemoStep::class)
    ->dispatch([
        'account_id' => 10,
        'topic' => 'pricing changes for enterprise accounts',
    ]);

Por que usar Queuety em vez de apenas adaptadores de streaming Neuron

Os adaptadores de streaming de Neuron são úteis para protocolos e transportes de frontend. Queuety oferece algo diferente: cada parte produzida é persistida, novas tentativas podem retomar com as partes salvas anteriormente, o rascunho concluído é incorporado ao estado do fluxo de trabalho e a transmissão se torna uma etapa durável em uma orquestração maior.

Isso torna esse padrão adequado quando a transmissão faz parte de um processo empresarial com várias etapas, e não apenas de uma solicitação/resposta UI.

Uma ressalva

Se o agente Neuron usar ferramentas durante a transmissão, trate explicitamente os tipos de partes transmitidas. A documentação atual de streaming de Neuron descreve TextChunk, ReasoningChunk, ToolCallChunk e ToolResultChunk. Para um fluxo de trabalho de redação em segundo plano, a abordagem mais simples costuma ser manter o agente de streaming restrito a texto.