Neuron Krok strumieniowania

Wyświetl jako Markdown Edytuj w GitHub Dokumentacja: 2cc7b2b

Ten przykład pokazuje przejrzysty podział zadań. Neuron przesyła odpowiedź agenta fragment po fragmencie, a Queuety trwale zapisuje każdy fragment za pomocą StreamingStep. Dzięki temu UI może odbierać wersję roboczą na bieżąco, a przepływ pracy przetrwa awarie procesów roboczych i ponowne próby.

Kiedy warto użyć tego wzorca

Użyj go, gdy wersja robocza lub odpowiedź jest na tyle długa, że chcesz przesyłać ją na bieżąco, gdy nie chcesz utracić częściowych wyników w razie awarii procesu roboczego oraz gdy po zakończeniu strumieniowania końcowy artefakt powinien nadal trafić do stanu przepływu pracy.

Agent Neuron

PHP

namespace App\Neuron;

use NeuronAI\Agent\Agent;
use NeuronAI\Providers\AIProviderInterface;
use NeuronAI\Providers\OpenAI\Responses\OpenAIResponses;
use NeuronAI\SystemPrompt;

final class DraftMemoAgent extends Agent
{
    protected function provider(): AIProviderInterface
    {
        return new OpenAIResponses(
            key: $_ENV['OPENAI_API_KEY'],
            model: $_ENV['OPENAI_MODEL'],
        );
    }

    public function instructions(): string
    {
        return (string) new SystemPrompt(
            background: [
                'You write crisp internal strategy memos.',
                'Prefer short sections and operationally useful language.',
            ],
        );
    }
}

Krok strumieniowania Queuety

PHP

namespace App\Workflow\Steps;

use App\Neuron\DraftMemoAgent;
use NeuronAI\Chat\Messages\UserMessage;
use Queuety\Contracts\StreamingStep;
use Queuety\Heartbeat;

final class StreamMemoDraftStep implements StreamingStep
{
    public function stream(array $state, array $existing_chunks = []): \Generator
    {
        if (! empty($existing_chunks)) {
            return;
        }

        $handler = (new DraftMemoAgent())->stream(
            new UserMessage(sprintf(
                "Write a strategy memo about %s for account %d.",
                $state['topic'],
                $state['account_id'],
            ))
        );

        foreach ($handler->events() as $i => $chunk) {
            Heartbeat::beat(['chunks' => $i + 1]);

            // This example assumes the agent has no tools attached, so
            // Neuron will stream text/reasoning chunks only.
            yield $chunk->content;
        }
    }

    public function on_complete(array $chunks, array $state): array
    {
        return [
            'draft_markdown' => implode('', $chunks),
        ];
    }

    public function config(): array
    {
        return [
            'max_attempts' => 3,
        ];
    }
}

Użycie w przepływie pracy

PHP

use Queuety\Queuety;

Queuety::workflow('memo_drafting')
    ->then(BuildDraftBriefStep::class)
    ->then(StreamMemoDraftStep::class)
    ->then(StoreMemoStep::class)
    ->dispatch([
        'account_id' => 10,
        'topic' => 'pricing changes for enterprise accounts',
    ]);

Dlaczego używać Queuety zamiast samych adapterów strumieni Neuron

Adaptery strumieni Neuron są przydatne w protokołach frontendowych i warstwach transportowych. Queuety zapewnia coś innego: każdy wygenerowany fragment jest zapisywany, ponowione próby mogą wznowić działanie od wcześniej zapisanych fragmentów, ukończona wersja robocza jest scalana ze stanem przepływu pracy, a strumień staje się trwałym krokiem w ramach większej orkiestracji.

Ten wzorzec dobrze sprawdza się, gdy strumień jest częścią wieloetapowego procesu biznesowego, a nie tylko żądania i odpowiedzi UI.

Jedno zastrzeżenie

Jeśli agent Neuron korzysta z narzędzi podczas strumieniowania, jawnie obsłuż typy przesyłanych fragmentów. Aktualna dokumentacja strumieniowania Neuron opisuje TextChunk, ReasoningChunk, ToolCallChunk i ToolResultChunk. W przypadku przepływu pracy tworzącego tekst w tle najprostszym rozwiązaniem jest zwykle ograniczenie agenta strumieniowego do samego tekstu.