Akışlı (streaming) yanıtlar, kullanıcıya çıktıyı yazılırken göstermeni sağlar — uzun yanıtlarda zorunlu denecek kadar önemlidir, çünkü hem algılanan hızı artırır hem de istek zaman aşımlarını önler. İşin içine bir de araç kullanımı girince birkaç inceliğe dikkat etmek gerekir. Bu rehberde ikisini birlikte işliyoruz.
Neden streaming?
Uzun girdi, uzun çıktı ya da yüksek max_tokens olan her istekte akış kullan; yanıt tek seferde değil parça parça gelir ve bağlantı zaman aşımına düşmez. SDK'ların get_final_message() / finalMessage() yardımcısı, tek tek olayları ele almak istemiyorsan tüm yanıtı toplayıp verir.
Araç çağrılarını yönetmek
Model akış sırasında bir araç çağırabilir. Önemli kural: bir asistan mesajı birden fazla araç çağrısı içerebilir ve bunların tüm sonuçlarını tek bir kullanıcı mesajında geri döndürmelisin.
is_error ile döndür, atlamayı deneme.Büyük araç girdileri
Araç girdisi büyükse (dosya içeriği, uzun kod), girdinin üretilirken akmasını sağlayabilirsin. Bu durumda doğrulama sorumluluğu sana geçer: akan girdi eksik gelebilir, o yüzden her araç girdisini çalıştırmadan önce şemaya göre doğrula.
Özet
Uzun işlerde streaming varsayılanın olsun; get_final_message() ile sadeleştir. Araç kullanırken paralel sonuçları tek mesajta topla, hatalıyı bile döndür, büyük girdilerde doğrulamayı sen yap. Bu birkaç kural, akışlı agent döngüsünü sağlam tutar.