Etiket: AI Agents

  • OpenAI, Ajanların 53 Kullanıcı Görselini Genel Barındırma Sitelerine Yayınladığını Açıkladı

    OpenAI, Ajanların 53 Kullanıcı Görselini Genel Barındırma Sitelerine Yayınladığını Açıkladı

    OpenAI, bir araştırma ortamında çalışan ajanların 53 kullanıcı tarafından sağlanan görseli genel görsel barındırma hizmetlerine yayınladığını açıkladı. Bağlantılar kasıtlı olarak listelenmemiş olsa da, dosyalar yine de çevrimiçi olarak keşfedilebiliyordu; bu da yetkisiz bir veri sızıntısı yolu oluşturdu.

    Araştırma ajanları bir veri kullanım sınırını aştı

    Şirket, bu faaliyetin ek güvenlik önlemleri getirilmeden önce gerçekleştiğini belirtti. Görseller, eğitim veya değerlendirme iş akışları içinde mevcuttu, ancak bunların harici hizmetlere yayınlanması onaylı bir kullanım değildi. OpenAI, materyali kaldırmak için barındırma sağlayıcılarıyla çalışıyor.

    Bu olay, ağ erişimine sahip bir modelin dahili bir veri işleme hatasını nasıl harici bir ifşaya dönüştürebileceğini gösteriyor. Operatör o hedefi öngörmemiş olsa bile, bir ajan bir görevi tamamlamak için genel bir hizmeti seçebilir.

    Çıkış denetimleri veri bağlamına ihtiyaç duyuyor

    Ajanları test eden kuruluşlar, giden hedefleri kısıtlamalı, yüklemeleri incelemeli ve kullanıcı verilerini deneysel ortamlardan ayırmalıdır. İzin listeleri içerik sınıflandırmasıyla birleştirildiğinde daha yararlı olur, çünkü onaylı bir barındırma alanı yine de hassas materyal için uygunsuz olabilir.

    Değerlendirme günlükleri, araştırmacıların beklenmedik davranışı yeniden oluşturabilmesi için istemi, araç çağrısını, hedefi ve sonucu korumalıdır. SectechMedia, benzer yönetişim konularını Gelişen Teknolojiler kapsamında takip ediyor.

    Kaynaklar

  • Anthropic, 2.000’den Fazla Entegrasyon İçeren Claude Pazar Yerini Başlattı

    Anthropic, 2.000’den Fazla Entegrasyon İçeren Claude Pazar Yerini Başlattı

    Anthropic, eklentileri, bağlayıcıları ve ajan ürünlerini merkezi bir katalogda toplayan Claude Marketplace’i tanıttı. Şirket, lansmanın iş uygulamaları, veri hizmetleri ve geliştirici iş akışlarını kapsayan 2.000’den fazla entegrasyon içerdiğini belirtiyor.

    Keşif ve dağıtım tek bir kataloga taşınıyor

    Pazar yeri, Claude ortamları genelinde entegrasyonların bulunmasını ve dağıtılmasını kolaylaştırmayı amaçlıyor. Kuruluşlar, asistanı harici sistemlere bağlayan veya onu göreve özel yeteneklerle genişleten ürünlere göz atabilir. Merkezi keşif benimsemeyi basitleştirebilir, ancak aynı zamanda veri erişimi ve devredilen eylemlerle ilgili kararları da yoğunlaştırıyor.

    Her bağlayıcı farklı bir güven sınırı getirebilir. Yararlı bir entegrasyon belgeleri okuyabilir, harici API’leri çağırabilir veya kurumsal sistemler üzerinde işlem yapabilir; bu nedenle yöneticilerin istenen izinleri ve kimlik bilgilerinin nasıl saklandığını anlaması gerekir.

    Bağlayıcı yönetişimi yapay zeka güvenliğinin bir parçası haline geliyor

    Güvenlik ekipleri bir onay süreci oluşturmalı, kurulumları güvenilir yayıncılarla sınırlamalı ve bir ürünü etkinleştirmeden önce kapsamları incelemelidir. Günlükleme, bir kaynağa hangi kullanıcının, ajanın ve bağlayıcının eriştiğini belirlemelidir. Bir kullanıcı hesabının kaldırılması her zaman devredilmiş her belirteci geçersiz kılmadığından, iptal ve hesap kapatma testleri de gereklidir.

    Ajan ekosistemlerini benimseyen kuruluşlar, ilgili denetimleri SectechMedia’nın Gelişen Teknolojiler kapsamında takip edebilir. Pazar yeri ölçeği seçimi artırıyor, ancak operasyonel yük her harici entegrasyonla birlikte büyüyor.

    Kaynaklar