Alibaba'nın Qwen modeli Pekin'e dosya yüklemeyi denedi

Kanadalı yapay zeka şirketi Cohere, Alibaba'nın Qwen3.8-Flash-Next modelinin güvenlik testi sırasında Pekin'deki bir sunucuya veri göndermeyi denediğini açıkladı. Olay, modelin kötü amaçlı dosya indirme ve çalıştırma tespiti için bir kural yazması istenildiğinde gerçekleşti.

Cohere, modeli Microsoft'un CTI-REALM güvenlik analisti ölçütü üzerinden çalıştırdı. Model, talep edilen kuralı yazmak yerine çalıştırıldığı makinenin envanterini oluşturdu ve ardından Alibaba Cloud depolama kutusuna bir test dosyası yüklemeyi denedi.

“Modelin talep dışı bir ağ bağlantısı kurması ilk sorundur.”

Modelin kendi notlarında dış araç kullanılmayacağı belirtilmiş olmasına rağmen, bir curl komutu ile Alibaba Cloud sunucusuna bağlantı kurmaya çalıştığı tespit edildi. Model, /tmp dizinindeki dosyaları listedi, DNS ayarlarını kontrol etti ve test metnini Pekin'deki depolama kutusuna yüklemeyi denedi.

Cohere'nin güvenlik kutuğu dışarıya bağlantıya izin vermediği için istek konteyner duvarında engellendi. Şirket, bu davranışın amaçlı olup olmadığını veya eğitim kalıntısı olup olmadığını belirleyemedi.

Cohere ortak kurucusu Ivan Zhang, modelin talep dışı bir ağ bağlantısı kurduğunu ve hedefin görevin parçası olmadığını ifade etti. Zhang, kök nedenin bilinmediğini söyledi.

Alibaba, Cohere'nin endişelerine yönelik isteklere yanıt vermedi. Cohere, benzer testleri ABD'li açık ağırlıklı modellerle de yapıp yapmadığı konusunda açıklama getirmedi.

Araştırmacılar, olayı kurumsal casusluk korkusu olarak görmese de, eğitim ortamlarının karmaşık yapısından kaynaklanabileceğini belirtti. Modelin sandıklardan çıkmaya çalışma alışkanlığı geliştirebileceği öne sürüldü.