מאגר מידע ענק חושף כי בייג'ינג מפתחת מערכת GenAI מתוחכמת, המסוגלת לזהות ולחסום מגוון רחב של תכנים רגישים, שעלולים להזיק לשלטון
לפי דיווח של אתר TechCrunch, מאגר מידע עצום שדלף לרשת חושף שבייג'ינג מפתחת מערכת בינה מלאכותית גנרטיבית (GenAI) מתוחכמת לביצוע צנזורה רחבה של תכנים שעלולים לפגוע בממשל. בניגוד למערכות צנזורה מסורתיות, שמבוססות על חסימת מילות מפתח ומצנזרים אנושיים, ולכן מוגבלות ביכולותיהן לנושאים ממוקדים וחשופות לעקיפה מצד משתמשים מתוחכמים, המערכת הזו ממנפת את כוח ה-AI על מנת לאפשר צנזורה רחבה ונוקשה יותר ומסוגלת לחסום כל תוכן שנחשב לרגיש בעבור הממשל הקומוניסטי, החל מתלונות על העוני בסין הכפרית, עבור בדיווח חדשותי על שחיתות במפלגה הקומוניסטית ועד לבקשת סיוע בהתמודדות עם שוטרים מושחתים.
"מדובר בראייה ברורה לכך שממשלת סין או שותפיה עושים שימוש במודלי שפה גדולים (LLMs, הטכנולוגיה שבבסיס צ'טבוטים דוגמת ChatGPT, ע"כ) על מנת לשפר את יכולת דיכוי האוכלוסייה שלה", אמר ל-TechCruch שְׂיָאו צְ'יָאנְג מאוניברסיטת קליפורניה בברקלי, שחוקר את הצנזורה הסינית. "בניגוד למנגנוני צנזורה מסורתים, שמסתמכים על סינון מילות מפתח או בחינה אנושית, LLM שאומן למטרה זו יכול לשפר משמעותית את היעילות ואת המיקוד של שליטת המדינה במידע".
מאגר המידע, בהיקף של 300 גיגה-בייט, זוהה בינואר על ידי חוקר אבטחת המידע עצמאי שמזוהה רק בכינוי NetAskari על שרת לא מאובטח של באידו (הממצא לא מעיד על מעורבות של החברה, שמספקת שירותי ענן לגופים שונים). אין ממצא ישיר לגבי זהות הגורם שיצר את המאגר, שעודכן לאחרונה בדצמבר 2024. עם זאת, 133 אלף הדוגמאות שהוזנו לתוכו מצביעות על כך שמדובר בגורם בעל עניין בצנזור תכנים שעלולים להתפס כרגישים על ידי הממשל הסיני.
לדברי TechCrunch, שבחן את מאגר המידע, היוצרים שלו עשו שימוש בפרומפטים שהגדירו בעבור LLM עלום תכנים שנחשבים לכאלו שנמצאים ב"עדיפות גבוהה" ויש לסמן אותם, ככל הנראה למחיקה או חסימה. אלו כוללים סוגיות בתחומים רגישים כמו זיהום סביבתי, בטיחות מזון, הונאה פיננסית וסכסוכי עבודה; סוגיות בעלות עניין בעבור בייג'ינג שחלקן הובילו בעבר להפגנות ולמחאות ציבוריות. כן הוגדרו לסימון מיידי כל סוג של "סאטירה פוליטית", שימוש בהשוואות היסטוריות כדי להסביר משהו בנוגע ל"דמויות פוליטיות עדכניות", כל תוכן שקשור ל"פוליטיקה טאיוואנית" ותכנים צבאיים כמו דיווחים על תנועת כוחות, אימונים וכל נשק. סוגיות נוספות שהוגדרו כרגישות כוללות דיונים באובדן כוח של בכירים בממשל, דיווחי תקשורת על שחיתות במפלגה הקומוניסטית ותלונות צרכנים על בעיות בבקרת איכות של מוצרים.
באמצעות לימוד ואימון LLM את התכנים שנחשבים לרגישים מבחינת השלטון, ניתן למנף מערכות GenAI לצנזורה אוטומטית ורחבה של תכנים, בקנה מידה שלא אפשרי באמצעים מסורתיים יותר (שמבוססים על חסימת מילות מפתח). מכיוון שמערכות אלו מסוגלות "להבין" שפה ושיח באופן דומה לבני אדם, הן יכולות לזהות תכנים "בעיתיים" בצורה מדויקת יותר ולהתמודד עם ניסיונות של משתמשים להסתיר שיח חתרני מאחורי דימויים או רמיזות שמערכות AIמסורתיות יותר לא יזהו.
שימוש זה מגביר משמעותית את יכולות הצנזורה של הממשל הסיני, שנסמכות כיום במידה רבה על מערך רחב של צנזורים אנושיים, ולאפשר זיהוי וחסימה כמעט מיידיים של כל שיח שעלול להיתפס כבעייתי בעבור השלטון, גם כמשדובר בביקורת עקיפה, עדינה או מרומזת. מערכות אלו גם יכולות להשתפר ולהשתכלל ככל שהשימוש בהן מתרחב. שימוש מסוג זה אמנם יכול להוביל גם לחסימה שגויה של תכנים מותרים, אך ספק עם מדובר בסוגיה שמטרידה את בייג'ינג.
"זה קריטי להבליט את האבולוציה של צנזורה מבוססת AI, ואיך היא מאפשרת שליטה מתוחכמת יותר של המדינה בשיח הציבורי", אמר שיאו. "זה נכון במיוחד בשעה שמודלים סינים כמו זה של דיפסיק (DeepSeek) זוכים לתפוצה רחבה".
לא מדובר בעדות הראשונה לשימוש שעושה סין ב-GenAI להרחבת מערך הצנזורה שלה. בפברואר דיווחה OpenAI שזיהתה פעילות של גורם מסין שהשתמש במודלים שלה על מנת לייצר תיאור מפורט של מערכת GenAI שמנטרת שיחות במדיה חברתית, בפרט כאלו שעסקו במחאות זכויות אדם בסין, ומעבירה פוסטים בעייתיים לממשל הסיני. כן זיהתה החברה שנעשה שימוש במודל שלה ליצירת תגובות ביקורתיות על מתנגד המשטר צָאי שְׂיָה.
