עיבוד שפה טבעית (NLP) - תת-הקטגוריה של אינטליגנציה מלאכותית (AI), הכוללת תרגום שפה, ניתוח סנטימנט, חיפוש סמנטי ועשרות משימות לשוניות אחרות - קל יותר לומר מאשר לעשות. רכישת מערכי נתונים מגוונים גדולים מספיק כדי להכשיר את מערכות ה- AI של ניתוח טקסט מהווה אתגר מתמשך לחוקרים; מודלים מודרניים ללימוד עמוק, המחקים את התנהגות הנוירונים במוח האנושי, משתפרים כאשר הם מאומנים במיליונים, ואפילו מיליארדים, של דוגמאות מפורטות.
פתרון אחד פופולרי הוא מתיימר, אשר refines כללי למטרה מודלים שפה מאומן על טקסט ללא תווית לבצע משימות ספציפיות. גוגל פתחה השבוע את החידוש שלה על הטכניקה - ייצוגים דו - כיווניים של אנקודרים , או ברט - שלטענתה מאפשרת למפתחים לאמן מודל "NLP" מהמדינה ב -30 דקות על ענן בודד TPU (יחידת עיבוד tensor, חומרת המארח של Google בענן מאיצים) או כמה שעות ביחידת עיבוד גרפיקה אחת.
הגרסה זמינה על Github, וכוללת מודלים מייצגים לשפות שפה (באנגלית) וקוד מקור שנבנו על מסגרת הלמידה של TensorFlow של חברת Mountain View. בנוסף, יש מחברתהמקביל על Colab, שירות ענן חינם של גוגל עבור מפתחי AI,
כמו ג 'ייקוב Devlin ו מינג וויי צ' אנג, מדעני מחקר ב- Google AI, הסביר, BERT הוא ייחודי בכך שהוא דו כיווני, המאפשר לו לגשת הקשר מכיוונים בעבר וגם בעתיד, ללא פיקוח, כלומר, זה יכול לבלוע נתונים שאינם מסווגים ולא שכותרתו. זה בניגוד מודלים קונבנציונאלי NLP כגון word2vec ו GloVe, אשר מייצרים מילה אחת, ללא הקשר הטבעה מילה (ייצוג מתמטי של מילה) עבור כל מילה אוצר המילים שלהם.
ברט לומד מודל יחסים בין משפטים על ידי הימנעות על משימה שיכולה להיות שנוצר מכל קורפוס, כתב דוולין צ 'אנג. זה בונה על שנאי של Google , קוד פתוח ארכיטקטורת רשת עצבית המבוססת על מנגנון תשומת לב עצמית זה אופטימיזציה עבור NLP. ( במאמר שפורסם בשנה שעברה , גוגל הראתה כי טרנספורמר ביצועים טובים יותר על מודלים קונבנציונליים באנגלית לגרמנית ולאנגלית לצרפתית, תוך דרישה לחישוב פחות).