Informacja

OpenAI wreszcie wypuszcza model GPT2 o wartości 1,5 miliarda parametrów

OpenAI wreszcie wypuszcza model GPT2 o wartości 1,5 miliarda parametrów

We wtorek OpenAI udostępnił swoją ostateczną wersję etapową 1,5 miliarda parametrów modelu językowego GPT-2. Wszystkie powiązane wagi kodu i modelu zostały zawarte w poście na blogu.

Kiedy OpenAI po raz pierwszy wypuściło GPT-2 w lutym tego roku, pojawiły się obawy dotyczące jego potencjalnego niewłaściwego użycia. W tym momencie firma postanowiła powstrzymać się od udostępniania kodu modelu językowego i zestawu danych szkoleniowych.

Po miesiącach analizowania szczegółów GPT-2, OpenAI zdecydowało, że nadszedł czas, aby umożliwić dalsze badania i zrozumienie syntetycznego tekstu. Stąd decyzja o udostępnieniu parametrów modelu.

ZWIĄZANE Z: OPENAI GPT2 TERAZ PISUJE STRESZCZENIA W PAPIERZE NAUKOWYM

Co OpenAI zauważyło w przypadku GPT-2?

Jest całkiem jasne, w jaki sposób system, który tworzy algorytmy do uzupełnienia całego tekstu lub zdania, może zostać niewłaściwie wykorzystany. Przychodzą na myśl fałszywe wiadomości, wśród innych nikczemnych zastosowań tekstu generowanego przez sztuczną inteligencję.

Udostępniamy model GPT-2 o wartości 1,5 miliarda parametrów jako część naszej strategii publikowania etapów.
- Model wykrywania wyjścia GPT-2: https://t.co/PX3tbOOOTy
- Badania partnerów dotyczące potencjalnych złośliwych zastosowań: https://t.co/om28yMULL5
- Więcej szczegółów: https://t.co/d2JzaENikspic.twitter.com/O3k28rrE5l

- OpenAI (@OpenAI) 5 listopada 2019

Wstrzymywanie kodu swojego modelu językowego i zbioru danych szkoleniowych było sprzeczne z tym, w co wierzył OpenAI. Jednak ze względów bezpieczeństwa postanowili to zrobić i nadal chcieli znaleźć sposób na udostępnienie informacji.

Tak więc w ciągu ostatnich dziewięciu miesięcy OpenAI obserwowało GPT-2, aby upewnić się, że mogą bezpiecznie udostępniać swój kod i wagi modeli. Firma poczyniła następujące spostrzeżenia:

  1. Ludzie uważają wyjścia GPT-2 za przekonujące.
  2. GPT-2 można dostosować do niewłaściwego użycia.
  3. Wykrywanie jest trudne.
  4. Jak dotąd nie widzieliśmy mocnych dowodów nadużycia.
  5. Potrzebujemy standardów studiowania uprzedzeń.

Niezależnie od tego, czy udostępniono zestaw danych szkoleniowych dla konkretnego zadania, GPT-2 nadal był w stanie generować oszałamiająco dobre tłumaczenie maszynowe, odpowiadanie na pytania, czytanie ze zrozumieniem i podsumowanie.

Udostępniając swój model GPT-2, OpenAI powiedział, że robi to, aby „wspomóc badania nad wykrywaniem syntetycznego tekstu, chociaż pozwala to adwersarzom na lepsze unikanie wykrywania”.

Czy możesz powiedzieć, który tekst jest generowany przez sztuczną inteligencję, a który nie?

Przetestowaliśmy generator tekstu „Porozmawiaj z Transfomerem”, aby przekonać się na własne oczy i byliśmy pod wrażeniem!

- Hugging Face (@huggingface) 5 listopada 2019 r

Czy możesz powiedzieć, gdzie GPT-2 zaczyna generować tekst w następnym akapicie?

„Odsuwając na bok wszelkie obawy technologiczne, nowo wydany pełnowymiarowy transformator GPT-2 bez wątpienia będzie hitem wśród tłumu technologicznego. Nowy transformator będzie również dostępny w mniejszej pojemności, aby zrobić miejsce w większym GPT-1”.

Podpowiemy. Jest gdzieś w drugiej linii. Co zadziwiające, bez większej zachęty GPT-2 przedstawił cały i dość konkretny tekst, który wyglądał następująco:

„Nowy transformator GPT-2 ma 4 styki (zamiast 5) i mniejszą rezystancję przy 1400 omach w porównaniu z 1500 omami, dzięki czemu jest kompatybilny ze wszystkimi standardowymi urządzeniami audio. Słyszałem szepty, że nowszy GPT-2 będzie w stanie aby zapewnić taką samą ilość prądu jak GPT-1. Nie mam żadnych informacji na temat nowego transformatora GPT-2, więc nie mogę potwierdzić ani zaprzeczyć temu stwierdzeniu. "

Przekonaj się, co potrafi tutaj transformator GPT-2.


Obejrzyj wideo: GPT Tutorial - Get started with AI today (Styczeń 2022).