OpenAI Adds NSA Chief

Adrachin:

Übersetze diesen Beitrag in Deutsch:

Forwarded this email? Subscribe here for more

Why OpenAI added an NSA Chief to their board
Is ‘The Project’ on?
MIKE GIOIA
JUN 24

READ IN APP

OpenAI has a genius for producing headlines that feel lifted from a dystopian sci-fi movie. Their latest announcement is no exception: OpenAI appoints former NSA chief to their board.

It’s the kind of sentence that gives you pause. And it’s easy to frame the news cynically. The internet commentariat certainly did.

Edward Snowden’s response to the news.

Famed data felon Kim Dotcom’s reaction to the news.
In short, many people made the logical assumption that OpenAI plus the NSA equals creepy data collection and citizen monitoring. If true, the news is just the latest PR gaffe from a company that seems unable to ‘read the room’.

My understanding is a little different.

Situational Awareness
A few weeks ago an essay called Situational Awareness rippled across AI research circles as the latest and best-written addition in the literature of “AI might doom everyone”. It’s 136 pages long, but the argument is pretty simple.

AGI (Artificial General Intelligence) could arrive as soon as 2027, with ASI (Artificial Super Intelligence) to follow within a year.

This technology will have such national security importance that sophisticated state actors (i.e. China, Russia, and the usual suspects) will make it a priority to steal the research and develop it themselves.

Therefore AGI research will necessarily become a National Security matter and move toward something resembling the Manhattan Project with significant government involvement.

And then, The Project will be on.

I skipped a lot of the paper’s detail (you can read a 20-page summary here), but it’s easy to keep the shape of the argument intact: AI models powerful enough to tip the balance of global power may be coming soon. Therefore governments will get involved in their development.

Scott Aaronson, a verifiably superior blogger to me, gives his own summary:

We’re still treating [AI] as a business and technology story like personal computing or the Internet, rather than also a national security story like the birth of nuclear weapons. And we’re still indexing on LLMs’ current capabilities (“fine, so they can pass physics exams, but they still can’t do original physics research“), rather than looking at the difference between now and five years ago, and then trying our best to project forward an additional five year. […] The development of frontier AI models will inevitably be nationalized, once governments wake up to the implications, so we might as well start planning for that now.

Of course, all this is conjecture. Not fact. But it’s one of those ‘the smartest people you know are taking it very seriously’ situations reminiscent of certain Internet forums circa 2020. The author, Leopold Aschenbrenner, is a genuine wunderkind and a former member of OpenAI’s Superalignment team (the department responsible for figuring out how to control super intelligent AI).

Experts are debating many points of the paper, especially the speed of AI development. I’d like to mega-stress that to any casual reader of this post.

Many disagree with fast AI development timelines.
But other points are finding little pushback. Such as:

China will want super powerful AI before anyone else.

The US will not want China to get super powerful before anyone else

Quirky San Francisco startups aren’t really equipped to deter international espionage.

Private companies may seek odd bedfellows if it comes with unlimited money and electricity.

Pledge your support

Is the Project on?
So what’s the deal with appointing former NSA chief Paul Nakasone to the board?

Officially OpenAI tapped Nakasone to address how AI can be used in cybersecurity. A wonderfully broad phrase that tells us absolutely nothing.

To me the appointment gestures to Aschenbrenner’s argued scenario. His arguments have circulated in idea form before they circulated in 136-page essay form. Which is to say, AI researchers are aware of them.

It’s worth mentioning Leopold Aschenbrenner was fired from OpenAI’s Superalignment team earlier this month. Ostensibly, he was canned for ‘leaking information’, though he claims he was fired for circulating an internal memo about security concerns without proper approval from executives. He also did not sign the employee letter that called for Sam’s reinstatement as CEO during the November board crisis. In any event, his arguments may have been appreciated internally even if he wasn’t personally.

So why did OpenAI appoint a former NSA Chief? We can make some guesses of increasing intrigue and existential consequence:

OpenAI wants to get juicy cybersecurity & government contracts, so hired a former NSA chief in a totally typical example of the revolving door between government and industry.

OpenAI wants to improve its security against state espionage, so hired a former NSA chief who knows about the state of the art.

OpenAI wants to help the government spy on people, so hired a former NSA chief who’s really good at that.

OpenAI wants to team up with the government to start an AGI Manhattan project.

My opinion is two, with a whiff of four.

In the short-term, OpenAI appreciates that they’re in a global spotlight and recognizes the value of an ex-US intelligence officer who understands the threat landscape of foreign espionage.

In the long-term, OpenAI appreciates that a former NSA chief on the board is a valuable asset in opening the door to government involvement.

For some observers, this looks like the first step of The Project.

In other words. Watch this space.

LiquidGPT:

Weitergeleitet diese E-Mail? Abonnieren Sie hier für mehr

Warum OpenAI einen NSA-Chef in ihr Board aufgenommen hat
Ist “Das Projekt” am Laufen?
MIKE GIOIA
24. JUNI

IN DER APP LESEN

OpenAI hat ein Talent dafür, Schlagzeilen zu produzieren, die direkt aus einem dystopischen Sci-Fi-Film stammen könnten. Ihre neueste Ankündigung ist da keine Ausnahme: OpenAI ernennt ehemaligen NSA-Chef in ihr Board.

Das ist eine Art von Nachricht, die einen innehalten lässt. Und es ist leicht, die Neuigkeit zynisch zu betrachten. Die Internet-Kommentatoren taten es sicherlich.

Edward Snowdens Reaktion auf die Nachricht.

Die Reaktion des berüchtigten Datenkriminellen Kim Dotcom auf die Nachricht.
Kurz gesagt, viele Leute zogen die logische Schlussfolgerung, dass OpenAI plus NSA gleich gruselige Datenerfassung und Bürgerüberwachung bedeutet. Wenn das wahr ist, wäre dies nur der neueste PR-Fehler von einem Unternehmen, das scheinbar unfähig ist, “den Raum zu lesen”.

Mein Verständnis ist ein wenig anders.

Situationsbewusstsein
Vor einigen Wochen machte ein Essay namens “Situational Awareness” die Runde in den Kreisen der KI-Forschung als die neueste und bestgeschriebene Ergänzung in der Literatur über “KI könnte alle verdammen”. Er ist 136 Seiten lang, aber das Argument ist ziemlich einfach.

AGI (Artificial General Intelligence) könnte bereits 2027 eintreffen, mit ASI (Artificial Super Intelligence) in einem Jahr darauf.

Diese Technologie wird eine solche Bedeutung für die nationale Sicherheit haben, dass raffinierte staatliche Akteure (z.B. China, Russland und die üblichen Verdächtigen) es zu ihrer Priorität machen werden, die Forschung zu stehlen und selbst zu entwickeln.

Daher wird die AGI-Forschung zwangsläufig zu einer Angelegenheit der nationalen Sicherheit und sich in etwas verwandeln, das dem Manhattan-Projekt ähnelt, mit erheblicher staatlicher Beteiligung.

Und dann wird das Projekt am Laufen sein.

Ich habe viele Details des Papiers übersprungen (eine 20-seitige Zusammenfassung können Sie hier lesen), aber es ist leicht, die Form des Arguments intakt zu halten: KI-Modelle, die stark genug sind, um das Gleichgewicht der globalen Macht zu kippen, könnten bald kommen. Daher werden Regierungen an ihrer Entwicklung beteiligt sein.

Scott Aaronson, ein nachweislich überlegener Blogger im Vergleich zu mir, gibt seine eigene Zusammenfassung:

Wir behandeln [KI] immer noch als eine Geschäfts- und Technologiegeschichte wie Personal Computing oder das Internet, anstatt auch als eine nationale Sicherheitsgeschichte wie die Geburt von Nuklearwaffen. Und wir orientieren uns immer noch an den aktuellen Fähigkeiten der LLMs („gut, sie können Physikprüfungen bestehen, aber sie können immer noch keine originäre Physikforschung betreiben“), anstatt den Unterschied zwischen jetzt und vor fünf Jahren zu betrachten und dann unser Bestes zu geben, um weitere fünf Jahre in die Zukunft zu projizieren. […] Die Entwicklung von fortschrittlichen KI-Modellen wird zwangsläufig nationalisiert werden, sobald Regierungen die Implikationen erkennen, also können wir genauso gut jetzt mit der Planung beginnen.

Natürlich ist all dies Spekulation. Keine Tatsache. Aber es ist eine dieser Situationen, in denen „die klügsten Leute, die man kennt, es sehr ernst nehmen“, die an bestimmte Internetforen um 2020 erinnern. Der Autor, Leopold Aschenbrenner, ist ein echtes Wunderkind und ehemaliges Mitglied von OpenAIs Superalignment-Team (das Department, das dafür verantwortlich ist, herauszufinden, wie man superintelligente KI kontrollieren kann).

Experten debattieren viele Punkte des Papiers, insbesondere die Geschwindigkeit der KI-Entwicklung. Ich möchte dies für jeden gelegentlichen Leser dieses Beitrags ausdrücklich betonen.

Viele sind nicht einverstanden mit schnellen KI-Entwicklungszeitleisten.
Aber andere Punkte stoßen auf wenig Widerspruch. Zum Beispiel:

China wird supermächtige KI vor allen anderen haben wollen.

Die USA werden nicht wollen, dass China supermächtig wird, bevor sie es tun.

Exzentrische Startups aus San Francisco sind wirklich nicht in der Lage, internationale Spionage abzuschrecken.

Private Unternehmen könnten sich seltsame Partner suchen, wenn es unbegrenztes Geld und Strom gibt.

Unterstützen Sie uns

Ist das Projekt am Laufen?
Was hat es also mit der Ernennung des ehemaligen NSA-Chefs Paul Nakasone in das Board von OpenAI auf sich?

Offiziell hat OpenAI Nakasone berufen, um zu erörtern, wie KI im Bereich der Cybersicherheit eingesetzt werden kann. Eine wunderbar breite Phrase, die uns absolut nichts sagt.

Für mich weist die Ernennung auf das von Aschenbrenner argumentierte Szenario hin. Seine Argumente kursierten in Ideenform, bevor sie in Essayform mit 136 Seiten kursierten. Das heißt, KI-Forscher sind sich ihrer bewusst.

Es ist erwähnenswert, dass Leopold Aschenbrenner Anfang dieses Monats aus dem Superalignment-Team von OpenAI entlassen wurde. Angeblich wurde er wegen „Leaken von Informationen“ gefeuert, obwohl er behauptet, dass er wegen der Verbreitung eines internen Memos über Sicherheitsbedenken ohne ordnungsgemäße Genehmigung der Führungskräfte entlassen wurde. Er hat auch den Mitarbeiterbrief nicht unterschrieben, der während der Vorstandskrise im November Sams Wiedereinsetzung als CEO forderte. In jedem Fall könnten seine Argumente intern geschätzt worden sein, auch wenn er persönlich nicht geschätzt wurde.

Warum also hat OpenAI einen ehemaligen NSA-Chef berufen? Wir können einige Vermutungen von zunehmender Intrige und existenzieller Konsequenz anstellen:

OpenAI möchte saftige Cybersicherheits- und Regierungsverträge bekommen und hat daher einen ehemaligen NSA-Chef eingestellt, in einem völlig typischen Beispiel für die Drehtür zwischen Regierung und Industrie.

OpenAI möchte seine Sicherheit gegen staatliche Spionage verbessern und hat daher einen ehemaligen NSA-Chef eingestellt, der sich mit dem Stand der Technik auskennt.

OpenAI möchte der Regierung helfen, Menschen auszuspionieren, und hat daher einen ehemaligen NSA-Chef eingestellt, der darin wirklich gut ist.

OpenAI möchte sich mit der Regierung zusammenschließen, um ein AGI-Manhattan-Projekt zu starten.

Meine Meinung ist zwei, mit einem Hauch von vier.

Kurzfristig erkennt OpenAI, dass sie im globalen Rampenlicht stehen und schätzt den Wert eines ehemaligen US-Geheimdienstoffiziers, der die Bedrohungslandschaft durch ausländische Spionage versteht.

Langfristig erkennt OpenAI, dass ein ehemaliger NSA-Chef im Board ein wertvolles Asset ist, um die Tür zur Regierungsbeteiligung zu öffnen.

Für einige Beobachter sieht dies aus wie der erste Schritt des Projekts.

Mit anderen Worten: Beobachten Sie diesen Raum.