GANsの基礎となるアイデアは、写真の統計情報を機械に入力することで、独自に写真を生成させるというものだった。酔っ払ったグッドフェローは当初、それはうまくいかないと言った。考慮すべき統計値があまりにも多すぎ、それらをすべて記録することはできない、と。しかし彼はすぐに、もっといい方法があることに気づいた。ニューラルネットワークが、リアルな写真の生成方法を機械に教えることができるはずだと思ったのだ。
ニューラルネットワークは、写真の顔認識から話し言葉の理解に至るまで、膨大な量のデータを分析することで課題を学習する複雑な数学的システムである。グッドフェローはバーで立ったままこう考えた。あるニューラルネットワークが、リアルな写真を生成する方法を学ぶ。そして2つ目のニューラルネットワークが「敵対者」（adversary）として画像が偽物かどうかを判断しようとすることで、判断するための知識をはじめのニューラルネットワークに与えることができるはずだと。最終的には、本物と見分けのつかない画像を生成する方法をはじめのニューラルネットワークに教えることができると彼は言った。
議論は続いた。グッドフェローの友人たちは、彼の方法もうまくいかないに違いないと譲らなかった。彼はその夜、家に帰ってGANsをつくることにした。「まだ酔っ払ったまま家に帰りました。ガールフレンドはすでに眠っている時間でしたね。わたしは座って、友人たちの考えは間違っているはずだと考えていました」。彼はその時のことを思い起こす。「そしてわたしは、遅い時間までノートパソコンでGANsのコードを書いたのです」。プログラムは、はじめからうまくいった。「本当に幸運でした」と彼は言う。「もしそこでうまくいっていなかったら、わたしはそのアイデアを諦めていたかもしれないからです」