Chat GPT Test - Problem

Hallo, wir haben heute mal kurz einen Chat GPT Flow getestet.

Aufbau wie folgt:

1. CSV Reader - dabei wurde eine CSV mit Excel erstellt.

Spalte 1: Identifier (1,2,3,4,5,6…)
Spalte 2: Keyword (Schlauch, Schlauchschelle, …)

Die Liste hat 100 Zeilen / 100 Keywords


2. OpenAIAskAnythingBatch

ID = unser Identifier (aus Input CSV)

Command = „Schreibe zu diesem Keyword einen Titel und erstelle zu diesem Keyword und Thema einen umfangreichen optimierten Blogartikel mit Absätzen und Unterüberschriften zu jedem Unterthema. Zu jedem Thema soll auch ein FAQ erstellt werden. Formatiere anschließend alles in HTML. Der Titel soll in H1 sein und Unterüberschriften in H2.“

Promt = Keyword (aus Input CSV)

Wenn ich von dem OpenAiBatchAskAnything die Vorschau angucke, dann scheint auch alles korrekt zu funktionieren (result ist ein Spreadsheet, wo das ganze ausgegeben werden soll und wird hier auch korrekt angezeigt)


3. Mapper

Hier werden einfach nur die Daten quasi eingelesen und eine überflüssige Spalte gelöscht für den Test. Hier bei dem Mapper kriegen wir allerdings keine Vorschau hin. Außer die gelöschte Spalte und zwei Änderungen der Überschriftsnamen wurde hier nichts gemacht.


4. GoogleSpreadSheetUpdate

Nun sollen die Werte aus dem Mapper, einfach an ein Spreadsheet übertragen werden. Einfach nur ein kleiner Test.

Wenn wir den Flow nun ausführen, dann lädt das ganze Ewig. Bis wir es irgendwann abbrechen. Die „Laufzeit“ steht aber die ganze Zeit bei „0“.

Im Chat GPT Backend, sehen wir allerdings, dass die ganze Zeit exorbitante Abfragen stattfinden. Es handelt sich einfach nur um eine kleine CSV Liste und wir sehen Zahlen, die gar nicht sein können. Machen wir was falsch, oder was ist da los - das ist ja der Wahnsinn.

16:25

Local time: 15. März 2023, 17:25

text-davinci, 33 requests

4,401 prompt + 6,599 completion = 11,000 tokens

16:30

Local time: 15. März 2023, 17:30

text-davinci, 34 requests

4,564 prompt + 6,800 completion = 11,364 tokens

16:35

Local time: 15. März 2023, 17:35

text-davinci, 26 requests

3,449 prompt + 5,200 completion = 8,649 tokens

16:40

Local time: 15. März 2023, 17:40

text-davinci, 31 requests

4,119 prompt + 6,200 completion = 10,319 tokens

16:45

Local time: 15. März 2023, 17:45

text-davinci, 21 requests

2,796 prompt + 4,200 completion = 6,996 tokens

16:50

Local time: 15. März 2023, 17:50

text-davinci, 32 requests

4,266 prompt + 6,400 completion = 10,666 tokens

16:55

Local time: 15. März 2023, 17:55

text-davinci, 33 requests

4,397 prompt + 6,600 completion = 10,997 tokens

Hier nochmal:

Die Abfrage bei euch

Chat GPT

Geplant für: 2023-03-15 18:28

Gestartet um: 2023-03-15 18:28

RunID: d4a8f69c-c356-11ed-88a6-901b0ea49fee

gestartet durch: Manuelle Ausführung

Läuft seit: 11min 33s

Traffic (In / Out): 0 (0 / 0)

# Calls: 0
# Activities: 0


Und bei Chat GPT wieder tausende von Tokens :smiley: - jemand eine Idee? Nicht ein einziges Wort in unserem Output Sheet, haha.

Das wird sich morgen umgehend jemand anschauen. Wir melden uns.

Bitte nochmal im Step speichern drücken. Es sollte jetzt eine Option max_tokens auftauchen, womit man die Tokens begrenzen kann. Mit dem Limit-Feld im OpenAIChatGPTBatch kann man die Anzahl Zeilen begrenzen.

Ggf. zuerst die Anfrage mit dem Step OpenAIChatGPT testen. Damit kann man eine einzelne Anfrage zum Testen hinschicken.

Edit: Nur als Hinweis: die Anzahl Token bezieht sich auf die Anzahl Token die ChatGPT erzeugt. Ein Token ist ca. ein Wort. Ein umfangreicher Text wie in der obigen Anfrage kann schnell viele Token verbrauchen.

Vielen Dank. Aber wenn ich da jetzt etwas einstelle, bricht das dann nicht ab? Ich hatte mich nur gewundert, dass selbst nach 15 Minuten quasi nichts in meinem Sheet ankam.

Wenn ich da jetzt ein limit einstelle, dann wird es doch nicht klappen, oder? Mit den Zeilen meint ihr, dass die Anfrage ansonsten „unendlich“ Zeilen abfragen würde und ich dort soviele eintragen soll, wie das File hat? Deswegen ist es vermutlich so krass lange durchgelaufen?

Also die Abarbeitung der Steps ist so, dass das Schreiben erst passiert, wenn der ChatGPT Step alle 100 abgefragt hat. Auch andere Dinge wie Traffic usw. werden erst am Ende ermittelt.

Also je nachdem wie lange die API antwortet kann das dauern. Wir haben noch wenige Erfahrungswerte bzgl. ChatGPT API, aber auch das „normale“ ChatGPT braucht eine Weile zum Antworten. 15 Minuten für 100 Fragen + Antworten klingt jetzt nicht so sehr viel, wenn die Antworten entsprechend lang sind. Evtl. geht es schneller wenn man die max_tokens kleiner einstellt, da dann auch die Antworten kürzer ausfallen.

Empfehlung: erstmal mit einem kleinen Spreadsheet mit 3-5 Zeilen testen und dann hochrechnen.

Limits gibt es an verschiedenen Stellen: z.B: hat der CSVReader ein Limit, womit man die Anzahl Zeilen begrenzen kann, die eingelesen werden.

Der ChatGPT Step hat 2 Einstellungen zum limitieren:

  • limit zum begrenzen der ausgehenden API-Calls
  • und max_tokens zum Begrenzen der Anzahl Tokens (quasi Worte), die ChatGPT pro Antwort verwendet

Daher die Empfehlung erst klein zu testen und wenn es klappt, dann schrittweise zu erhöhen.