Neues Feature: OTA-Update via WebGUI

biologist · 7. Dezember 2022 um 15:13

In deinem Projektverzeichnis gibt es einen Unterordner .pio. Dort ist build drin und da findest du die firmware.

Christian · 6. Januar 2023 um 08:14

Ich hab mich jetzt noch einmal mit OTA beschäftigt und würde hier gerne noch einmal die Dinge zusammenfassen und um Unterstützung bitten:

OTA

Wenn OTA zur Verfügung steht (8 MB Flash), existieren zwei App-Partitionen im Flash-Speicher (OTA0 und OTA1).
Zusätzlich existiert eine OTA-Data-Partition, in welcher (u.a.) gespeichert wird, welche App-Partition gerade aktiv ist.
Bei einem OTA-Update wird die jeweils nicht verwendete OTA-Partition mit der neuen Software beschrieben und anschliessend wird diese als „aktiv“ markiert.
Nach eine Reboot wird die neue Software gestartet.
Das funktioniert immer im Wechsel und somit kann entweder OTA0 oder OTA1 die gerade aktive App-Partition sein,

OTA-Bug

Bei einem Update über USB/Seriell wird IMMER die App-Partition OTA0 beschrieben.
Wenn nun - durch vorherige OTA-Updates - OTA1 gerade die aktive App-Partition ist, wird weiterhin OTA1 gestartet.
Die per USB/Seriell aktualisierte Software wird nicht gestartet.

Lösungen

„Erase Flash“. Damit wird alles gelöscht (auch die OTA-Data-Partition) und somit auch wieder von OTA0 gestartet. Nachteil: Es wird alles gelöscht…
esptool.py erase_region 0x9000 0x2000 Löscht nur die OTA-Data-Partition. Wobei „0x9000“ evtl.angepasst werden muss. Das ist die Startadresse der OTA-Data-Partition.

To do:

Bei einem einfachen OTA Sketch (OTA Demo) tritt das Problem nicht auf. Dann wird (vom esptool) die aktive Partition wieder zurück auf OTA0 gesetzt.
- esptool and OTA conflict - ESP32 Forum > As you’ve noticed, the default flasher commands in master branch now erase the ota_data partition and flash the default partition (factory or OTA slot 0 if no factory partition is present) each time. This will be in the V3.2 release.
- Vermutung: Bei Verwendung einer angepassten Partitionskonfiguration (z.B. custom_8mb_ota.csv) wird die OTA-Data-Partition nicht angefasst.
PlatformIO „PreAction Script“ schreiben, um „erase_region“ automatisch ausführen zu lassen. OTADATA not reset on code upload for ESP32 - PlatformIO Community
- Hier müsste man am besten prüfen, ob OTA verwendet wird und wenn ja, welche Adresse die OTA-Data-Partition hat.
Ich hab’ zum debuggen die Funktionen esp_ota_get_boot_partition() und esp_ota_get_running_partition() eingebunden. So kann man sehen, welche App-Partition gerade aktiv ist. → Könnte man auch im Web-UI anzeigen.
- Man könnte im der Web-UI sogar die aktive Partition wechseln
Ergänzungen / Korrekturen / Vorschläge ?
Python - Spezis hier um das PlatformIO Script zu erstellen?

biologist · 6. Januar 2023 um 08:27

Da rufe ich mal @fetzerch

fetzerch · 6. Januar 2023 um 12:06

Sowas in etwa?

github.com/biologist79/ESPuino

platformio: Erase OTA partition before upload

biologist79:master ← fetzerch:ota-erase

opened 12:04PM - 06 Jan 23 UTC

fetzerch

+37 -0

Erases the OTA partition before flashing, this ensures that the software flashed… via USB will be booted and not an older OTA version. See discussion in https://forum.espuino.de/t/neues-feature-ota-update-via-webgui/538/32 For now this is just an initial attempt that works in the good case. TODOs: - [ ] Execute only for environments with OTA support. - [ ] Deal with empty boards that don't have the OTA partition.

Ich nutze im Moment kein OTA. Gerne testen und feedback geben. Habe auch nichts dagegen, wenn jemand anders den PR übernimmt und fertig macht.

Christian · 9. Januar 2023 um 19:36

Danke @fetzerch - ich teste das gerne in dieser Woche.

Christian · 21. Januar 2023 um 09:42

Ich bin jetzt endlich dazu gekommen das zu testen.

Sieht in meiner Umgebung sehr gut aus! Die OTA Partition wird gelöscht und immer von der app0 gestartet.
Bei den beiden Todo’s im PR kann ich leider nicht helfen. Ich habe versucht den code in otatool.py zu verstehen. Ich würde meinen, dass vorab eine Prüfung stattfindet. Kann man das nicht so lassen?

github.com

espressif/esp-idf/blob/e7ca2f2622cd9e1173218c5cb2ec32c946d69b5d/components/app_update/otatool.py#L63


      
                  with open(temp_file.name, 'rb') as f:
                      self.otadata = f.read()
              finally:
                  os.unlink(temp_file.name)
          
          
def _check_otadata_partition(self):
              if not self.otadata:
                  raise Exception('No otadata partition found')
          
          
def erase_otadata(self):
              self._check_otadata_partition()
              self.target.erase_partition(OtatoolTarget.OTADATA_PARTITION)
          
          
def _get_otadata_info(self):
              info = []
          
          
    otadata_info = collections.namedtuple('otadata_info', 'seq crc')
          
          
    for i in range(2):
                  start = i * (self.spi_flash_sec_size >> 1)

Ich habe in diesem Zusammenhang noch ein paar Anpassungen für OTA gemacht:

Evtl. bekommt man damit auch die weiter oben beschriebenen Probleme in den Griff.
Es wird damit im Log (und in der WebUI unter Info) angezeigt, von welcher OTA-Partition gestartet wurde:

[ 586 ]  Software-revision: 20230108-1
[ 586 ]  Git-revision: 411d98a-dirty
[ 596 ]  ESP-IDF version: v4.4.3
[ 603 ]  OTA-Info: Running: app1 | Boot: app1 | Next-OTA: app0

compactflash · 10. Februar 2023 um 09:54

Ich benutze meinen Espuino hauptsächlich als „Frühstücksradio“ . Dazu habe ich eine .m3u mit 10 Streams.
@biologist Ist es machbar beim Abspielen von m3u-Listen mittels der Tasten vor und zurück über die Endpunkte in beide Richtungen hinauszurollen ?
Ich meine von 1 ans Ende und vom Ende wieder zu 1. Das würde den Weg von z. Bsp. Antenne Bayern bis WDR2 deutlich verkürzen.
Ich weiß , langer Tastendruck geht auch…aber Faulheit und WAF.

biologist · 12. Februar 2023 um 09:54

Das müsste gehen, indem du in nachfolgendem Case noch die Zeile
gPlayProperties.repeatPlaylist = true; einfügst:

github.com

biologist79/ESPuino/blob/1f12dc3c7dfac6018067bfc817f1bf9df7ce28d0/src/AudioPlayer.cpp#L1012


      
          			if (Wlan_IsConnected()) {
          				xQueueSend(gTrackQueue, &(musicFiles), 0);
          			} else {
          				Log_Println((char *) FPSTR(webstreamNotAvailable), LOGLEVEL_ERROR);
          				System_IndicateError();
          				gPlayProperties.playMode = NO_PLAYLIST;
          			}
          			break;
          		}
          
          		case LOCAL_M3U: { // Can be one or multiple SD-files or webradio-stations; or a mix of both
          			Log_Println((char *) FPSTR(modeWebstreamM3u), LOGLEVEL_NOTICE);
          			xQueueSend(gTrackQueue, &(musicFiles), 0);
          			break;
          		}
          
          		default:
          			Log_Println((char *) FPSTR(modeDoesNotExist), LOGLEVEL_ERROR);
          			gPlayProperties.playMode = NO_PLAYLIST;
          			System_IndicateError();
          	}

In diesem Fall sollte dann das hier greifen:

github.com

biologist79/ESPuino/blob/1f12dc3c7dfac6018067bfc817f1bf9df7ce28d0/src/AudioPlayer.cpp#L447


      
          						gPlayProperties.pausePlay = false;
          					}
          					if (gPlayProperties.repeatCurrentTrack) { // End loop if button was pressed
          						gPlayProperties.repeatCurrentTrack = false;
          						#ifdef MQTT_ENABLE
          							publishMqtt((char *) FPSTR(topicRepeatModeState), AudioPlayer_GetRepeatMode(), false);
          						#endif
          					}
          					// Allow next track if current track played in playlist isn't the last track.
          					// Exception: loop-playlist is active. In this case playback restarts at the first track of the playlist.
          					if ((gPlayProperties.currentTrackNumber + 1 < gPlayProperties.numberOfTracks) || gPlayProperties.repeatPlaylist) {
          						if ((gPlayProperties.currentTrackNumber + 1 >= gPlayProperties.numberOfTracks) && gPlayProperties.repeatPlaylist) {
          							gPlayProperties.currentTrackNumber = 0;
          						} else {
          							gPlayProperties.currentTrackNumber++;
          						}
          						if (gPlayProperties.saveLastPlayPosition) {
          							AudioPlayer_NvsRfidWriteWrapper(gPlayProperties.playRfidTag, *(gPlayProperties.playlist + gPlayProperties.currentTrackNumber), 0, gPlayProperties.playMode, gPlayProperties.currentTrackNumber, gPlayProperties.numberOfTracks);
          							Log_Println((char *) FPSTR(trackStartAudiobook), LOGLEVEL_INFO);
          						}
          						Log_Println((char *) FPSTR(cmndNextTrack), LOGLEVEL_INFO);

compactflash · 12. Februar 2023 um 11:48

Prinzipiell geht es , aber manchmal ein Reboot

Rebooting…
ets Jul 29 2019 12:21:46

biologist · 17. Februar 2023 um 13:58

Inzwischen funktioniert das aber fehlerfrei, oder?
Ich gehe davon aus, dass der Reboot durch den Fehler mit der falschen LED-Adressierung (mitunter 255) passiert ist.

compactflash · 17. Februar 2023 um 15:01

Ist ok, ich hatte nichts mehr

biologist · 24. Februar 2023 um 12:56

Ich habe das leider noch wie vor nicht getestet, aber werde schauen, dass ich das in der nächsten Woche endlich mal hinkriege. Ist auf jeden Fall wichtig, dass OTA stabil funktioniert.

compactflash · 11. April 2023 um 15:53

Ich hatte gestern wieder diesen OTA-Bug. Ich habe dann den commit von @fetzerch installiert, klappte ausgezeichnet.
Damit kann ich leben , sind die 2 todo´s wichtig, ich kann das nicht einschätzen? Wäre schön wenn das in den Master kommt.

Joe91 · 11. April 2023 um 16:35

Ich kann schlecht einschätzen um welche inkompatible Hardware es sich handelt und was das Problem wäre, wenn das auf dieser Hardware angewendet wird.
Ich kann auch nur bestätigen, dass diese Änderung bei mir super funktioniert…

fetzerch · 11. April 2023 um 19:15

Ich denke es wäre halt gut, wenn wir die 2 von mir beschriebenen potentiellen Fehlerquellen ausschließen können.

Es bräuchte also jemanden, der den PR (platformio: Erase OTA partition before upload by fetzerch · Pull Request #190 · biologist79/ESPuino · GitHub) auf einem Board ohne OTA support testen könnte. Sollte das Pre-Upload-Script hier Probleme machen, dann müssen wir das in der platformio.ini eben nur bei Boardkonfigurationen eintragen die OTA unterstützen.

Das zweite Problem könnten auftreten, wenn jemand ein komplett frisches Devboard flasht. Da gibt es ja dann keine OTA Partition - und ich bin mir nicht sicher was dann passiert. Das könnte vielleicht am ehesten @biologist selbst probieren.

EDIT: Ein dritter Test wäre vielleicht ob das ganze unter Windows auch funktioniert.

Wenn das klappt können wir das Script dann auch nach master oder (vielleicht besser erstmal dev) mergen.

compactflash · 12. April 2023 um 08:22

@fetzerch
1.Versuch
lolin32 ==> geht so nicht

Archiving .pio/build/lolin32/libFrameworkArduino.a
Indexing .pio/build/lolin32/libFrameworkArduino.a
Linking .pio/build/lolin32/firmware.elf
Retrieving maximum program size .pio/build/lolin32/firmware.elf
Checking size .pio/build/lolin32/firmware.elf
Advanced Memory Usage is available via „PlatformIO Home > Project Inspect“
RAM: [== ] 21.6% (used 70772 bytes from 327680 bytes)
Flash: [====== ] 58.9% (used 2277813 bytes from 3866624 bytes)
Building .pio/build/lolin32/firmware.bin
esptool.py v4.5
Creating esp32 image…
Merged 25 ELF sections
Successfully created esp32 image.
before_upload([„upload“], [„.pio/build/lolin32/firmware.bin“])
Performing pre-upload erase of OTA partition…
scons: *** [upload] CalledProcessError : Command ‚[‘/Users/willmar/.platformio/penv/bin/python’, ‚/Users/willmar/.platformio/packages/framework-espidf@3.40001.200521/components/esptool_py/esptool/esptool.py‘, ‚read_flash‘, ‚32768‘, ‚3072‘, ‚/var/folders/ft/m2nh_4gn1r33tr7swjh7_y840000gn/T/tmpc90zf2qi‘]’ returned non-zero exit status 2.
Traceback (most recent call last):
File „/Users/willmar/.platformio/packages/tool-scons/scons-local-4.4.0/SCons/Action.py“, line 1318, in execute
result = self.execfunction(target=target, source=rsources, env=env)
File „/Users/willmar/Documents/PlatformIO/Projects/ESPuino-dev_multi_03_04_2023/eraseOTA.py“, line 30, in before_upload
ota_target = OtatoolTarget(env.subst(„$UPLOAD_PORT“))
File „/Users/willmar/.platformio/packages/framework-espidf@3.40001.200521/components/app_update/otatool.py“, line 56, in init
self.target = ParttoolTarget(port, baud, partition_table_offset, partition_table_file, esptool_args,
File „/Users/willmar/.platformio/packages/framework-espidf@3.40001.200521/components/partition_table/parttool.py“, line 112, in init
self._call_esptool([„read_flash“, str(partition_table_offset), str(gen.MAX_PARTITION_LENGTH), temp_file.name])
File „/Users/willmar/.platformio/packages/framework-espidf@3.40001.200521/components/partition_table/parttool.py“, line 132, in _call_esptool
subprocess.check_call(esptool_args, stdout=null_file, stderr=null_file)
File „/Library/Frameworks/Python.framework/Versions/3.10/lib/python3.10/subprocess.py“, line 369, in check_call
raise CalledProcessError(retcode, cmd)
subprocess.CalledProcessError: Command ‚[‘/Users/willmar/.platformio/penv/bin/python’, ‚/Users/willmar/.platformio/packages/framework-espidf@3.40001.200521/components/esptool_py/esptool/esptool.py‘, ‚read_flash‘, ‚32768‘, ‚3072‘, ‚/var/folders/ft/m2nh_4gn1r33tr7swjh7_y840000gn/T/tmpc90zf2qi‘]’ returned non-zero exit status 2.
================================================================================ [FAILED] Took 71.09 seconds ================================================================================

Environment Status Duration

lolin32 FAILED 00:01:11.088
=========================================================================== 1 failed, 0 succeeded in 00:01:11.088 ===========================================================================

2. Versuch

ESP32-A1S (16MB) mit erase flash gelöscht , auch dann geht es nicht .

| |-- FS @ 2.0.0
|-- Preferences @ 2.0.0
Building in release mode
Compiling .pio/build/esp32-a1s/src/Web.cpp.o
Linking .pio/build/esp32-a1s/firmware.elf
Retrieving maximum program size .pio/build/esp32-a1s/firmware.elf
Checking size .pio/build/esp32-a1s/firmware.elf
Advanced Memory Usage is available via „PlatformIO Home > Project Inspect“
RAM: [== ] 21.4% (used 70108 bytes from 327680 bytes)
Flash: [=== ] 34.5% (used 2261217 bytes from 6553600 bytes)
Building .pio/build/esp32-a1s/firmware.bin
esptool.py v4.5
Creating esp32 image…
Merged 25 ELF sections
Successfully created esp32 image.
before_upload([„upload“], [„.pio/build/esp32-a1s/firmware.bin“])
Performing pre-upload erase of OTA partition…
*** [upload] Exception : No otadata partition found
Traceback (most recent call last):
File „/Users/willmar/.platformio/packages/tool-scons/scons-local-4.4.0/SCons/Action.py“, line 1318, in execute
result = self.execfunction(target=target, source=rsources, env=env)
File „/Users/willmar/Documents/PlatformIO/Projects/ESPuino-dev_multi_03_04_2023/eraseOTA.py“, line 31, in before_upload
ota_target.erase_otadata()
File „/Users/willmar/.platformio/packages/framework-espidf@3.40001.200521/components/app_update/otatool.py“, line 76, in erase_otadata
self._check_otadata_partition()
File „/Users/willmar/.platformio/packages/framework-espidf@3.40001.200521/components/app_update/otatool.py“, line 73, in _check_otadata_partition
raise Exception(„No otadata partition found“)
Exception: No otadata partition found
================================================================================ [FAILED] Took 46.59 seconds ================================================================================

Environment Status Duration

esp32-a1s FAILED 00:00:46.588
=========================================================================== 1 failed, 0 succeeded in 00:00:46.588 ===========================================================================

The terminal process „platformio ‚run‘, ‚–target‘, ‚upload‘, ‚–target‘, ‚monitor‘, ‚–environment‘, ‚esp32-a1s‘“ terminated with exit code: 1.
Terminal will be reused by tasks, press any key to close it.

Fazit : wer es im Moment mit neuen ESP32 die noch keine OTA-Partition haben nutzen will muss die 2 Zeilen in platformio.ini für den 1. Flash deaktivieren. Bestehen die OTA-Partitionen schon geht es einwandfrei

biologist · 31. Oktober 2023 um 10:48

Ich möchte dieses Thema hier nochmal in Erinnerung rufen.

github.com/biologist79/ESPuino

platformio: Erase OTA partition before upload

biologist79:master ← fetzerch:ota-erase

opened 12:04PM - 06 Jan 23 UTC

fetzerch

+37 -0

Erases the OTA partition before flashing, this ensures that the software flashed… via USB will be booted and not an older OTA version. See discussion in https://forum.espuino.de/t/neues-feature-ota-update-via-webgui/538/32 For now this is just an initial attempt that works in the good case. TODOs: - [ ] Execute only for environments with OTA support. - [ ] Deal with empty boards that don't have the OTA partition.

Vielleicht wurde das Problem zwischenzeitlich auch anderweitig gelöst (durch Espressif).

compactflash · 31. Oktober 2023 um 10:51

Ich habe die letzte Zeit reichlich oft per OTA oder UART , ohne darauf zu achten, geflasht , es hat immer funktioniert.

biologist · 31. Oktober 2023 um 11:02

Um nochmal diejenigen abzuholen, die sich noch nicht so lange mit ESPuino beschäftigen: Man kann, siehe erster Post, Firmwares auch über das Webinterface hochladen. Geht natürlich erst, wenn sich bereits ESPuino auf dem ESP befindet.

Dabei kam es in der Vergangenheit jedoch „immer mal wieder“ zu dem Problem, dass weiterhin die alte Firmware gebootet wurde und erneute OTA-Uploads das Problem auch nicht mehr beseitigt haben. Selbst reguläres Flashen hat dies (meines Wissens) nicht mehr geändert. Sicher kam man da nur wieder durch „Erase Flash“ und erneutes Flashen raus.

Und an dieser Stelle stellt sich jetzt die Frage, ob dieses Problem beim jetzt neuen Master noch eines ist.

tueddy · 31. Oktober 2023 um 11:59

Danke für den Hinweis! Hab’s gerade hin- und hergetestet, also ein/zwei/drei/vier mal OTA-Update, dann Upload über UART. Jedes Mal wird die richtige Firmware gebootet

Das Problem hat sich also von selbst erledigt, vermutlich über einen Bugfix in PlatformIO