March 2018 - Dev - Freifunk Nordwest

Roadmap Planung
by Jan-Tarek Butt 26 May '18

26 May '18

Hi zusammen, Ich wollte meine Ideen und Pläne gerne mal vorstellen und gemeinsam mit euren eine Roadmap erarbeiten. :) Meine Pläne für das Netz und die Firmware: 1. Hoodselector fertigstellen: Aktuell fehlen noch ein paar Zustände die in den kommenden Wochen angeschlossen sein sollten. Das betrifft hauptsächlich den BATAMAN_GATEWAY mode. Z.B. das verhalten beim zurück wechseln in die Eigene hood wenn sich ein mesh Router an eine benachbarte hood gehängt hat. Siehe dazu: https://github.com/freifunk-gluon/gluon/pull/997 2. Support für L2TP VPN. Aus dem gluon upstream soll l2tp in unsere Firmware backported werden. Das ist dank der neuen Patch Möglichkeit in unserer Firmware nun relativ einfach realisierbar. 3. Router als Batman-adv Gateways Die Idee hatte ich schon länger im Kopf bin aber bisher noch nicht wirklich dazu gekommen in der Richtung was zu machen. Im Grunde ist die Idee das, leistungsfähigere Router bsp. Archer C7 einen eigenen VPN zu exit Servern aufbauen wie z.B. IPredator, HidemyAss, Tor, usw. Paralell zu den VPN soll ein weiterer VPN fastd oder l2tp die virtuelle mesh Verbindung für das interne Netz weiter zur Verfügung stellen. Vorteile bei dieser Struktur: * Es gibt deutlich mehr Exit Nodes. * Es kommt dem Dezentralen Konzept ein Stück näher. * Unser Server backbone wird entlastet (bessere lasten Verteilung). * Evtl. Technische Lösung der VDS Nachteile: * IPv4 würde in dem Konstrukt wahrscheinlich Probleme machen. Lösung könnte hier ddhcpd sein ein zurzeit experimenteller distributed dhcp Server. 4. Prof of concept erstellen für generische Layer3 Routern zwischen hoods. Hierzu habe ich mir noch keine näheren Gedanken gemacht. Aber der Titel sollte schon aussagen worum es geht. Das sind bisher nur Ideen und Vorstellungen woraus letztlich eine Roadmap entstehen kann. Ich würde mich über feadback und/oder andere Ideen Freuen :) Schöne Grüße Tarek

1 3

Sign Request 20171216
by Jan-Tarek Butt 09 Apr '18

09 Apr '18

Moin Moin leute, Ich habe heute eine neue Firmware gebaut. Basisdaten: * Firmware-Version: 20171216 * Gluon-Version: v2017.1.x * Commit ID: 2ae74fe737a45e589f85ace098fa8466dfb7927e * Download: https://firmware.ffnw.de/20171216 Folgende Comunnity spezifischen Änderungen gab es: package repo: * Paket multiple-v6-watchdog: fehlende split Funktion wurde ersetzt. Die Änderungen an unseren eigenen Paketen können im Packages-Repository hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/packages/compare/20171211..… siteconf repo: * Paket brach wechsel. Änderungen an der Siteconf können im Siteconf-Repo hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/siteconf/compare/20171211..… Ich bitte euch die Änderungen zu prüfen und die Firmware im Anschluss zu signieren. Die Dokumentation zum Signaturprozess findet ihr im Wiki unter: https://wiki.nordwest.freifunk.net/Firmware/Releaseprozess#Firmware_signier… Schöne Grüße aus Spanien Tarek

5 9

Sign Request 20170822
by Jan-Tarek Butt 09 Apr '18

09 Apr '18

Moin Moin leute, Ich habe heute eine neue Firmware gebaut. Basisdaten: * Firmware-Version: 20170822 * Gluon-Version: v2016.2.x * Commit ID: d722c2638a9f7a662ea46b74e997a3e460e70971 * Download: https://firmware.ffnw.de/20170822 Folgende Gluon spezifischen Änderungen gab es unter anderen: * Backport sysupgrade error handling fixes * prereq: backport changes to git detection to work with newer Git versions * automake: import upstream fix for perl 5.26 Die upstream Änderungen findet ihr hier: https://github.com/freifunk-gluon/gluon/compare/0d2b078...d722c2 Folgende Comunnity spezifischen Änderungen gab es: package repo: * Neues Paket "disable-11s" welches das versehentliche einschalten von IEEE802.11s wieder rückgängig macht. * Hoodselector bug: nicht abgefangener Null Index zugriff behoben danke an Lorenz https://lists.ffnw.de//pipermail/dev/2017-August/002213.html Die Änderungen an unseren eigenen Paketen können im Packages-Repository hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/packages/compare/20170629..… siteconf repo: * Autoupdater url für wechsel auf Gluon v2017.1.x angepasst. Änderungen an der Siteconf können im Siteconf-Repo hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/siteconf/compare/20170629..… Ich bitte euch die Änderungen zu prüfen und die Firmware im Anschluss zu signieren. Die Dokumentation zum Signaturprozess findet ihr im Wiki unter: https://mediawiki.ffnw.de/Firmware/Releaseprozess#Firmware_signieren Schöne Grüße Tarek

4 20

Sign Request 20180225
by Jan-Tarek Butt 04 Apr '18

04 Apr '18

Moin Moin leute, aller guten Dinge sind 3 sagt man doch so schön :P Ich habe heute eine neue Firmware gebaut. Basisdaten: * Firmware-Version: 20180225 * Gluon-Version: v2017.1.x * Commit ID: 64e0e28b24a78473d95ed7ea82ae72ed35265867 * Download-fastd: https://firmware.ffnw.de/fastd/20180225 * Download-l2tp: https://firmware.ffnw.de/l2tp/20170225 Folgende Gluon spezifischen Änderungen gab es: * add support for UBNT EdgeRouter X-SFP * add support for UBNT EdgeRouter-X * tunneldigger: Update to newest upstream commit * add support for TP-Link TL-WR1043N v5 * Fix Ethernet stalls at high throughput on certain devices * Fix batman-adv Bridge Loop Avoidance (BLA) with in gluon-ebtables-filter-multicast * gluon-core: don't request a prefix via DHCPv6 on WAN The prefix is not used, and requesting it leads to odhcp6c log spam with certain DHCPv6 servers. * Fix ess-multiplexer to do not cut datas after 80 characters * ar71xx: remove bs-partition ro-flag for UniFi AC * kernel: update 17.01 kernel to 4.4.116 Mehr und detailliertere Informationen findet ihr hier: https://github.com/freifunk-gluon/gluon/compare/2ae74fe737a45e589f85ace098f… Folgende Communnity spezifischen Änderungen gab es: package repo: * Replace hoodselector with upstream gluon-hoodselector merge request [0] !89 * Replace ffnw-node-info with gluon-node-info and upstream gluon-geolocator merge request [1] !90 * Replace ffnw-config-mode-geo-location with upstream gluon-config-mode-geo-location-with-geloc-map merge request [2] !90 * Replace ffnw-config-mode-contact-info with gluon-config-mode-contact-info !90 * Change dependencies for banner and multiple-v6-watchdoog to gluon-hoodselector !91 Die Änderungen an unseren eigenen Paketen können im Packages-Repository hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/packages/compare/20171220..… siteconf repo: * add raspberry-pi-2-model-b-rev-1.1 !39 * add raspberry-pi-model-b-rev-2 !39 * Replace package and autoupdater url with placeholders in site.conf !39 * Replace vpn package, GLUON_BRANCH and GLUON_RELEASE with placeholders in site.mk !39 * mv prepare.sh to buildscript.sh and extend script with UI. !39 * site.conf: add geolocator config e.g. blacklist and intervall !35 !40 !45 * site.mk: add kmod-phy-broadcom to x86-generic target !41 * site.conf: Enable IEEE802.11s with IBSS !42 * site.mk: Replace gluon-web-autoupdater with ffho-web-autoupdater for autoupdater fallback !44 * migrate ffnw spezific geolocator config to upstream format !46 Änderungen an der Siteconf können im Siteconf-Repo hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/siteconf/compare/20171220..… Ich bitte euch die Änderungen zu prüfen und die Firmware im Anschluss zu signieren. Die Dokumentation zum Signaturprozess findet ihr im Wiki unter: https://wiki.nordwest.freifunk.net/Firmware/Releaseprozess#Firmware_signier… Schöne Grüße aus Vietnam Tarek [0] https://github.com/freifunk-gluon/gluon/pull/1226 [1] https://github.com/freifunk-gluon/gluon/pull/1201 [2] https://github.com/freifunk-gluon/gluon/pull/1211

9 23

Sign Request 20180318
by Jan-Tarek Butt 03 Apr '18

03 Apr '18

Mion zusammen, Ich habe heute eine neue Firmware gebaut. Basisdaten: * Firmware-Version: 20180318 * Gluon-Version: v2017.1.x * Commit ID: 5c728073aaa59347a705fd3056fc650635af20ee * Download-fastd: https://firmware.ffnw.de/fastd/20180318 * Download-l2tp: https://firmware.ffnw.de/l2tp/20170318 Folgende Gluon spezifischen Änderungen gab es: * modules: update LEDE * gluon-mesh-batman-adv: increase bridge multicast querier robustness Mehr und detailliertere Informationen findet ihr hier: https://github.com/freifunk-gluon/gluon/compare/64e0e28b24a78473d95ed7ea82a… Folgende Communnity spezifischen Änderungen gab es: package repo: Die Änderungen an unseren eigenen Paketen können im Packages-Repository hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/packages/compare/20180225..… siteconf repo: * remove ibss configurations * use 11s ath10k driver for following devices: MR1750 (v1, v2) OM5P-AC (v1, v2) Archer C5 (v1) Archer C7 (v2) UniFi AP AC Lite UniFi AP AC Pro * UniFi AP AC Lite/Pro können nur manuell upgedatet werden. * tp-link-tl-wdr4900-v1 können nur manuell upgedatet werden. Änderungen an der Siteconf können im Siteconf-Repo hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/siteconf/compare/20180225..… Ich bitte euch die Änderungen zu prüfen und die Firmware im Anschluss zu signieren. Die Dokumentation zum Signaturprozess findet ihr im Wiki unter: https://wiki.nordwest.freifunk.net/Firmware/Releaseprozess#Firmware_signier… Schöne Grüße Tarek

5 11

Bekannte Bugs
by Jan-Tarek Butt 03 Apr '18

03 Apr '18

Hallo zusammen, Unten aufgeführt findet ihr Aktuell bekannte Probleme die zu den hier hin und wieder auf tauchenden Mails mit bescheidenen Problemen führen. Um da mal ein bissen Übersicht rein zubringen. - OOM auf 32MB RAM Geräten. Seid dem wechsel auf v2017.1.x gibt es einen OOM Bug auf wahrscheinlich nur 32MB RAM Geräten. Dieser Bug ist aktuell schwer bis gar nicht reproduzierbar. Die Ursache ist nach wie vor vollständig unbekannt. Daran wird aktuell viel rumprobiert. Im besten Falle führt dieser Bug zum Reboot des betroffenen Gerätes. - High Load Ebenfalls seid dem wechsel auf v2017.1.x gibt das Problem das einige Geräte zeitweise eine hohe load aufweisen. Diese reicht bis zu eine 15er load von 20 und führt zum versagen der Funktionalität aufgrund der hohen load kommt es zu abstürzenden Diensten sowie den dauerhaften versagen (cron, hoodselector, autoupdater ... etc). Dies kann u.a. soweit führen das Interfaces verloren gehen und der Router somit erst nach einem Reboot wieder erreichbar sowie nutzbar wird. Auch dieser Bug ist Aktuell nicht reproduzierbar bis vor ein paar Wochen wurden dieser mit dem OOM assoziiert. - (Ath9k Bug) Der Ath9k Bug ist bei uns im Netz einige Jahre nicht mehr gesichtet worden. Und ich kann es aktuell auch nicht 100% bestätigen. Allerdings gibt es seid einigen Monaten dem ATH9k Bug typische Ähnlichkeiten Die vermehrt beobachtet wurden. Diese Ähnlichkeiten Treten wie folgt in Erscheinung: 1. Die link Qualität der WLAN Interfaces singt auf 2-6%. 2. Die WLAN Interfaces verschwinden vollständig. 3. Die WLAN Interfaces sind sichtbar allerdings besteht keinerlei Verbindung Möglichkeit. Alle o.g. Zustände sind mir und auch Anderen bereits aufgefallen und führen in der Regel zur Funktionslosigkeit des WLANs. Im Falle 1 hilft der wechsel des WLAN states z.b. WLAN scannen oder ein Reset durch das Kommando "wifi". Die anderen beiden Zustände, 2. und 3., konnte ich bisher nur über einen Reboot auflösen. Meine Vermutung für das verstärkte aufkommen ist u.a. der Parallel betrieb von IBSS + 11s der das Phänomen verstärkt. Sowie der hoodselector und/oder dem geolocator, die einen regelmäßigen Änderungszustand des WLANs aufrufen können und somit den vermuteten Ath9k Bug triggern. - Fastd verbindet sich nach einen Server Reboot manchmal nicht wieder. Dieses Problem Hab ich u.a. bei dem Router "BrigitteB" im laden meiner Mama untersuchen können. Die Logs des Routers haben keine Fehler aufgewiesen und konnten lediglich keinen erfolgreichen Handshake realisieren. Da diese Problem scheinbar auch nur im ffnw Netz auftritt ist meine Vermutung, das es sich um ein bisher unbekanntes Server seitiges Problem handelt. - Freifunk IP lose Router. Hin und wieder kann man auf der Karte Router finden die keine Freifunk v6 Adressen besitzen bzw. nur die linklocal. Hier vermute ich entweder das es sich um ein Resultat des high load bugs handelt oder dieses auf ein Server seitiges Problem rückzuführen ist oder ein Problem was durch den hoodselector entsteht. - Bootsector pattitions bug bei UniFi AP AC Lite/Pro Dieser Bug bezieht sich auf die o.g. genannten dual-band Geräte und tritt beim sysupgrade command auf. Dies betrifft nicht alle Geräte, allerdings ist auch nicht abzusehen welches und welches nicht betroffen ist. Der autoupdater für die o.g. Geräte ist aktuell nicht verfügbar. Ein update der Geräte kann nur Manuell durchgeführt werden. Dieser Zustand bleibt bis zum nächsten gluon release so bestehen. Im aktuellen lede und gluon Upstream ist dieses Problem bereits behoben. - ubiquity Nanostation eth Bug Dieser Bug ist auf einen hardware Fehler in einigen Ubiquity Geräten zurück zu führen. Er gilt in Lede als behoben und sollte bei uns auch bereits behoben sein. Ich habe ihn hier nur aufgelistet da dies in den letzten Monaten u.a. ein Grund für Router Ausfälle war. Schöne Grüße Tarek

4 18

Firmwareunterstützung der CPE210 v2.0
by Jan-Tarek Butt 20 Mar '18

20 Mar '18

Moin Thomas, On 03/20/18 07:51, Thomas Engelmeyer via Dev wrote: > Anfrage: Firmwareunterstützung der CPE210 v2.0 = ??? Gerne für so was am besten einen neue thread eröffnen. Ich hab das jetzt mal für dich übernommen. vg Tarek

2 4

Gitlab-CI Runner an Docker angebunden
by Clemens John 17 Mar '18

17 Mar '18

Hallo Devs und Admins, ich habe den Gitlab-CI-Runner auf runner02.ffnw.de an Docker angebunden. Alle Jobs, die auf dem Runner-System ausgeführt werden sollen müssen in Zukunft das "docker"-Tag zugewiesen bekommen. Dies betrifft alle Repos, die derzeit das CI-System nutzen (z.B. Puppet). Wird in der gitlab-ci.yml kein Docker-Image definiert, wird der Job standardmäßig auf einem Debian-Stable Docker Image ausgeführt. Ein Beispiel wie das ganze genutzt werden kann siehe hier: https://git.ffnw.de/netmon-sc/api-server/blob/master/.gitlab-ci.yml Welche Verbesserung bringt die Änderung? Beim Ausführen von Jobs sind wir in Zukunft nicht mehr darauf angewiesen, welche Software auf dem System vorinstalliert ist sondern können einfach ein Docker-Image definieren auf dem der Job laufen soll und nach belieben software nachinstallieren ohne die Basis-VM runner02.ffnw.de zuzumüllen. Fragen gerne per Mail. Ansonsten planen Stefan und ich auch am 06.04. rüber nach Oldenburg zu fahren sodass wir uns auch gerne direkt vor Ort austauschen können. Viele Grüße Clemens

3 4

l2tp images: invalid checksum
by lrnzo 16 Mar '18

16 Mar '18

hallo Leute, bei (allen?) l2tp sagt der autoupdater Invalid image checksum! nachdem das images herunter geladen wurde. LG Lorenz

6 12

Sign Request 20171220 Weihnachts Release
by Jan-Tarek Butt 16 Mar '18

16 Mar '18

Moin Moin leute, Dieses Release ist ein besonderes Firmware-Release. Es soll ein Geschenk an unsere tolle Community sein. Es bringt den support für l2tp und gleichzeitig auch die finale Version des hoodselectors, welcher nun seinen letzten zustand lernt. Mein Plan ist diese genau am 24.12 (vorausgesetzt genügen haben signiert) frei zugeben. Diese Firmware ist identisch zur aktuellen testing und nigthly, mit einer kleinen Überraschung bei der Anmeldung ;P. Ich bitte euch diesen Sign Request vorerst nicht nach außen zu publizieren und Erstmal nur auf der Dev liste zu kommunizieren. Mit dem Sign Request kommt auch ein Vorschlag für eine neue Order-Struktur. Die dann zukünftig folglich aussehen würde: https://firmware.ffnw.de/ ??? fastd ? ??? 20171220 ? ??? factory ? ??? sysupgrade ??? l2tp ??? 20171220 ??? factory ??? sysupgrade Ein symlink würde dann auf folgendes zeigen: https://firmware.ffnw.de/fastd/stable -> 20171220/sysupgrade/ Die factory images sind somit auch von den autoupdater images separat zu finden. Nun zu den Details: Ich habe heute eine neue Firmware gebaut. Basisdaten: * Firmware-Version: 20171220 * Gluon-Version: v2017.1.x * Commit ID: 2ae74fe737a45e589f85ace098fa8466dfb7927e * Download-fastd: https://firmware.ffnw.de/fastd/20171220 * Download-l2tp: https://firmware.ffnw.de/l2tp/20171220 Folgende Comunnity spezifischen Änderungen gab es: package repo: * Hoodselector: L2TP Tunneldigger Support #47 * Hoodselector: Das upgrade script wurde einem refactoring unterzogen. Nie ausgeführter Code wurde entfernt. Sowie ein Design Fehler wurde behoben. Anstelle des hood Namens wird nun die bssid zur hood Identifikation genutzt. #107 * Hoodselector: Neuer Zustand, ein Router aus einer hood A welcher sich an einen mesh Router aus der hood B angehängt hat wechselt nun wieder zurück in seine tatsächliche hood sobald ein VPN Router seiner hood sichtbar wird. #108 * Hoodselector: Im "radio less" Zustand wird sichergestellt das, das mesh on LAN / WAN eingeschaltet ist. #109 * Hoodselector: Ein Bug in der Funktion get_mesh_if() ist behoben. Diese gibt nun eine liste aller mesh-interfaces zurück mit Ausnahme von VPN-interfaces #116 * Hoodselector: Alte VPN Konfigurationen werden nun gelöscht. Wenn hoods ohne VPN peers ausgewählt wurden blieben die VPN peers der vorherigen hood bestehen. #117 * Hoodselector: große teile des hoodselector codes wurden in einen lua libary ausgelagert. #118 * Hoodselector: Der hoodselector mit Polygone hoods umgehen. !60 * Hoodfile: Das hoodfile enthält nun l2tp brokers. #122 Die Änderungen an unseren eigenen Paketen können im Packages-Repository hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/packages/compare/20171216..… siteconf repo: * site.conf: Enthält nun default hood broker * site.conf: DNS caching Feature ist aktiviert. Änderungen an der Siteconf können im Siteconf-Repo hier eingesehen werden: https://git.nordwest.freifunk.net/ffnw-firmware/siteconf/compare/20171216..… Ich bitte euch die Änderungen zu prüfen und die Firmware im Anschluss zu signieren. Die Dokumentation zum Signaturprozess findet ihr im Wiki unter: https://wiki.nordwest.freifunk.net/Firmware/Releaseprozess#Firmware_signier… Schöne Grüße aus Spanien und ein Frohes Fest :) Tarek

8 21