Design und Steuerung eines weichen biomimetischen Pangasius-Fischroboters unter Verwendung des Flossenstrahleffekts und des Verstärkungslernens

Wissenschaftliche Berichte Band 12, Artikelnummer: 21861 (2022) Diesen Artikel zitieren

3055 Zugriffe

1 Zitate

8 Altmetrisch

Details zu den Metriken

Soft-Roboter bieten einen Weg, biologische Lebewesen genau nachzuahmen und sich in ihre Umgebung zu integrieren, ohne in ihr Ökosystem einzudringen oder es zu stören. Diese aus weichen, sich verformenden Materialien hergestellten Roboter besitzen strukturelle Eigenschaften und Verhaltensweisen, die den Körpern und Organen von Lebewesen ähneln. Allerdings sind sie im Hinblick auf integrierte Betätigung und Erfassung, genaue Modellierung und präzise Steuerung nur schwer zu entwickeln. In diesem Artikel wird ein weich-starrer Hybrid-Roboterfisch vorgestellt, der vom Pangasius-Fisch inspiriert ist. Der Roboter verwendet eine flexible Flossenstrahlschwanzstruktur, die von einem Servomotor angetrieben wird und als weicher Körper des Roboters fungiert und die Schwanzflosse des Fisches in wellenförmige Bewegung versetzt. Um die Modellierungs- und Kontrollherausforderungen anzugehen, wird Reinforcement Learning (RL) als modellfreie Kontrollstrategie vorgeschlagen, mit der der Roboterfisch schwimmen und ein bestimmtes Ziel erreichen kann. Indem wir den RL durch Experimente an echter Hardware trainieren und untersuchen, veranschaulichen wir die Fähigkeit der Fische, zu lernen und die geforderte Aufgabe zu erfüllen.

Unterwassertiefen haben sich für den Menschen als sehr herausfordernde Umgebung erwiesen. Forscher und Ingenieure streben danach, Unterwasserrobotersysteme zu bauen, um dieses gefährliche Unterfangen zu bewältigen. Von der Meeresforschung und der Erforschung von Meereslebewesen über die Durchführung von Unterwassermissionen und Probenentnahme bis hin zur Überwachung und Wartung von Offshore- und Unterwasserstrukturen müssen viele komplexe Aufgaben unter rauen, unvorhersehbaren Bedingungen erledigt werden. Diese Wasseraufgaben werden üblicherweise mit Unterwasserfahrzeugen wie ferngesteuerten Fahrzeugen (ROVs) und autonomen Unterwasserfahrzeugen (AUVs) ausgeführt. Allerdings sind AUVs derzeit auf Erkundungseinsätze in mittlerer Tiefe beschränkt, während ROVs eher für die Untersuchung des Tiefseebodens geeignet sind, aber durch die Notwendigkeit einer Anbindung und manuellen Steuerung eingeschränkt sind. Darüber hinaus bestehen diese Systeme hauptsächlich aus starren Teilen, was ihre Manövrierfähigkeit, ihre Fähigkeit zur sicheren Interaktion mit ihrer Umgebung und ihre Anpassungsfähigkeit an das unvorhersehbare Wasserklima einschränkt1. Die Nutzung der neuen technologischen Fortschritte in der Bionik und Soft-Robotik bietet vielversprechende Lösungen für den Aufbau von Robotersystemen, die natürlicher arbeiten und diesen rauen Umgebungen standhalten können2,3.

Die Untersuchung der verschiedenen biologischen Meereslebewesen bietet Einblicke in die Eigenschaften, die es ihnen ermöglichen, in riesigen Meeresregionen zu leben und sie zu bevölkern. Die Inspiration durch die Morphologie lebender Unterwasserorganismen, ihre Schwimm- und Fortbewegungstechniken und ihre sensorischen Fähigkeiten hilft bei der Entwicklung bioinspirierter Robotersysteme, die diesen Kreaturen ähneln, wodurch diese Roboter besser für Unterwasseranwendungen geeignet sind. Die Schwimmbewegung zwischen Unterwasserlebewesen zeigt eine Vielzahl von Fortbewegungstechniken, die von den morphologischen Strukturen und Formen dieser Lebewesen gesteuert werden4. Die meisten Wasserlebewesen besitzen nachgiebige Körper und verlassen sich auf die Verformung ihres Körpers, um den für die Fortbewegung erforderlichen Schub zu erzeugen. Die gebräuchlichste Klassifizierung der Schwimmbewegung von Fischen basiert auf der Anatomie der Fische und ihren Antrieben5. Durch die Bewegung ihres Körpers und ihrer Flossen mit unterschiedlichen Wellen- oder Oszillationsfrequenzen können Fische den nötigen Schub für Vorwärtsbewegungen, Drehungen und Fluchtmanöver erzeugen. Während sich diese Klassifizierung hauptsächlich mit schwimmenden Fischen und Batoiden befasst, nutzen andere Meereslebewesen wie Quallen, Schildkröten, Stachelhäuter und Krebstiere andere Fortbewegungsarten wie Strahlantrieb, widerstandsinduziertes Schwimmen und Kriechen. Darüber hinaus konzentrierten sich mehrere Studien auf das Einzel- und Gruppenverhalten von Fischen und ihre sozialen Interaktionen mit biomimetischen Fischrobotern6,7,8,9,10. Diese Untersuchungen liefern Einblicke in den Einsatz fischähnlicher Roboter zur Interaktion mit und zur Untersuchung des Fischverhaltens sowie in Mechanismen, die für die Aggregation gemischter Phänotypen verantwortlich sind, und liefern biohybride Reize für weitere soziale Analysen wie Angstbehandlung und Informationstransfer.

Das Gebiet der Soft-Robotik bietet erfolgreiche Ansätze für den Aufbau bioinspirierter Robotersysteme im Allgemeinen11,12,13,14 und insbesondere von Robotern, die von biologischen Meereslebewesen inspiriert sind15. Der Einsatz weicher Materialien zur Entwicklung von Robotern mit nachgiebigen Körpern und großen Freiheitsgraden kann uns der Nachahmung von Meereslebewesen mit komplexer Fortbewegung einen Schritt näher bringen16. Es wurden mehrere Versuche unternommen, ihre Verformbarkeit zu nutzen, um biomimetische Softroboter zu entwickeln, die in der Lage sind, biologische Schwimmbewegungen nachzuahmen17. Ein Ansatz nutzte hydraulische Elastomere, um einen weichen Roboterfisch zu entwickeln, der mehrere Schwimmmanöver ausführen kann2. Alternativ verwendet ein bioinspirierter Roboterfisch Aktuatoren aus ionischem Polymer-Metall-Verbundwerkstoff (IPMC) als Brust- und Schwanzflossen18. Ein anderes Team konnte die Kopffüßer-Weichtiere nachahmen, indem es hydraulische, intelligente Soft-Biege-Aktuatoren verwendete, um die Tentakel zu bauen, die den Kopffüßern beim Manövrieren helfen19. Ein vom Schlangenstern inspirierter weicher Roboter verwendet zwanzig Drähte aus einer Formgedächtnislegierung (SMA), um fünf flexible Beine zu betätigen und unter Wasser zu kriechen20. Eine Roboterqualle nutzt die Flossenstrahlstruktur, um die weichen Tentakel der Qualle und ihre Bewegung nachzuahmen21. Einige dieser Soft-Roboter wurden in realen Unterwasserumgebungen getestet, beispielsweise der Schneckenfisch-Roboter, der mit dielektrischen Elastomeren (DEs) angetrieben wird und in großen Tiefen operieren kann3.

Eine der größten Herausforderungen in der Soft-Robotik ist die Modellierung und Steuerung dieser nichtlinearen komplexen Systeme22. Die Forschung hat diese Herausforderungen mit verschiedenen Ansätzen angegangen23. Einige Ansätze basieren auf modellbasierten Steuerungstechniken. Die Entwicklung dieser Techniken hat sich jedoch aufgrund der Komplexität der Entwicklung von Modellen für hochdimensionale weiche Robotersysteme als schwierige Aufgabe erwiesen24. Zur Vereinfachung der Modellierungsaufgabe werden verschiedene Modellierungstheorien, Näherungsmodelle und Dimensionsreduktionstechniken vorgeschlagen. Im Gegensatz dazu erfordert die modellfreie Steuerung kein Modell oder vorherige Informationen über das System, sondern stützt sich hauptsächlich auf das direkt vom System erfasste Eingabe-Ausgabe-Verhalten, um eine ungefähre Darstellung davon zu lernen. Reinforcement Learning (RL) ist eine dieser modellfreien Kontrolltechniken, die in den letzten Jahren vielversprechende Ergebnisse geliefert hat25. RL ist ein datengesteuerter Lernprozess, der davon abhängt, dass der Agent mit seiner Umgebung interagiert, indem er bestimmte Aktionen ausführt und seinen neuen Zustand beobachtet. Der Agent erhält dann eine Belohnung basierend auf der Aufgabe, die er erledigen muss, und der RL-Algorithmus lernt eine Richtlinie zur Zuordnung der Zustands-Aktionspaare.

Insbesondere wurde RL für die Soft-Robotik-Steuerung im Allgemeinen und speziell im Fall der Unterwasser-Soft-Robotik26 implementiert. Eine Gruppe nutzte einen Q-Learning-Algorithmus mit Erfahrungswiedergabe, um die Schwimmgeschwindigkeit eines Tintenfisch-Softroboters zu maximieren, der durch eine DE-Membran betätigt wurde27. Soft Actor-Critic (SAC) wurde auch verwendet, um eine Kontrollstrategie für einen Roboteraal mit nachgiebigen Körpern zu erlernen, damit er effizient in einer geraden Linie schwimmen kann28. SMAs wurden auch verwendet, um einen Soft-Roboter anzusteuern, indem Q-Learning eingesetzt wurde, um eine Kontrollrichtlinie für die Fortbewegung von Endeffektoren zu entwickeln29. Darüber hinaus nutzte ein vom Oktopus inspirierter Soft-Roboter Deep Q Learning (DQN), um die Haltung der Soft-Arme des Roboters zu steuern30. Ein Ansatz nutzte einen DDPG-Algorithmus (Deep Deterministic Policy Gradient), um eine Kontrollrichtlinie für weiche Kontinuumsarme zu erlernen31. Allerdings ist das Training von RL-Agenten ein kostspieliger Prozess im Hinblick auf Rechenzeit und Ressourcen und wird für Soft-Roboter aufgrund ihrer nichtlinearen Dynamik und elastischen Eigenschaften komplexer. Um dieses Problem zu lösen, implementierte eine Forschungsgruppe eine RL-Methode, die die Eigenschaften und die Struktur der weichen Materialien des Roboters ignoriert, und sie wurde auf den weichen Roboter Honeycomb PneuNets32 angewendet. Eine andere Technik zur Vereinfachung des RL-Prozesses ist der Einsatz von Learning from Demonstration (LfD) und Imitationslernmethoden, wie im Fall des STIFF-FLOP-Roboterarms33, bei dem die Bewegungsmuster eines Oktopusarms auf den Roboterarm übertragen wurden als Leitfaden zur Beschleunigung des Lernprozesses. Die Kombination eines Modells mit RL-Algorithmen könnte den politischen Lernprozess unterstützen. Eine Studie schlägt eine modellbasierte RL für die Regelung weicher Robotermanipulatoren vor34. Der vorgeschlagene Ansatz verwendet ein rekurrentes neuronales Netzwerk (RNN), um das vorwärtsdynamische Modell zu lernen, das dann zur Entwicklung eines prädiktiven Reglers mit geschlossenem Regelkreis verwendet wird. Die genannten Studien untersuchten den Einsatz verschiedener RL-Algorithmen zur Soft-Robotik-Steuerung, einschließlich der Kombination mit Nachahmungslernen. Allerdings ist der Erfolg von RL bei anspruchsvollen Aufgaben von Soft-Robotern wie der Unterwassernavigation immer noch fraglich. Darüber hinaus wurden Vergleiche zwischen der Leistung mehrerer RL-Algorithmen für dieselbe Aufgabe nicht diskutiert.

In diesem Artikel schlagen wir einen Entwurf für einen biomimetischen Fischroboter vor, der vom Pangasius-Fisch inspiriert ist und den Flossenstrahleffekt (FRE) für die Soft-Body-Betätigung nutzt, um die Körper- und Schwanzwellung des Fisches nachzuahmen (Abb. 1). Wir untersuchen den Einsatz von drei RL-Algorithmen, um dem Roboter beizubringen, zu einem bestimmten Ziel zu schwimmen. Durch die Erfüllung der Aufgabe der Unterwassernavigation und das Erreichen der Zielvorgaben könnten die in dieser Arbeit entwickelten biomimetischen Roboterfische in Zukunft in tatsächliche Wasserumgebungen integriert werden. Die Hauptanwendungsgebiete solcher Roboter sind Unterwassererkundungen, die Erforschung von Meereslebewesen, die Überwachung von Korallenriffen und das Sammeln von Proben, ohne die Umwelt zu stören oder zu zerstören. Solche Forschungen sind wichtig, um die Veränderungen im Unterwasser-Ökosystem und die Auswirkungen des Klimawandels darauf zu untersuchen und Erkenntnisse über die erforderlichen Maßnahmen zur Abschwächung dieser Auswirkungen zu gewinnen.

Weicher biomimetischer Pangasius-Fischroboter. Roboterprototyp (links). Komplettes CAD des Roboters (rechts).

Um einen weichen Unterwasserroboter zu bauen, der die Fortbewegung von Fischen nachahmt, wird ein tatsächlicher Fisch durch visuelle Bewegungsanalyse untersucht, um Erkenntnisse und Parameter zu erhalten, die für das Design und die Steuerung des entsprechenden biomimetischen Fischroboters relevant sind. Der Pangasius-Fisch wurde über mehrere Zeiträume hinweg mit einer Webcam aufgezeichnet, um Videos seiner Schwimmbewegung zu erhalten. Es gibt zwei Hauptansätze zur Durchführung von Bewegungserfassung und -verfolgung: markerbasiertes und markerloses Tracking35. Die traditionellen markerbasierten Methoden basieren auf Markierungen an den verschiedenen Punkten, die verfolgt werden. Bei diesen Markierungen kann es sich um retroreflektierende Teile handeln, die am zu verfolgenden Objekt angebracht sind, oder um andersfarbige Teile. In einigen Fällen sind auch Trägheitsmesseinheiten integriert, deren Daten dabei helfen, die Bewegung bestimmter Punkte abzuschätzen. Solche Methoden erfordern Hardwarevorbereitungen, es sind jedoch keine weiteren Anmerkungen erforderlich. Andererseits basieren die markerlosen Tracking-Methoden darauf, dass die beschriftete Grundwahrheit von Menschen erstellt wurde. Anschließend werden maschinelle Lernmodelle wie Convolutional Neural Networks (CNNs) und Residual Networks (ResNets) trainiert, um die Bewegung basierend auf den beschrifteten Schlüsselpunkten abzuschätzen.

Um eine Bewegungsanalyse für dieses Experiment durchzuführen, wurde der markerlose Ansatz verwendet, indem ein Bewegungserfassungsaufbau vorbereitet wurde. Es besteht aus einem Wassertank mit den Abmessungen 120 x 70 cm. Der für die Analyse erfasste Fisch stammt aus der Gattung Pangasius, einer Süßwasserklasse mittelgroßer bis sehr großer Haiwelse. Die Abmessungen der Fische in der Studie betragen etwa 21 cm Gesamtkörperlänge, 2,5 cm Breite und 1,5 cm Kopflänge „Lf“36. Der Fisch hat sieben Flossen am ganzen Körper, wie in Abb. 2 dargestellt: zwei Brustflossen, eine Rückenflosse, eine Bauchflosse, eine Afterflosse, eine Fettflosse und eine Schwanzflosse am Schwanzende37. Die Datenerfassung erfolgt über eine visuelle Monokularkamera Logitech C920. Die Kamera wurde oben auf dem Tank montiert, um eine vollständige Draufsicht auf den Tankbereich zu ermöglichen. Mit der Kamera wurden Videostreams der Schwimmsequenz des Fisches mit 30 Bildern pro Sekunde (fps) aufgenommen.

Echte Pangasius-Fischanatomie, erfasst durch ein Bildverarbeitungs-Bewegungssystem, das die reale Dimension und morphologische Struktur des Fisches darstellt.

Um die Schwimmmuster und Bewegungen der Fische zu untersuchen, muss anhand der aufgezeichneten Videodaten eine Posenschätzung durchgeführt werden, um die Verformung und Bewegung der verschiedenen Körperteile der Fische während ihrer Schwimmsequenzen zu verfolgen. Der Schritt der Posenschätzung wurde mit DeepLabCut durchgeführt, einer Deep-Learning-Plattform für die markerlose Posenschätzung von Tieren38.

Während des Posenschätzungsprozesses (Abb. 3) werden drei Körperteile des Fisches definiert, die verfolgt werden sollen: der Kopf, die Mitte der Brustflossen und die Schwanzflosse. Aus den aufgenommenen Videos wurden mehrere Proben entnommen und mit den Körperteilen versehen. Mithilfe der Videostreams wird ein neuronales ResNet-Netzwerk mit 152 Schichten trainiert, um die Position dieser Punkte abzuschätzen. Das Netzwerk wurde für 200.000 Epochen trainiert und erreichte Trainings- und Testfehler von etwa 3 bzw. 6 Pixeln.

Ergebnisse der Posenschätzung und der Flugbahndarstellung sowohl für den Fisch als auch für den Roboter. (a) Schätzung der Fischhaltung. (b) Schätzung der Roboterhaltung.

Nachdem die Positionen der benötigten Körperteile ermittelt wurden, wird eine weitere Analyse der vorhergesagten Pose des Fisches durchgeführt, um die wichtigen Parameter zu untersuchen, die für die Schwimmbewegung des Fisches verantwortlich sind, was bei der Gestaltung des biomimetischen Fisches hilfreich sein sollte. Zu diesen entscheidenden Parametern gehören die Schwanzfrequenz und -amplitude des Fisches sowie die daraus resultierende Geschwindigkeit, mit der der Fisch aufgrund seiner wellenförmigen Bewegung schwimmen kann. Beim Karangiformenschwimmen beruht die Fortbewegung hauptsächlich auf der Wellenbewegung des Körpers und der Schwanzflosse, während die Brust-, Bauch- und Rückenflossen den Fischen dabei helfen, das Gleichgewicht zu halten und auf und ab zu schwimmen.

Durch die Analyse mehrerer Beispielvideos vom Schwimmen des Fisches können wir durch die Verfolgung der Schwanzbewegung die Wellenfrequenz des Fischkörpers ermitteln. Im Stillstand lag die Frequenz des Schwanzes zwischen 0,7 und 2 Hertz (Hz). Beim Schwimmen mit niedriger Geschwindigkeit lag die Frequenz zwischen 1 und 2,5 Hz, während sie beim Schwimmen mit hoher Geschwindigkeit bis zu 4,5 Hz erreichte. Die erreichte Geschwindigkeit beim Schwimmen mit niedriger Geschwindigkeit lag im Bereich von 5–6 cm/s und bei bis zu 65 cm/s beim Schwimmen mit hoher Geschwindigkeit.

Der weiche, starre, biomimetische Pangasius-Fisch wurde auf der Grundlage der Abmessungen des echten Fisches entworfen, der wie zuvor beschrieben mit dem Bildverarbeitungssystem gefangen wurde. Die Abmessungen des Roboters sind so skaliert, dass sie doppelt so groß sind wie die eines echten Fisches. Das Design gliedert sich in drei Hauptteile: den starren Kopf des Fisches, den flexiblen Schwanz des Fisches und die Schwanzflosse, wie in Abb. 4 dargestellt. Der Körper des Fisches ist für die wellenförmige Bewegung verantwortlich, die er benötigt, um sich im Wasser zu bewegen. Ein weicher Schwanz ist so konzipiert, dass er den Schwanz des Fisches und seine Bewegung nachahmt, basierend auf dem Fin Ray Effect (FRE), der von den Schwanzflossen von Fischen inspiriert ist, was ihn zu einer geeigneten Option für ähnliche Schwimmbewegungen macht39. Die Flossenstrahl-konforme Struktur wurde aufgrund ihrer großen Ähnlichkeit mit dem natürlich effizienten knöchernen Schwanz des Fisches gewählt. Der Aktuator beruht auf einer einfachen Druckkraft, die dazu führt, dass sich der Flossenstrahl in Richtung der Kraft biegt und so den Schwanz in eine konkave Form verformt, die ein großes Wasservolumen umschließt und es dann nach hinten beschleunigt. Diese Bewegung führt zu einem hocheffizienten Vorwärtsschub des Roboters, analog zum Fischschwimmen.

Der Flossenstrahl besteht aus einem flexiblen Außenkörper, starren Verbindungen zwischen seiner Segmentierung und starren Verbindungen zwischen dem Servomotor (der Betätigungsquelle) und den Betätigungspunkten im Flossenstrahl selbst. Der Antrieb erfolgt durch einen wasserdichten Servomotor, der Kraft auf die Seiten des Flossenstrahls ausübt und ihn so in die Richtung der Kraft biegt. Durch die Drehung in einer oszillierenden Bewegung übt der Servo Kraft auf beide Seiten des Aktuators aus, wirkt wie ein unterbetätigter Mechanismus und führt zu der erforderlichen wellenförmigen Bewegung. Aufgrund des begrenzten Drehmoments des Betätigungsservomotors ist es jedoch schwierig, genügend Schub für schnelle Manöver zu erzeugen, und die möglichen Heckschlagfrequenzen werden auch durch die Geschwindigkeit des Servos begrenzt. Darüber hinaus schränkt das Fehlen von Brustflossen am Roboter die Fähigkeit ein, mit stabiler Vorwärtsbewegung zu schwimmen.

Zur Herstellung des biomimetischen Pangasius-Roboters40 werden verschiedene Fertigungstechniken auf Basis der additiven Fertigung angewendet. Aufgrund der hohen Komplexität des Fischkopfteils wird für die Herstellung mit der Sinterit Lisa Pro das selektive Lasersintern (SLS) gewählt. Das für den SLS-Druck verwendete Material ist PA12 Smooth, ein Material auf Nylonbasis, das aufgrund seiner hohen Haltbarkeit ausgewählt wurde. Für den flexiblen Flossenstrahl ist aufgrund der geringen Komplexität des Designs ein hoch hyperelastisches Material für seine Konstruktion erforderlich. Für die Herstellung dieses Teils wurde der 3D-Drucker Fused Deposition Modeling (FDM) mit dem Felix 4Tec und einem flexiblen Material ausgewählt: dem Mediummaterial Extrudr FLEX. Schließlich ist für starre Verbindungen und starre Verbinder ein Material mit hoher Steifigkeit erforderlich, um den vom Servomotor ausgeübten Zugkräften standzuhalten. Das verwendete Material ist ein glasfaserverstärktes Epoxidlaminatmaterial (FR-4) und wird mit einer CO2-Lasermaschine geschnitten.

Detailliertes Design und Abmessungen des Roboterdesigns mit einer ungefähren doppelten Skala der tatsächlichen Fischabmessungen.

Das Schwimmen des Roboters wird hauptsächlich durch die Wellenbewegung des Schwanzes der weichen Flosse erreicht. Indem die Wellenfrequenz konstant gehalten wird, ist der Roboter in der Lage, vorwärts zu schwimmen, und je nachdem, ob die Frequenz niedrig oder hoch ist, schwimmt der Roboter langsamer oder schneller. Würde man jedoch eine Abfolge unterschiedlicher Frequenzen nacheinander ausführen, würde dies dazu führen, dass der Fisch seine Richtung ändert. Darüber hinaus wirkt sich der Effekt der Flüssigkeitsstörung und ihrer Interaktion mit dem Roboter auch auf dessen Schwimmen aus. Die Schwimmleistung des Roboters wird nach der gleichen Methode wie die der Fische beurteilt. Durch die Verfolgung von Kopf und Schwanz des Roboters werden die Schwimmgeschwindigkeit und die Schwanzschlagfrequenz ermittelt. Wir beobachten, dass die Beziehung zwischen der Schwimmgeschwindigkeit des Roboters, dargestellt als Körperlänge des Fisches pro Sekunde (BL/s), und seiner Schwanzschlagfrequenz (Hz) einem Polynom zweiter Ordnung ähnelt, wie in Abb. 5 dargestellt Durch Anwendung der Fourier-Transformation auf die Schwanzbewegung des Roboters bei verschiedenen Geschwindigkeiten sind die vorherrschenden wellenförmigen Schwimmfrequenzen des Roboters in Abb. 6 zu sehen.

Schwimmgeschwindigkeit des Roboters im Vergleich zur Schwanzschlagfrequenz.

Zeitbereichs- und Frequenzbereichsanalyse der Schwimmgeschwindigkeiten des Roboters. Jedes Signal stellt eine Schwimmgeschwindigkeit dar, die durch die Zeit für einen einzelnen Schwanzschlag in ms definiert ist und zwischen 110 und 200 ms liegt. Der Zeitbereich zeigt die Amplituden der Wellenbewegung des Schwanzes, während der Frequenzbereich die dominante Frequenz bei jeder Geschwindigkeit zeigt.

Ein Vergleich der Schwimmbewegungen der Fische mit denen des Roboters zeigt die Ähnlichkeit zwischen ihren Schwanzschlagfrequenzen bei langsamem und schnellem Schwimmen (siehe Abb. 7). Die Schwanzschwingungsamplitude des Roboters wird durch das Verhältnis zwischen den Abmessungen des Roboters und des Fisches skaliert, um den Unterschied zu berücksichtigen in den Ablenkungen ihrer Körper. Die Schwanzschlagfrequenzen des Roboters wurden so gewählt, dass sie im gleichen Bereich wie das langsame Schwimmen des Fisches liegen, nämlich zwischen 1 und 2,5 Hz. Darüber hinaus wurden die Transportkosten (COT) des Roboters als Hinweis auf seine Fortbewegungseffizienz berechnet. COT ist definiert als die Energie, die erforderlich ist, um eine Einheitsmasse über eine Einheitsdistanz41 zu bewegen, gemäß der folgenden Gleichung:

Dabei ist E die Eingangsenergie des Roboters, m die Masse des Roboters (0,422 kg), g die Gravitationsbeschleunigung (9,8 m/s\(^2\)), d die Fahrstrecke (m) und P die Leistung des Roboters in Bezug auf Eingangsspannung (12 V) und Eingangsstrom (2 A) und v ist die Geschwindigkeit des Roboters (zwischen 0,02 und 0,06 m/s). Durch Versuche wurde der COT für den Roboter zwischen 95 und 315 für verschiedene Schwanzfrequenzen und Robotergeschwindigkeiten gemessen, wobei der beste COT bei der höchsten Geschwindigkeit von 6 cm/s und der höchsten Schwanzschlagfrequenz von 2,3 Hz liegt, was auf effizienteres Schwimmen hinweist und COT bei höheren Schwimmgeschwindigkeiten.

Vergleich zwischen den Schwanzschlagfrequenzen von Fisch und Roboter. (a) Frequenzen beim langsamen Schwimmen (Schwanzschlagzeit des Roboters bei 190 ms). (b) Frequenzen beim schnellen Schwimmen (Schwanzschlagzeit des Roboters bei 110 ms).

Das Hauptziel dieses Experiments besteht darin, den Roboter zu einem bestimmten Zielort im Becken schwimmen zu lassen. Der Aufbau ist in Abb. 8 dargestellt. Der Tank und der Roboter werden mit einer Logitech Brio-Kamera mit 60 Bildern pro Sekunde überwacht, die die Umgebung erfasst und die Bilder an DeepLabCut weiterleitet, um eine Posenschätzung durchzuführen. Das trainierte neuronale Netzwerk war in der Lage, eine genaue Posenschätzung des Roboters mit minimalem Posenverlust nach dem Training bereitzustellen. Darüber hinaus ermöglicht die hohe Aufnahmerate von 60 fps im Vergleich zur langsamen Schwimmbewegung des Roboters, den Posepunktverlust einiger Frames während des RL-Trainings zu vernachlässigen. Darüber hinaus gibt das Netzwerk eine Wahrscheinlichkeit der Vorhersage aus, die einen Hinweis auf eine Verdeckung oder einen Posenverlust der verfolgten Punkte gibt. Wenn der Wahrscheinlichkeitswert einer Posenpunktvorhersage während des aktuellen Frames unter einem bestimmten Schwellenwert liegt, wird diese Pose verworfen und die letzte bekannte Pose mit einer Wahrscheinlichkeit über dem Schwellenwert wird beibehalten. Der während des RL-Trainings gewählte Wahrscheinlichkeitsschwellenwert beträgt 0,8.

Schematische Darstellung des Versuchsaufbaus.

Um ein RL-Training durchzuführen, werden im Allgemeinen zunächst Simulationstools verwendet, um den Agenten zu trainieren, und dann wird das Gelernte auf den tatsächlichen Roboter übertragen. Aufgrund der Komplexität der Simulation weicher Materialien, die eine hohe Verformung aufweisen, und der Fluid-Struktur-Interaktion zwischen Roboter und Umgebung wurde der RL-Trainingsalgorithmus jedoch direkt im Versuchsaufbau implementiert. Durch die Verwendung stabiler Basislinien 342 auf OpenAI Gym43 wird die RL-Umgebung durch die Definition der Beobachtungs- und Aktionsräume für den Agenten aufgebaut.

Die tatsächlich möglichen Aktionen des Roboters könnten als kontinuierlicher Raum mit unterschiedlichen Servogeschwindigkeiten und -winkeln beschrieben werden, bis hin zu den Maximalwerten entsprechend den Spezifikationen des Servos. Ein kontinuierlicher Aktionsraum könnte jedoch die Lösung des Problems für den RL-Algorithmus komplexer machen. Daher würde die Diskretisierung der Aktionen zur Vereinfachung der Aufgabe beitragen. Somit ist die Schwingung des Servos als maximaler Weg des Servos festgelegt, der laut Herstellerangaben \(130^\circ\) beträgt. Die Servo-Oszillationsgeschwindigkeit wird zur einzigen Variablen für die Aktionen. Unter Verwendung der Fischschwimmanalyse als Grundlage wurden mehrere Oszillationsfrequenzen des Schwanzes ausgewählt, die als variierende Geschwindigkeit des Betätigungsservomotors angewendet werden. Diese Geschwindigkeiten umfassen den Aktionsraum des Roboters. Insgesamt sind 10 Aktionen definiert, die zwischen 110 und 200 Millisekunden (ms) dauern, um einen Schwanzschlag auszuführen, mit einem 10-ms-Schritt.

Der Beobachtungsraum besteht aus mehreren Parametern, die sich auf den Roboter und seine Umgebung beziehen. Zunächst werden die x- und y-Positionen aus der durch DeepLabCut durchgeführten Zustandsschätzung für drei Punkte am Roboter ermittelt: den Kopf, das Servohorn und den Schwanz. Die Abstände in x- und y-Richtung zwischen dem Kopf des Roboters und dem Zielpunkt werden ebenfalls addiert. Abschließend wird dem Zustand eine Warteschlange früherer Aktionen angehängt.

wobei s der Beobachtungsraum ist. \(p_1(x, y), p_2(x, y), p_3(x,y)\) sind die x- und y-Koordinaten für den Kopf, das Servohorn und das Heck bei Schritt t. \(\delta x\) und \(\delta y\) sind die x- und y-Abstände zwischen dem Kopfpunkt des Roboters und dem aktuellen Ziel. a ist der Aktionsraum, der aus 10 Aktionen von 0 bis 9 besteht, entsprechend der Servogeschwindigkeit im Bereich von 110 bis 200 ms, mit einer Schrittweite von 10 ms. k wird als 100 angenommen, was der vordefinierten maximalen Episodenlänge für dieses Experiment entspricht.

An den beiden Enden des Tanks sind zwei Ziele definiert. Die Aufgabe des Roboters besteht darin, das aktuelle Ziel zu erreichen. Sobald der Roboter erfolgreich ist, wechselt das Ziel zum anderen Ende. Um die Aufgabe zu vereinfachen, wird eine Fehlertoleranz definiert und der Roboter gilt als erfolgreich beim Erreichen des Ziels, wenn er innerhalb einer Distanz von 50 Pixeln vom Ziel entfernt schwimmt. Die zur Erfüllung der Aufgabe definierte Belohnungsfunktion r ist:

wobei die Belohnung das Exponential des euklidischen Abstands dist zwischen dem Kopfpunkt des Roboters und dem Ziel und ein Strafterm als Faktor des Abstands und des Episodenschritts i ist. \(\beta\) ist ein Belohnungsabfallfaktor, \(\alpha\) ist ein Belohnungsmultiplikator und \(\phi\) ist ein Straffaktor. Eine zusätzliche Belohnung wird hinzugefügt, wenn der Roboter den Zielpunkt erreicht. Da der einzige Endzustand für eine Episode das Erreichen des Ziels ohne spezifischen Fehlerzustand ist, wird eine Höchstgrenze für Schritte pro Episode definiert und die auf die Belohnung angewendete Strafe basiert auf der Anzahl der während der Episode verstrichenen Schritte und erhöht sich im Verlauf der Episode länger. Das Schrittlimit und die variablen Faktoren in der Belohnungsfunktion wurden durch Versuche ausgewählt. Die maximalen Schritte pro Episode, \(\alpha\), \(\beta\), \(\phi\) und die Zielbelohnung sind auf 100, 10, 200, \(10^{-5}\) und festgelegt 200 bzw.

Mittlere Episodenbelohnung während des anfänglichen Trainings der drei Algorithmen für 25.000 Schritte.

Um den Roboter zu trainieren, werden drei RL-Algorithmen verwendet, um ihre Leistungen zu vergleichen. Bei den ersten beiden handelt es sich um richtlinienbasierte Algorithmen: Proximal Policy Optimization (PPO)44 und Advantage Actor-Critic (A2C)45, bei denen es sich um Policy-Gradient-Methoden handelt. Das dritte ist das Deep Q-Network (DQN)46, eine wertbasierte Methode außerhalb der Richtlinien. Die Durchführung des Trainings am tatsächlichen Roboter wird durch Hardwareeinschränkungen beeinträchtigt, wie z. B. die Haltbarkeit der verwendeten Materialien und die Unfähigkeit, den Servomotor über längere Zeiträume zu betreiben. Daher wurde das Training für begrenzte Zeiträume durchgeführt, da jeder Algorithmus für etwa 25.000 Schritte trainiert wurde, um seine Leistung zu vergleichen. Die mittlere Belohnung pro Episode für die drei Algorithmen während der ersten Trainingsschritte ist in Abb. 9 dargestellt. Wir können beobachten, dass die Belohnung und das Verhalten des Roboters während dieses ersten Trainings bei Verwendung von PPO konsistenter sind als bei A2C und DQN. Unter Berücksichtigung dieser Ergebnisse wird der PPO-Algorithmus ausgewählt, der für das weitere Training verwendet werden soll. Drei PPO-Agenten mit unterschiedlichen Zufallsstartwerten wurden für jeweils etwa 50.000 Schritte trainiert, wobei die Trainingsparameter in Tabelle 1 dargestellt sind. Die durchschnittlichen Episodenbelohnungen und -verluste der Agenten während des Trainings sind in Abb. 10 dargestellt.

Mittlere Episodenbelohnung sowie Wert- und Richtliniengradientenverluste während des Trainings der drei PPO-Agenten für 50.000 Schritte.

Der beste Agent wird an der Aufgabe getestet, das Ziel in möglichst wenigen Schritten zu erreichen. Abbildung 11 zeigt den Weg und die Betätigungsschwingungsfrequenzen, die der Roboter zurücklegt, um die beiden definierten Ziele zu erreichen. Während des Tests startet der Roboter an einer zufälligen Stelle im Tank und schwimmt auf das Ziel 1 zu. Das Erreichen des ersten Ziels belohnt den Roboter und ändert das Ziel in Ziel 2. Der Roboter kann die Richtung ändern und auf das zweite Ziel zuschwimmen, um zu gelangen eine weitere Belohnung und das Ende der Testfolge. Der Roboter gilt als erfolgreich beim Erreichen des Ziels, wenn er sich in einem Umkreis von 50 Pixeln davon befindet, was einer Genauigkeit von etwa \(95\%\) entspricht.

Ergebnisse des Testlaufs. (a) Der Weg, den der Roboter nimmt, um die beiden Ziele zu erreichen. (b) Die Abfolge von Aktionen, dargestellt als Variation der Heckhubzeit durch Änderung der Servogeschwindigkeit.

Die Entwicklung von Steueralgorithmen für Unterwasser-Soft-Robotiksysteme ist aufgrund der nichtlinearen Soft-Body-Dynamik und der Komplexität der Fluid-Struktur-Interaktion in Unterwasserumgebungen eine anspruchsvolle Aufgabe. In dieser Arbeit wurde der Einsatz von Reinforcement Learning als modellfreier Ansatz zum Erlernen einer Kontrollpolitik für einen biomimetischen Roboterfisch mit weichem und starrem Hybrid untersucht. Tabelle 2 zeigt einen Vergleich zwischen unserer Arbeit und anderen Arbeiten in der Literatur im Hinblick auf die Modellierung und Steuerung weicher Unterwasserroboter.

Bei dieser Arbeit bestand eine der größten Herausforderungen darin, das RL-Training direkt auf der Roboterhardware durchzuführen. Die Anzahl der Trainingsepisoden und die Möglichkeit, mehrere Agenten zu trainieren, werden begrenzt, da das Training zeitaufwändig ist und sich auf die Lebensdauer, Haltbarkeit und Eigenschaften des weichen Materials auswirkt und sein Verhalten mit der Zeit ändert. Eine Lösung wäre die Entwicklung eines geeigneten Physiksimulators, der RL an Mehrkörper-Softrobotern in Unterwasserumgebungen simulieren und durchführen und dann das Lernen durch sim2real-Techniken optimieren kann. Einige Studien befassten sich bereits mit der Verwendung beschleunigter Simulatoren und der rechnergestützten Designsynthese zur gemeinsamen Co-Optimierung des Designs und der Steuerung von Soft-Robotern55, der Entwicklung datengesteuerter Sim2Real-Techniken56 oder der Entwicklung einer räumlichen und Formgrammatik in Verbindung mit der Verwendung von RL und Optimierungsalgorithmen für das Co-Design Morphologie und Betätigung57,58. Diese Fortschritte in der Soft-Robotik-Simulation würden dazu beitragen, den Trainingsprozess der RL-Agenten von Soft-Robotern voranzutreiben und zu verbessern. Eine weitere mögliche Lösung bestünde darin, die Vorteile sowohl modellbasierter als auch modellfreier Techniken zu nutzen, um kombinierte Hybridsteuerungstechniken mit besserer Genauigkeit und Effizienz zu erreichen59. Eine weitere Einschränkung dieser Arbeit liegt in der Betätigungsmethode, die einen Servomotor verwendet, um eine weiche Körperverformung zu erreichen. Es führt eine starre Komponente von erheblicher Größe in den Roboter ein, was sich auf seine Weichheit auswirkt und die Art der Manöver, die er ausführen kann, und die Art und Weise, wie er sich an seine Umgebung anpassen kann, einschränkt. Andere Betätigungsarten wie künstliche Muskeln aus dielektrischen Materialien oder mikrofluidische Aktuatoren könnten dazu beitragen, effizientere weiche Biohybridschwimmer zu bauen60,61.

Schließlich glauben wir, dass die Lösung des Steuerungsproblems in der Soft-Robotik mit der Lösung des Modellierungsproblems einhergeht, wobei wir die hohe Dimensionalität dieser Modelle und ihre Anwendbarkeit in der Echtzeitsteuerung berücksichtigen. Zu den vielversprechenden Ansätzen gehören die Ausnutzung der Weichheit des Roboters durch verkörperte Intelligenz und morphologische Berechnungen, die Verwendung von Modellen reduzierter Ordnung neben robuster Steuerung und unendlicher Dimensionssteuerung24.

Abschließend schlug dieser Artikel einen Entwurf für einen biomimetischen Roboterfisch mit einem nachgiebigen Schwanz vor, der vom Pangasius-Fisch inspiriert war. Der Roboter nutzt eine Flossenstrahlstruktur aus weichelastischen Materialien, die von einem Servomotor angetrieben wird. Die Verformung des weichen Flossenrochenschwanzes des Roboterfisches ahmt die wellenförmige Bewegung des Pangasiusfisches beim Karangiformenschwimmen nach. Die unterschiedliche Wellenfrequenz des Schwanzes ermöglicht es dem Roboter, sich unter Wasser ähnlich wie ein echter Fisch fortzubewegen. Wir untersuchen auch die Möglichkeit, eine Steuerungsrichtlinie zu erlernen, um dem Roboter eine bestimmte Aufgabe beizubringen, in diesem Fall das Erreichen eines bestimmten Ziels. Mithilfe von Reinforcement Learning (RL) konnte der Roboter lernen, zwei verschiedene Ziele an gegenüberliegenden Stellen im Tank zu erreichen. Durch das direkte Training des RL-Algorithmus am realen Prototyp entfällt die Notwendigkeit, irgendwelche sim2real-Übertragungsmethoden zu verwenden. Trotz der Komplexität der Soft-Roboter-Dynamik, der Fluid-Struktur-Interaktion und der hydrodynamischen Kräfte liefert der Lernprozess gute Ergebnisse für die vorgegebene Aufgabe. Das Training des Agenten für mehr Schritte würde es ihm möglicherweise ermöglichen, die Umgebung besser zu nutzen und komplexeres Schwimmverhalten zu erlernen.

Wir glauben, dass RL in ähnlicher Weise auf einem Soft-Roboter mit eingebetteten Soft-Aktuatoren implementiert werden könnte, da dieser weder über Vorkenntnisse noch über ein Modell des Systems verfügt. Eine Änderung der Betätigungsmethode auf einen weichen Aktuator würde die Formulierung des Aktionsraums verändern. Unter der Annahme, dass die Leistung des Aktors konstant ist, um das beabsichtigte Betätigungsverhalten bereitzustellen, sollte der RL-Algorithmus in der Lage sein, eine Steuerungsrichtlinie zu erlernen, wie bereits in der Literatur gezeigt wurde. Als nächster Schritt sind weitere Untersuchungen mit verschiedenen Aktor- und Soft-Roboter-Systemen vorgesehen.

In zukünftigen Arbeiten werden wir auf den aktuellen Fortschritten aufbauen und daran arbeiten, differenzierbare Simulation und hydrodynamische Simulation neuronaler Netzwerke zu integrieren, um RL-Training in der Simulation zu ermöglichen und dann sim2reale Übertragungstechniken anzuwenden.

An den in der Arbeit beschriebenen echten Fischen wurden keine Experimente durchgeführt, sondern nur mit einer visuellen Monokularkamera vom Typ Logitech C920 aufgezeichnet. Die Verfolgung erfolgte mithilfe eines markerlosen Tracking-Ansatzes, der auf Deep-Learning-Computervision mithilfe der Tierverhaltensanalysebibliothek DeepLabCut basiert, wie im Abschnitt „Posenschätzung“ beschrieben.

Alle während dieser Studie generierten oder analysierten Daten sind in diesem veröffentlichten Artikel [und seinen ergänzenden Informationsdateien] enthalten.

Aracri, S. et al. Weiche Roboter für die Meereserkundung und Offshore-Operationen: Eine Perspektive. Weicher Roboter. 20, 20 (2021).

Google Scholar

Katzschmann, RK, DelPreto, J., MacCurdy, R. & Rus, D. Erforschung des Unterwasserlebens mit einem akustisch gesteuerten weichen Roboterfisch. Wissenschaft. Roboter. 3, 14 (2018).

Artikel Google Scholar

Li, G. et al. Selbstangetriebener Softroboter im Marianengraben. Natur 591, 66–71 (2021).

Artikel ADS CAS Google Scholar

Maddock, L. et al. Die Mechanik und Physiologie des Tierschwimmens (Cambridge University Press, ***, 1994).

Buchen Sie Google Scholar

Sfakiotakis, M., Lane, DM & Davies, JBC Überprüfung der Fischschwimmmodi für die Fortbewegung im Wasser. IEEE J. Ocean. Ing. 24, 237–252 (1999).

Artikel ADS Google Scholar

Romano, D. & Stefanini, C. Roboter-Fisch-Interaktion trägt dazu bei, soziale Pufferung bei Neonsalmlern auszulösen: Die potenzielle Rolle sozialer Robotik bei der Behandlung von Angstzuständen. Int. J. Soc. Roboter. 14, 963–972 (2022).

Artikel Google Scholar

Romano, D. & Stefanini, C. Einzelne Neonsalmler (paracheirodon innesi, myers) optimieren ihre Position in der Gruppe abhängig von externen selektiven Kontexten: Lektion aus einer Fisch-Roboter-Hybridschule. Biosystem. Ing. 204, 170–180 (2021).

Artikel CAS Google Scholar

Romano, D. & Stefanini, C. Jede Farbe, die Sie mögen: Fische, die mit bioinspirierten Robotern interagieren, entschlüsseln Mechanismen, die die Aggregation gemischter Phänotypen fördern. Bioinspir. Biomimetik 20, 20 (2022).

Google Scholar

Worm, M., Landgraf, T. & von der Emde, G. Elektrische Signalsynchronisation als Verhaltensstrategie zur Erzeugung sozialer Aufmerksamkeit in kleinen Gruppen von mormyriden schwach elektrischen Fischen und einem mobilen Fischroboter. Biol. Cybern. 20, 1–15 (2021).

MATH Google Scholar

Brown, AA, Brown, MF, Folk, SR & Utter, BA Archerfish reagieren auf einen jagenden Roboter-Artgenossen. Biol. Cybern. 115, 585–598 (2021).

Artikel MATH Google Scholar

Kim, S., Laschi, C. & Trimmer, B. Weiche Robotik: Eine bioinspirierte Evolution in der Robotik. Trends Biotechnologie. 31, 287–294 (2013).

Artikel CAS Google Scholar

Shepherd, RF et al. Mehrgang-Softroboter. Proz. Natl. Acad. Wissenschaft. 108, 20400–20403 (2011).

Artikel ADS CAS Google Scholar

Lin, H.-T., Leisk, GG & Trimmer, B. Goqbot: Ein von Raupen inspirierter Rollroboter mit weichem Körper. Bioinspir. Biomimetics 6, 026007 (2011).

Artikel ADS Google Scholar

Soliman, M., Mousa, MA, Saleh, MA, Elsamanty, M. & Radwan, AG Modellierung und Implementierung einer weichen biomimetischen Schildkröte unter Verwendung eines Echo-State-Netzwerks und weicher pneumatischer Aktuatoren. Wissenschaft. Rep. 11, 1–11 (2021).

Artikel ADS Google Scholar

Youssef, SM et al. Weiche Unterwasserrobotik: Ein Überblick über Bioinspiration in Design, Betätigung, Modellierung und Steuerung. Mikromaschinen 13, 110 (2022).

Artikel Google Scholar

Hermes, M., Ishida, M., Luhar, M. & Tolley, MT Bioinspirierte formverändernde Softroboter für die Fortbewegung unter Wasser: Betätigung und Optimierung für Krabbeln und Schwimmen. Bioinspirierter sensorischer Betätigungssteuerungs-Unterwasser-Softroboter. Syst. 20, 7–39 (2021).

Artikel Google Scholar

Ming, A. & Zhao, W. Design biomimetischer weicher Unterwasserroboter. In Mechatronic Futures 91–111 (Springer, ***, 2016).

Google Scholar

Yang, T. & Chen, Z. Entwicklung von manövrierfähigen 2D-Roboterfischen, die von mehreren künstlichen Flossen aus ionischem Polymer-Metall-Verbundwerkstoff angetrieben werden. Im Jahr 2015 IEEE International Conference on Robotics and Biomimetics (ROBIO), 255–260 (IEEE, 2015).

Shen, Z., Na, J. & Wang, Z. Ein biomimetischer weicher Unterwasserroboter, inspiriert von Kopffüßern. IEEE-Roboter. Autom. Lette. 2, 2217–2223 (2017).

Artikel Google Scholar

Patterson, ZJ, Sabelhaus, AP, Chin, K., Hellebrekers, T. & Majidi, C. Ein ungebundener, von Schlangensternen inspirierter weicher Roboter für die Unterwasserbewegung im geschlossenen Regelkreis. Im Jahr 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 8758–8764 (IEEE, 2020).

Gatto, VL, Rossiter, JM & Hauser, H. Roboterqualle, angetrieben durch strukturierte Tentakel mit weichem Finray-Effekt. Im Jahr 2020 3. IEEE International Conference on Soft Robotics (RoboSoft), 144–149 (IEEE, 2020).

Rus, D. & Tolley, MT Design, Herstellung und Steuerung von Soft-Robotern. Natur 521, 467–475 (2015).

Artikel ADS CAS Google Scholar

George Thuruthel, T., Ansari, Y., Falotico, E. & Laschi, C. Kontrollstrategien für weiche Robotermanipulatoren: Eine Umfrage. Weicher Roboter. 5, 149–163 (2018).

Artikel Google Scholar

Della Santina, C., Duriez, C. & Rus, D. Modellbasierte Steuerung von Soft-Robotern: Ein Überblick über den Stand der Technik und offene Herausforderungen. arXiv:2110.01358 (arXiv-Vorabdruck) (2021).

Sutton, RS & Barto, AG Reinforcement Learning: Eine Einführung (MIT press, ***, 2018).

MATH Google Scholar

Bhagat, S., Banerjee, H., Ho Tse, ZT & Ren, H. Deep Reinforcement Learning für weiche, flexible Roboter: Kurzrückblick mit bevorstehenden Herausforderungen. Robotik 8, 4 (2019).

Artikel Google Scholar

Yang, T. et al. Ein weicher, künstlicher, muskelbetriebener Roboter mit Verstärkungslernen. Wissenschaft. Rep. 8, 1–8 (2018).

ADS Google Scholar

Wang, Q., Hong, Z. & Zhong, Y. Schwimmen lernen: Online-Bewegungssteuerung eines unteraktivierten Roboteraals basierend auf tiefem Verstärkungslernen. Biomimetische Intelligenz. Roboter. 2, 100066 (2022).

Artikel Google Scholar

Liu, W. et al. Distanzgesteuerte Zielsuche nach einem tiefen visuellen Servo-SMA-gesteuerten Softroboter unter Verwendung von Verstärkungslernen. J. Bionic Eng. 17, 1126–1138 (2020).

Artikel Google Scholar

Wu, Q. et al. Zweibeiniges Gehen eines weichen Unterwasserroboters basierend auf einem datengesteuerten Modell, das vom Oktopus inspiriert ist. Vorderseite. Roboter. AI 9, 25 (2022).

Artikel ADS Google Scholar

Satheeshbabu, S., Uppalapati, NK, Fu, T. & Krishnan, G. Kontinuierliche Kontrolle eines weichen Kontinuumsarms durch tiefes Verstärkungslernen. Im Jahr 2020 3. IEEE International Conference on Soft Robotics (RoboSoft), 497–503 (IEEE, 2020).

Zhang, H., Cao, R., Zilberstein, S., Wu, F. & Chen, X. Auf dem Weg zu einer effektiven Soft-Roboter-Steuerung durch verstärkendes Lernen. In International Conference on Intelligent Robotics and Applications, 173–184 (Springer, 2017).

Malekzadeh, MS, Calinon, S., Bruno, D. & Caldwell, DG Lernen durch Nachahmung mit dem Stiff-Flop-Chirurgieroboter: Ein biomimetischer Ansatz, inspiriert von Oktopusbewegungen. Roboter. Biomimetik 1, 1–15 (2014).

Google Scholar

Thuruthel, TG, Falotico, E., Renda, F. & Laschi, C. Modellbasiertes Verstärkungslernen für die dynamische Steuerung weicher Robotermanipulatoren im geschlossenen Regelkreis. IEEE Trans. Roboter. 35, 124–134 (2018).

Artikel Google Scholar

Mathis, A., Schneider, S., Lauer, J. & Mathis, MW Eine Einführung in Motion Capture mit Deep Learning: Prinzipien, Fallstricke und Perspektiven. Neuron 108, 44–65 (2020).

Artikel CAS Google Scholar

Abbaspour, M. & Vaghefi, A. Experimentelle Hydrodynamik-Bildgebung und Wellenbewegungsgleichung von stetig schwimmenden Fischen (Pangasius sanitwongsei). WIT Trans. Ökologisch. Umgebung. 160, 171–181 (2012).

Artikel Google Scholar

Sahu, B. et al. Schlachtkörpermerkmale von zwei marktfähigen Größenklassen von Pangasius pangasius (Hamilton, 1822). J. Appl. Ichthyol. 29, 226–229 (2013).

Artikel Google Scholar

Mathis, A. et al. Deeplabcut: Markerlose Posenschätzung benutzerdefinierter Körperteile mit Deep Learning. Nat. Neurosci. 20, 20 (2018).

Google Scholar

Bannasch, R. & Kniese, L. Manipulatorwerkzeug und Halte- und/oder Spreizwerkzeug mit mindestens einem Manipulatorwerkzeug (2012). US-Patent 8.333.417.

Yap, YL, Sing, SL & Yeong, WY Ein Überblick über 3D-Druckverfahren und Materialien für Soft Robotics. Rapid Prototyping J. 20, 20 (2020).

Google Scholar

Christianson, C. et al. Von Quallen inspirierter weicher Roboter, der von dielektrischen organischen Roboteraktuatoren mit Flüssigkeitselektrode angetrieben wird. Vorderseite. Roboter. AI 6, 126 (2019).

Artikel ADS Google Scholar

Raffin, A. et al. Stable-baselines3: Zuverlässige Reinforcement-Learning-Implementierungen. J. Mach. Lernen. Res. 22, 1–8 (2021).

MATH Google Scholar

Brockman, G. et al. Openai-Fitnessstudio (2016). arXiv:1606.01540.

Schulman, J., Wolski, F., Dhariwal, P., Radford, A. & Klimov, O. Proximale Richtlinienoptimierungsalgorithmen. arXiv:1707.06347 (arXiv-Vorabdruck) (2017).

Mnih, V. et al. Asynchrone Methoden für Deep Reinforcement Learning. In International Conference on Machine Learning, 1928–1937 (PMLR, 2016).

Mnih, V. et al. Kontrolle auf menschlicher Ebene durch tiefgreifendes Verstärkungslernen. Natur 518, 529–533 (2015).

Artikel ADS CAS Google Scholar

Kopman, V., Laut, J., Acquaviva, F., Rizzo, A. & Porfiri, M. Dynamische Modellierung eines Roboterfisches, der von einem nachgiebigen Schwanz angetrieben wird. IEEE J. Ocean. Ing. 40, 209–221 (2014).

Artikel Google Scholar

El Daou, H., Salumäe, T., Chambers, LD, Megill, WM & Kruusmaa, M. Modellierung eines biologisch inspirierten Roboterfisches, der von nachgiebigen Teilen angetrieben wird. Bioinspir. Biomimetics 9, 016010 (2014).

Artikel ADS Google Scholar

Renda, F., Giorgio-Serchi, F., Boyer, F. & Laschi, C. Modellierung der von Kopffüßern inspirierten gepulsten Jet-Fortbewegung für weiche Unterwasserroboter. Bioinspir. Biomimetics 10, 055005 (2015).

Artikel CAS Google Scholar

Wang, J., McKinley, PK & Tan, X. Dynamische Modellierung von Roboterfischen mit einem durch die Basis betätigten flexiblen Schwanz. J. Dyn. Syst. Mess. Kontrolle 137, 25 (2015).

Artikel Google Scholar

Zhong, Y., Li, Z. & Du, R. Ein neuartiger Roboterfisch mit drahtbetriebenem aktivem Körper und nachgiebigem Schwanz. IEEE/ASME Trans. Mechatron. 22, 1633–1643 (2017).

Artikel Google Scholar

Lin, Y.-H. et al. Modellierung und Steuerung eines weichen Roboterfisches mit integriertem Soft Sensing. Adv. Intel. Syst. 20, 2000244 (2021).

Artikel Google Scholar

Huang, W., Patterson, Z., Majidi, C. & Jawed, MK Modellierung weicher Schwimmroboter mithilfe der diskreten elastischen Stabmethode. In Bioinspired Sensing, Actuation, and Control in Underwater Soft Robotic Systems 247–259 (Springer, ***, 2021).

Kapitel Google Scholar

Obayashi, N., Bosio, C. & Hughes, J. Sanfte passive Schwimmeroptimierung: Von der Simulation zur Realität mithilfe datengesteuerter Transformation. Im Jahr 2022 IEEE 5th International Conference on Soft Robotics (RoboSoft), 328–333 (IEEE, 2022).

Ma, P. et al. Diffaqua: Eine differenzierbare rechnerische Design-Pipeline für weiche Unterwasserschwimmer mit Forminterpolation. ACM Trans. Graph. 40, 1–14 (2021).

Artikel Google Scholar

Du, T., Hughes, J., Wah, S., Matusik, W. & Rus, D. Modellierung und Steuerung weicher Unterwasserroboter mit differenzierbarer Simulation. IEEE-Roboter. Autom. Lette. 6, 4994–5001 (2021).

Artikel Google Scholar

Van Diepen, M. & Shea, K. Eine räumliche Grammatikmethode für die rechnergestützte Designsynthese virtueller Roboter mit weicher Fortbewegung. J. Mech. Des. 141, 25 (2019).

Google Scholar

van Diepen, M. & Shea, K. Co-Design der Morphologie und Betätigung weicher Roboter zur Fortbewegung. J. Mech. Des. 144, 083305 (2022).

Artikel Google Scholar

Sun, B. et al. Jüngste Fortschritte bei der Modellierung und Steuerung bioinspirierter Fischroboter. J. Mar. Sci. Ing. 10, 773 (2022).

Artikel Google Scholar

Rothemund, P., Kellaris, N., Mitchell, SK, Acome, E. & Keplinger, C. Hasel künstliche Muskeln für eine neue Generation lebensechter Roboter – jüngste Fortschritte und zukünftige Chancen. Adv. Mater. 33, 2003375 (2021).

Artikel CAS Google Scholar

Filippi, M., Yasa, O., Kamm, RD, Raman, R. & Katzschmann, RK Wird Mikrofluidik funktionsintegrierte Biohybridroboter ermöglichen? Proz. Natl. Acad. Wissenschaft. 119, e2200741119 (2022).

Artikel CAS Google Scholar

Referenzen herunterladen

Die Autoren danken der Academy of Scientific Research and Technology (ASRT) für die Finanzierung des Projekts \(\#\)4779 und der Nile University für die Unterstützung aller für die Fertigstellung dieser Studie erforderlichen Verfahren.

Open-Access-Finanzierung durch die Science, Technology & Innovation Funding Authority (STDF) in Zusammenarbeit mit der Egyptian Knowledge Bank (EKB).

Bio-Hybrid Soft Robotics Laboratory (BHSRL), Nile University, Sheikh Zayed City, 12588, Ägypten

Samuel M. Youssef, MennaAllah Soliman und Mahmood A. Saleh

Innovation Hub, Nile University, Sheikh Zayed City, 12588, Ägypten

Ahmed H. Elsayed

Fakultät für Ingenieurmathematik und Physik, Universität Kairo, Gizeh, 12613, Ägypten

Ahmed G. Radwan

Nanoelectronics Integrated Systems Center (NISC), Nile University, Sheikh Zayed City, 12588, Ägypten

Ahmed G. Radwan

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

SMY konzipierte das Konzept, entwarf das Experiment, entwickelte die Hauptcodes und schrieb das Manuskript. MS analysierte die Ergebnisse und beteiligte sich an der experimentellen Arbeit. MAS und AHE entwarfen den mechanischen Aufbau und waren für die Prototyping-Aktivitäten verantwortlich. AGR leitet die Forschungsgruppe, analysiert die Ergebnisse und überprüft das Manuskript. Alle Autoren haben die veröffentlichte Version des Manuskripts gelesen und ihr zugestimmt.

Korrespondenz mit Samuel M. Youssef.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Youssef, SM, Soliman, M., Saleh, MA et al. Design und Steuerung eines weichen biomimetischen Pangasius-Fischroboters unter Verwendung von Flossenstrahleffekt und Verstärkungslernen. Sci Rep 12, 21861 (2022). https://doi.org/10.1038/s41598-022-26179-x

Zitat herunterladen

Eingegangen: 18. Mai 2022

Angenommen: 12. Dezember 2022

Veröffentlicht: 18. Dezember 2022

DOI: https://doi.org/10.1038/s41598-022-26179-x

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.