Leçons tirées de Beyond the Horizon : une campagne de terrain téléopérée

– Par Muriel Dunn et Martin Ludvigsen – 

Au cours de la première semaine de juin 2024, le groupe de terrain (trois robots océaniques et trois ingénieurs) s’est rendu à la magnifique station de Mausund pour une semaine de travail sur le terrain. Le reste d’entre nous, le groupe de la salle de contrôle (étudiants, chercheurs et opérateurs de véhicules), est resté à Trondheim et a passé la semaine entouré d’écrans dans la salle de contrôle de la station biologique de Trondheim.

L’objectif principal du projet était de tester des méthodes de détection des essaims de Calanus, une espèce de zooplancton dont la pêche au niveau trophique inférieur est en train d’émerger, dans le cadre du SFI Harvest, un centre d’innovation basé sur la recherche. Les essaims de Calanus forment des agrégations denses visibles depuis l’espace et représentent une biomasse importante qu’il est intéressant de récolter. Cependant, les méthodes de pêche traditionnelles ne sont pas compatibles avec la localisation et la récolte des bancs de Calanus. Dans le cadre de l’objectif de recherche SFI Harvest Characterization, nous voulions mettre en place des technologies d’enquête pour la détection autonome des essaims de zooplancton en utilisant l’acoustique active et la caractérisation des espèces pour identifier s’il s’agit de Calanus en utilisant l’optique (caméra Silhouette de SINTEF).

Un autre objectif important de la campagne était de repousser les limites des robots océaniques autonomes et télécommandés en les faisant collaborer les uns avec les autres au-delà de la ligne de mire des pilotes. L’objectif de la robotique collaborative est de permettre des stratégies de collecte de données complémentaires. En connectant le véhicule à un réseau de communication virtuel commun, les véhicules pourraient être exploités conjointement à partir d’une salle de contrôle à distance, ce qui renforcerait notre capacité à faire collaborer les robots, tandis qu’une meilleure coordination entre les opérateurs augmenterait l’efficacité des opérations. L’utilisation d’une salle de contrôle à distance a permis d’intégrer des experts en temps réel sans avoir à les faire venir sur le site.

Les trois robots utilisés pour les missions étaient Grethe, Thor et Autonaut. Grethe est un véhicule de surface sans équipage (USV) à moteur électrique (Mariner de Maritime Robotics, https://www.maritimerobotics.com/mariner) muni d’échosondeurs (Kongsberg Discovery AS, www.kongsberg.com), d’un AIS et de caméras. Thor est un véhicule sous-marin autonome léger (L-AUV; par OceanScan, https://www.oceanscan-mst.com/) doté d’un CTD, d’un échosondeur et d’une caméra optique. L’Autonaut est un véhicule de surface autonome (ASV), alimenté par les vagues et l’énergie solaire (Autonaut par MOST, https://autonaut.itk.ntnu.no/doku.php).

Nous avons commencé la campagne de terrain par la mobilisation (groupe de terrain, les robots; groupe de la salle de contrôle, les systèmes de surveillance et de communication) et par des essais modulaires des robots, de la fonctionnalité des capteurs et des opérations à distance. Au cours de cette période, nous nous sommes habitués à piloter les robots « au-delà de l’horizon », c’est-à-dire au-delà de la ligne de mire du pilote. Les ingénieurs étaient sur place pour déployer, récupérer et contrôler que tous les robots fonctionnaient comme ils le devaient, et le pilotage s’est fait depuis le confort de la salle de contrôle à Trondheim.

Le cœur de la campagne était constitué par les missions de collaboration entre Grethe, le bateau sans équipage, et Tor, le véhicule sous-marin. Grethe a balayé la région étudiée à l’aide de l’échosondeur pour repérer les zones où le zooplancton est abondant. Un algorithme d’intelligence artificielle conçu à partir d’une technique de regroupement fonctionnait en temps réel et évaluait les données à la recherche d’une agrégation de zooplancton près de la surface dans les données de l’échosondeur. Lorsque Grethe a détecté une agrégation de zooplancton dans les données acoustiques, elle a envoyé la position et la profondeur à Tor, qui attendait dans la région étudiée. Une fois que Tor a reçu la position et la profondeur souhaitées, il a plongé et s’est rendu au point GPS sans interférence de la part des pilotes. Tor a recueilli des images de zooplancton dans l’agrégation de zooplancton afin d’identifier et de dimensionner les zooplanctons individuels dans les couches.

En nous inspirant de cette collaboration robotique innovante, nous pouvons tirer parti des atouts des véhicules et plateformes autonomes ainsi que de leurs capteurs pour mieux comprendre les océans et leurs écosystèmes. Dans ce cas, nous espérons élaborer de meilleures méthodes d’évaluation des stocks d’espèces de niveau trophique inférieur et une pêche plus durable.

– By Muriel Dunn and Martin Ludvigsen – 

During the first week of June 2024, the field group (3 ocean-going robots and 3 engineers) set off to the beautiful Mausund field station (off the coast of Norway, Figure 1) for a week of field work. The rest of us, the control room group (students, researchers and vehicle operators), stayed behind in Trondheim and spent the week surrounded by screens in the control room of the Trondheim Biological Station (Figure 2).

The main project goal was to test methods to detect swarms of Calanus, a zooplankton species with an emerging lower trophic level fishery, as part of the SFI Harvest, a Center for Research-based innovation. Calanus swarms in dense aggregations that can be seen from space and they present a large biomass of interest for harvesting. However, traditional methods for fishing are not compatible for locating and harvesting the patches of Calanus. As part of the SFI Harvest Characterization research objective, we wanted to develop survey technologies for autonomous detection of zooplankton swarms using active acoustics and characterization of the species to identify if it is Calanus using optics (SINTEF Silhouette camera).

Another important goal for the campaign was to push the limits of the autonomous and remotely-operated ocean-going robots by making them collaborate with each other beyond the line of sigh of the pilots. The purpose of collaborative robotics is enable complementary data collection strategies. Connecting the vehicle to a common virtual communication network, the vehicles could be operated jointly from a remote control room enhancing our ability to let the robotics collaborate  while improved coordination between the operators increases the efficiency of the operations. By running a remote control room discipline experts could be included in real time without the logistics of bringing them to the site.

The three robots used for the missions were Grethe, Thor and the Autonaut. Grethe is an uncrewed surface vehicle (USV) with an electric engine (Mariner by Maritime Robotics, https://www.maritimerobotics.com/mariner) equipped with echosounders (Kongsberg Discovery AS, www.kongsberg.com), AIS and cameras. Thor is a light autonomous underwater vehicle (L-AUV; by OceanScan, https://www.oceanscan-mst.com/) equipped with CTD, echosounder and an optical camera. The Autonaut is an autonomous surface vehicle (ASV), powered by wave and solar power (Autonaut by MOST, https://autonaut.itk.ntnu.no/doku.php)

We started the field campaign with mobilisation (field group, the robots; control room group, the monitoring and communication systems) and modular testing of robots and sensor functionality and remote operations. During this period, we worked on getting used to piloting the robots “beyond the horizon, i.e. beyond the line of sight of the pilot. The engineers were onsite to deploy, recover and monitor that all the robots were operating as they should and the piloting was done from the comfort of the control room in Trondheim.

The crux of the campaign was the collaborative missions between Grethe, the uncrewed boat and Tor, the underwater vehicle (Figure 3). Grethe scanned the study region with the echosounder for areas with high zooplankton abundance. An artificial intelligence algorithm developed from a clustering technique was running in real-time and assessing the data for a near-surface zooplankton aggregation in the echosounder data. Once Grethe detected a zooplankton aggregation in the acoustic data it sent the location and depth to Tor, who was waiting in the study region. Once the location and depth of interest was received by Tor, it dove and traveled to the GPS point without interference from the pilots. Tor collected images of zooplankton within the zooplankton aggregation to identify and size the individual zooplankton within the layers.

Building on this innovative robotic collaboration, we can leverage strengths of autonomous vehicles and platforms as well as their sensors to get a better understanding of the oceans and their ecosystems. In this case, we hope to develop better methods for stock assessments of lower trophic level species and a more sustainable fishery.

Finally, here are 5 lessons learnt during the Beyond the Horizon field campaign:

1. Check the sensors.
   Working, collecting and in good state. It is easy to get focused on the robots and their deployment and needs because of the complexity and level of detail required but collecting high quality data from the sensors is needed for results and analysis.
2. Trust the robots and the field crew.
   The robots are built to be robust and need to be allowed to be used to their full potential. We have to accept some level of risk to reach new levels of innovation.
3. Communication really is key.
   Communication happens on many levels in this type of campaign: between the robots., between the pilots and the robots, between the field group and the control room group and within the groups. Maintaining clear lines of communications are aided technologies like Teams, Starlink, Neptus, acoustic modems, USBL which are always developing speed and reliability. However, communication technology is the innovation space that can make the most difference in reducing risks during remotely operated collaborative missions. Direct communication from the remote USV operators boats nearby would ensure good communication and reduce risk.
4. Field work FOMO (fear of missing out) is outdated.
   Though it would have been great to have a week together at the Mausund field station, there are many benefits to a remote campaign. The possibility to sit in a room without distractions with several monitors showing all the information you need (AIS, cameras, real-time data streaming, weather, control monitors with battery etc.) allows the vehicle operators and researchers to make informed decisions about the scientific missions based on the information they are receiving. It is also a more sustainable and flexible approach to field work.
5. Situational awareness
   The remote control room have clear disadvantages for situational understanding of the situation at sea, onboard the vessel you will feel the wind and waves on your body literally having a 360 degree view you will also hear certain sounds. However, the cognitive capacity in a control room is considerable higher compared to onboard wavy boat. Information streams such as AIS, traffic information meteorology and remote is easier conceived in a control. To ensure good situational awareness in the control room you cannot stream to many cameras and radars should also be applied to complement optical imagery.

Funded by SFI Harvest and contributions from Ahmed Abdelgayed, André Olaisen, Emily Venables, Halvar Gravråkmo, Karoline Barstein, Kay Arne Skarpnes, Leonard Günzel, Leif Gimsmo, Martin Bredesen, Pavel Skipenes, Rabea Rogge, Ralph Stevenson-Jones, Robert Staven and Torstein Nordgård.

Muriel Dunn is a Research Scientist at SINTEF Ocean in Trondheim, Norway, where she works in operational oceanography with the OceanLab observatory focusing on acoustics and data fusion. She earned a B.Sc. In Physical and Physical Oceanography from University of British Columbia, a M.Sc. in Physical Oceanography from Memorial University of Newfoundland (MUN) and a Ph.D. in Fisheries Sciences from the Fisheries and Marine Institute at MUN.

Martin Ludvigsen is professor and head of the Applied Underwater Laboratory (AUR-Lab) at the Department of Marine Engineering NTNU. Key research interests include autonomy, machine vision and machine learning, navigation, control, design and operation of underwater vehicles and instrumentation. He is professor II in marine technology both at Svalbard University Center (UNIS) in Longyearbyen and at UiT in Tromsø. Here he works with both Arctic marine measurement techniques, operations and transport. He is also associated with the Center for autonomous marine operations and systems (NTNU AMOS).