Procesamiento de datos acústicos estacionarios en SonoBat

Desplácese hacia abajo para obtener una guía detallada sobre cómo asignar ID de especies automatizadas a las grabaciones, depurar archivos de ruido, atribuir metadatos a las grabaciones y exportar metadatos en la plantilla de carga masiva de NABat.

Procesamiento de datos acústicos estacionarios en SonoBat

Archivos de atributos

  1. Abra el Asistente de datos de SonoBat y seleccione "Atributo NABat" en el menú desplegable en la parte superior izquierda de la ventana. Para los usuarios con versiones anteriores de SonoBat que no cuentan con el atributo NABat, seleccione "Archivos de atributos". Haga clic en la carpeta en la parte superior derecha de la ventana y navegue hasta la carpeta que contiene los archivos que desea atribuir (debe ser una carpeta para una sola implementación). A continuación, especifique un directorio de salida para guardar los archivos finales haciendo clic en la carpeta en la sección "Carpeta de salida" (también hay una opción para "cambiar el nombre y el atributo en su lugar"). Observe que el panel derecho de la aplicación se llena con una visualización de los metadatos GUANO existentes en el archivo. Esto se ampliará con campos de metadatos NABat.

  2. Para las versiones de SonoBat que incluyen el atribuidor automático de metadatos de NABat, haga clic en el botón "Metadatos de NABat" e ingrese los metadatos en la ventana emergente que aparece. Luego continúe con el paso 4.

  3. Para los usuarios con versiones anteriores de SonoBat que no incluyen el atribuidor NABat, debe agregar manualmente los campos de metadatos para los que tiene datos siguiendo las instrucciones a continuación:

    • Para agregar manualmente un nuevo campo de metadatos, haga clic en uno de los triángulos desplegables amarillos y seleccione "agregar nuevo ..."

    • En el menú emergente, ingrese uno de los nombres de campo de NABat GUANO exactamente como aparece aquí (incluya también NABat |).

    • Haga clic en el menú desplegable en la esquina inferior izquierda de la ventana y seleccione "Crear campo de metadatos avanzados" de las opciones disponibles.

    • Ingrese el valor para ese campo y haga clic en "Aceptar".

    • Repita los pasos anteriores para todos los campos de metadatos de NABat para los que tiene datos.

  4. Una vez que haya agregado todos los metadatos NABat requeridos (y cualquier otro metadato que haya recopilado), haga clic en el botón "Archivos de atributos" en la parte inferior central de la ventana. Deberá completar este proceso una vez para cada implementación de detector, pero los campos de metadatos que agregó manualmente (en versiones sin el atributo automático NABat) estarán disponibles sin volver a agregarlos.

 

Cambiar el nombre de los archivos

Los usuarios de SonoBat con versiones de software que incluyen el atributo automático NABat, pasan a la siguiente sección (Eliminación de ruido). Estas versiones de software cambiarán automáticamente el nombre de los archivos según los metadatos agregados por el usuario.

  1. Si el modelo de detector que está utilizando incrusta automáticamente una marca de tiempo en los archivos de llamadas, "Marca de tiempo" debería aparecer en la lista de metadatos de archivo en la mitad derecha del Asistente de datos de SonoBat. Si es así, puede omitir el proceso de cambio de nombre del archivo. Sin embargo, antes de cargar metadatos en NABat, los usuarios deben asegurarse de que la columna "Tiempo de grabación de audio" del CSV de metadatos exportados contenga valores. De lo contrario, los nombres de archivo deben adherirse al formato de nomenclatura NABat que se describe a continuación.

    • GRTS ID_LOCATION NAME_RECORDING DATE_TIMESTAMP.wav / zc

  2. Si sus archivos no contienen una marca de tiempo incrustada, seleccione la opción "Editor de nombre de archivo" del menú desplegable en la parte superior izquierda de la ventana del Asistente de datos de SonoBat para agregar los componentes Grid Cell GRTS ID y Site Name como un prefijo a los nombres de archivo. Esto quita el texto antes de la fecha y hora y agrega un nuevo prefijo. Sin embargo, el sistema puede separar el nuevo prefijo y el sello de fecha con un guión en lugar de un guión bajo. Todos los campos DEBEN estar separados por un guión bajo. Esto se puede corregir usando la función "renombrar con comodines", disponible en el menú desplegable sobre el cuadro de prefijo.

  3. Utilice la opción "renombrar con comodines" para realizar una función de "buscar y reemplazar" para reemplazar cualquier carácter que entre en conflicto con el formato de nomenclatura de archivos NABat. Ingrese el texto que desea reemplazar en el campo "patrón de búsqueda" y el texto con el que desea reemplazarlo en el campo "reemplazar patrón de búsqueda con". Se proporciona una vista previa de los nombres de los archivos resultantes para que pueda modificar la fórmula antes de realizar los cambios finales. Haga clic en "Editar nombres de archivo" cuando esté listo para actualizar los nombres de archivo. Es posible que deba realizar varias ejecuciones de cambio de nombre de archivos para lograr el formato deseado.

Limpiar archivos de ruido

  1. Haga clic en el icono de la carpeta en la esquina superior derecha de la ventana del Asistente de datos y navegue hasta la carpeta que contiene sus archivos .wav.

  2. Haz clic en el menú desplegable en la parte superior izquierda y selecciona "Limpiador de archivos por lotes".

  3. Seleccione "medio" de las opciones de filtro y asegúrese de seleccionar el filtro de frecuencia adecuado.

  4. Haga clic en "Scrub" en la parte inferior izquierda de la ventana.

Asignar ID de especies

  1. Abra SonoBat Universal y haga clic en el botón "SonoBatch" en la esquina inferior izquierda.

  2. Haga clic en el icono de la carpeta en la parte superior central de la ventana y navegue hasta la carpeta que contiene los archivos que desea procesar.

  3. Seleccione el clasificador más apropiado para su ubicación usando los menús desplegables en el lado izquierdo de la ventana.

  4. Asegúrese de "¿Agregar códigos de especies a los nombres de archivo?" no está seleccionado.

  5. Seleccione "autofiltro" en áreas sin especies de murciélagos de baja frecuencia y "auto-bajo" en áreas con presencia de murciélagos de baja frecuencia.

  6. Establezca la "calidad de llamada aceptable" en 0,80.

  7. Establezca el "umbral de decisión de sqnc" en 0,90.

  8. Establezca el "número máximo de llamadas a considerar" en 16.

  9. Haga clic en "Procesar" en la parte inferior central de la ventana.

Exportar metadatos a la plantilla de carga masiva de NABat

Los siguientes pasos se pueden utilizar para exportar metadatos de todas las implementaciones procesadas simultáneamente, lo que da como resultado un único CSV con metadatos de numerosos sitios. Simplemente seleccione la carpeta principal que contiene todas sus implementaciones procesadas y siga los pasos que se describen a continuación. La presencia de archivos que no sean .wav en la carpeta no interferirá con este proceso. SonoBat ignorará los archivos que no sean .wav.

  1. Abra SonoBat universal y haga clic en el botón "SonoVet" en la esquina inferior izquierda.

  2. Haga clic en el botón "Agregar al proyecto" en la ventana de Project Vetter y navegue hasta la carpeta que contiene los archivos .wav que han sido procesados, renombrados y que contienen todos los metadatos requeridos. NABat solicita que los usuarios proporcionen metadatos para los archivos NOISE depurados. Sin embargo, SonoBat ignora automáticamente cualquier carpeta etiquetada como "Archivos de ruido", "Archivos eliminados" o "Archivos eliminados". Para garantizar que los archivos borrados se carguen en la tabla de SonoVet, cambie el nombre de las carpetas que contienen archivos borrados a "NOTBAT" antes de cargar las carpetas en SonoVet.

  3. Haga clic en la pestaña "Configuración" en la barra de menú superior y luego haga clic en el botón "Cargar diseño" para cargar el formulario de metadatos NABat. Asegúrese de seleccionar el formulario SonoBat apropiado para su versión de software. Los formularios del proyecto SonoBat están disponibles para descargar aquí .

  4. Haga clic en la pestaña "Tabla de verificación" de la barra de menú superior. Asegúrese de que todos los campos obligatorios tengan valores y de que se completen todos los campos para los que ha introducido datos.

  5. Si todo está correcto, haga clic en la pestaña "Exportar" de la barra de menú superior. Seleccione una carpeta de destino para guardar el archivo de metadatos y seleccione "Salida nula como" "o" Salida nula como una celda vacía "" en el menú desplegable en la parte inferior central de la ventana.

  6. Haga clic en "Guardar en archivo".

  7. El archivo .txt resultante debe convertirse a un archivo .csv. Para convertir el archivo en Excel, abra un nuevo libro de trabajo, haga clic en la pestaña Datos, "Obtener datos", "Desde archivo", "Desde texto / CSV". NOTA:dependiendo de su versión de Excel, el proceso puede variar levemente.

  8. En la ventana emergente, navegue hasta el archivo de texto de SonoBat y haga clic en "Importar". Seleccione "Pestaña" como "Delimitador" y haga clic en "Cargar" en la parte inferior derecha de la ventana. Sus datos ahora se abrirán en una hoja de cálculo de Excel.

  9. Para que el sistema NABat lea sus metadatos, los encabezados de columna creados por SonoBat deben reemplazarse con los nombres de los campos de metadatos de la plantilla NABat. Para hacerlo:

    • Seleccione y copie todos los encabezados de columna separados por comas de la siguiente tabla.

    • Seleccione la celda A1 de su hoja de cálculo y pegue los nuevos encabezados de columna.

    • Haga clic en la pestaña "Datos" en Excel.

    • Seleccione el botón "Texto en columnas".

    • En el cuadro de diálogo, seleccione "Delimitado" como tipo de archivo y haga clic en "Siguiente".

    • Seleccione "Coma" como "Delimitadores" y haga clic en "Finalizar".

    • Los encabezados ahora deberían distribuirse en las columnas apropiadas.

  10. La versión de software específica ahora debe agregarse manualmente. Resalte la columna "Tipo de software" y, utilizando la función de buscar / reemplazar, reemplace "SonoBat" por "SonoBat 3.x", "SonoBat 4.2" o "SonoBat 4.x", según la versión de software específica.

  11. Haga clic en Archivo, Guardar como, seleccione la carpeta donde desea guardar la hoja de cálculo de metadatos, asigne al archivo un nombre único y descriptivo y seleccione "CSV (delimitado por comas)" en el menú desplegable "Guardar como tipo".

  12. Sus metadatos ya están listos para cargarse en el Portal de socios de NABat.

Tabla 1. Encabezados de columna de metadatos NABat para levantamientos acústicos estacionarios.

| GRTS ID de celda, nombre de ubicación, latitud, longitud, hora de inicio de la encuesta, hora de finalización de la encuesta, detector, número de serie del detector, micrófono, número de serie del micrófono, orientación del micrófono, altura del micrófono (metros), distancia al desorden más cercano (metros), tipo de desorden , Distancia al agua más cercana (metros), Tipo de agua, Porcentaje de desorden, Tipo de hábitat amplio, Código de unidad terrestre, Contacto, Resistente al clima, Sucesos inusuales, Temperatura baja nocturna, Temperatura alta nocturna, Humedad relativa baja por la noche, Humedad relativa alta por la noche, Humedad relativa alta por la noche, Por la noche Evento de clima bajo, Evento de clima alto por la noche, Velocidad del viento baja por la noche, Velocidad del viento alta por la noche, Nubosidad baja por la noche, Cubierta de nubes alta por la noche, Nombre de grabación de audio, Tiempo de grabación de audio, Tipo de software, Identificación automática, Identificación manual, Lista de especies

Rename Files

SonoBat users with software versions that include the automatic NABat attributor, skip to the next section (Noise Scrubbing). These software versions will automatically rename files based on user-added metadata.

1. If the detector model you're using automatically embeds a timestamp into call files, "Timestamp" should appear in the list of file metadata in the right half of the SonoBat Data Wizard. If so, you may skip the file renaming process. However, before uploading metadata to NABat, users should ensure that the "Audio Recording Time" column of the exported metadata CSV contains values. Otherwise, file names must adhere to the NABat naming format outlined below.

• GRTS ID_LOCATION NAME_RECORDING DATE_TIMESTAMP.wav/zc ​

2. If your files do not contain an embedded timestamp, select the "Filname Editor" option from the drop-down menu in the top left of the SonoBat Data Wizard window to add the Grid Cell GRTS ID and Site Name components as a prefix to filenames. This strips the text before the date timestamp and adds a new prefix. However, the system may separate the new prefix and the date stamp with a dash rather than an underscore. All fields MUST be separated by an underscore. This can be corrected using the "rename with wildcards" function, available from the drop-down menu above the prefix box.​

3. Use the "rename with wildcards" option to perform a "find-and-replace" function to replace any characters that conflict with the NABat file naming format. Enter the text you wish to replace in the "search pattern" field and the text you wish to replace it with in the "replace search pattern with" field. A preview of the resulting file names is provided so you can tweak the formula before making final changes. Click "Edit Filenames" when you’re ready to update the file names. You might need to make multiple file renaming runs to achieve the desired format.

Scrub Noise Files

1. Click the folder icon in the top right corner of the Data Wizard window and navigate to the folder containing your .wav files.

2. Click the drop-down menu in the top left and select "Batch File Scrubber."

3. Select "medium" from the filter options and ensure the appropriate frequency filter is selected.

4. Click "Scrub" in the bottom left of the window.

Assign Species IDs

1. Open SonoBat Universal and click the "SonoBatch" button in the lower left corner.

2. Click the folder icon in the top center of the window and navigate to the folder containing the files you wish to process.

3. Select the classifier most appropriate for your location using the drop-down menus on the left side of the window.

4. Ensure "Append species codes to filenames?" is not selected.

5. Select "autofilter" in areas without low-frequency bat species and "auto-low" in areas with low-frequency bats present.

6. Set "acceptable call quality" to 0.80.

7. Set "sqnc decision threshold" to 0.90.

8. Set "max number of calls to consider" to 16.

9. Click "Process" in the bottom center of the window.

Processing mobile transect data in SonoBat

Attribute Files

1. Open SonoBat Data Wizard.

2. Click the folder icon in the top right corner of the window and navigate to the folder containing your .wav/.zc files.

NOTE: In order to embed and export metadata, mobile transects must be processed individually. Select a folder containing data for a single mobile transect.

3. To add/update NABat metadata, select "NABat Attributer" from the dropdown menu in the top left. For users with older versions of  SonoBat that do not feature the NABat attributer, select "Attribute Files." Check to ensure that the input folder is still correct and navigate back to the desired folder if necessary. Once the correct input folder is selected, specify an output directory location to save the final files (there is also an option to "rename and attribute in place"). Notice that the right panel of the application fills with a display of the existing GUANO metadata in the file. This will be augmented with NABat metadata fields. Required NABat fields and optional NABat fields are outlined here. Users with SonoBat versions that do not include the NABat Attributer can skip to step 9.​

 

• Users with SonoBat versions that include the automatic NABat metadata attributer, click the "NABat Metadata" button. In the pop-up window, click the box to confirm that you are processing mobile transect data.

• The SonoBat NABat attributer is somewhat out of date, and several fields can be ignored while others must be manually entered (outlined in step 9). However, this tool is useful for entering required fields.

If your mobile transect passes through > 1 cell, and you have a record of the X,Y location where each call was recorded (using an external GPS or a GPS enabled detector), leave the Start/End GPS and NABat Grid Cell ID fields blank. The NABat system will use the X,Y locations to auto-assign the correct Grid Cell to each call. Otherwise, calls recorded outside the primary cell will produce a Lat/Long-Grid Cell mismatch error.

If you are unable to provide the X,Y location where each file was recorded, the NABat system will estimate the location based on user-provided spatial information for the route, timestamps of each file, and the start/end times of the survey. In this case, it is critical that users provide a spatial object for the route prior to uploading metadata, ensure timestamps are provided for each file, provide start and end times of the route, and leave the GRTS Cell ID column of the metadata upload blank. Instructions on uploading or drawing a spatial object for mobile transect routes is available here.

4. Complete the fields for Site Name, Monitoring Start Time, and Monitoring End Time, and click the arrow (bottom right) to proceed to the next page. These are required fields and must be completed before uploading data to NABat.

5. Complete the fields for Surveyor and Habitat Type (not required) and ignore the remaining fields. Click the arrow to proceed to the next page.

6. Complete fields for Detector Type, Detector Serial Number, and Microphone Type (not required) and ignore the remaining fields. Click the arrow to proceed to the next page.

7. Click "Finish" in the bottom right.

8. Software Type and Species List are required fields that must be entered manually. Microphone Serial Number, Microphone Placement, and weather covariates are not required, but must also be entered manually if you wish to include these data. Guidance for manually adding metadata fields is listed in step 9.

9. For users with older versions of SonoBat that do not include the NABat attributer, you must manually add metadata fields for which you have data using the instructions below:

• To manually add a new metadata field, click on one of the yellow dropdown triangles and select "add new…"

• In the pop-up menu, enter one of the NABat field names exactly as it appears here (include the NABat| as well).

• Click the drop-down menu in the bottom left corner of the window and select "Create advanced metadata field" from the available options.

• Input the value for that field and click "Accept."

• Repeat the above steps for all NABat metadata fields for which you have data.​

 

Export Metadata into the NABat Bulk Upload Template

The following steps can be used to export metadata from all processed transects simultaneously, resulting in a single CSV with metadata from numerous routes. Simply select the parent folder that contains all of your processed transects and follow the steps outlined below. The presence of non .wav files in the folder will not interfere with this process. SonoBat will ignore non .wav files.

1.Open SonoBat universal and click the "SonoVet" button in the lower left corner.

2. Click the "Add to Project" button in the Project Vetter window and navigate to the folder containing .wav files that have been processed, renamed, and which contain all required metadata.

• NABat requests that users provide metadata for scrubbed NOISE files. However, SonoBat automatically ignores any folder labeled "Noise Files," "Deleted Files," or "Scrubbed Files." To ensure scrubbed files load in the SonoVet table, rename folders containing scrubbed files as "NOTBAT" before loading folders in SonoVet.

3. Click the "Settings" tab on the top menu bar and click the "Load Layout" button to load the NABat metadata form. Be sure to select the appropriate SonoBat form for the software version and survey type. Project forms are available for download here

​4. Click the "Vetting Table" tab from the top menu bar. Ensure all required fields have values and that all fields for which you have entered data are filled.​

5. If everything is correct, click the "Export" tab from the top menu bar. Select a destination folder to save the metadata file and select "Output null as """  or "Output null as an empty cell" from the dropdown menu in the bottom center of the window.

6. Click "Save to File."

7. The resulting .txt file must be converted to a .csv file. To convert the file in Excel, open a new workbook, click the Data tab, then "Get Data," "From File," and finally "From Text/CSV." Note: depending on your version of Excel, the process may vary slightly.

8. In the pop-up window, navigate to the SonoBat text file and click "Import." Select "Tab" as the "Delimiter" and click "Load" in the bottom right of the window. Your data will now open in an Excel spreadsheet.

9. Users who saved latitude and longitude of recordings with an external GPS unit must manually add X,Y locations to the bulk metadata spreadsheet. To begin, download the locations file from your GPS unit. This is typically in the form of a text file with columns for filename, latitude, and longitude. Users with GPS enabled detectors that embed X,Y locations into call files (the latitude/longitude columns of your CSV will already contain data) can skip to step 16.

10. Import the GPS text file into Excel:

Open a new spreadsheet. Click the "Data" tab and select "Get Data," "From File," "From Text/CSV."

Navigate to your GPS text file and click "Open."

A dialogue box will appear with a preview of the data to be imported. The GPS text files are typically tab delimited. If your data are properly sorted into columns, click "Load." If not, use the "Delimiter" drop-down menu to select the appropriate delimiter and click "Load."​

11. When your data are loaded into an Excel spreadsheet, click the "Sort and Filter" button (under the Home tab) and select "Custom Sort."​

12. In the dialogue box, select the column containing your filenames to "Sort by."

13. Next, open the CSV containing your transect metadata. Follow steps 11-12 to sort the metadata document by the Audio Recording Name column.

14. The two Excel documents (metadata CSV and GPS spreadsheet) should now be sorted by filename. Double check to ensure that the filename columns match.

15. If the documents are sorted properly, you can now copy and paste the latitude and longitude columns from the GPS file into the metadata CSV. Select the latitude and longitude columns of the GPS document. Highlight the latitude and longitude columns, right click, and select "Copy." Next, select the Latitude cell of the first call for the deployment, right click, and select "Paste." The Latitude and Longitude columns should now be filled with the corresponding values.

16. In order for the NABat system to read your metadata, the column headers created by SonoBat must be replaced with the metadata field names from the NABat template. To do so:

Select and copy all the comma-separated column headers from the table below. 

Select cell A1 of your spreadsheet, and paste in the new column headers.

Click the "Data" tab in Excel. 

Select the "Text to Columns" button. 

In the dialogue box, select "Delimited" as the file type and click "Next."

Select "Comma" as the "Delimiters" and click "Finish." 

The headers should now be distributed into the appropriate columns. 

17. The specific software version must now be manually added. Highlight the "Software Type" column, and using the find/replace function, replace "SonoBat" with "SonoBat 3.x," "SonoBat 4.2," or "SonoBat 4.x," depending on your specific software version.

18. Click File, then Save As, and select the folder where you wish to save the metadata spreadsheet. Give the file a unique and descriptive name and then select "CSV (Comma delimited)" from the "Save as type" dropdown.

19. Your metadata is now ready for upload to the NABat Partner Portal.

Table 1. NABat metadata column headers for stationary acoustic surveys.

| GRTS Cell Id, Location Name, Survey Start Time, Survey End Time, Detector, Detector Serial Number, Microphone, Microphone Serial Number, Microphone Placement, Contact, Comments, Unusual Occurrences, Event Low Temperature, Event High Temperature, Event Low Relative Humidity, Event High Relative Humidity, Event Low Weather Event, Event High Weather Event, Event Low Wind Speed, Event High Wind Speed, Event Low Cloud Cover, Event High Cloud Cover, Audio Recording Name, Audio Recording Time, Latitude, Longitude, Software Type, Auto ID, Manual Id, Species List