Procesamiento de datos acústicos estacionarios en Kaleidoscope Pro

Desplácese hacia abajo para obtener una guía detallada sobre cómo asignar ID de especies automatizadas a las grabaciones, depurar archivos de ruido, atribuir metadatos a las grabaciones y exportar metadatos en la plantilla de carga masiva de NABat.

Procesamiento de datos acústicos estacionarios en Kaleidoscope Pro

  1. Abra Kaleidoscope y haga clic en "Examinar" para seleccionar el directorio de entrada de la carpeta que contiene sus archivos .wav / .zc. Seleccione la casilla junto al tipo de archivos de entrada (WAV / ZC). NOTA:seleccione una carpeta que contiene todos los datos para un despliegue único detector de todas las noches (en un solo sitio). Esta es la selección más amplia para la que todos los archivos compartirán los mismos metadatos (nombre del sitio, latitud, longitud, etc.).

  2. Descargue los formularios de metadatos NABat requeridos aquí (NABat_Metadata_Form_Kaleidoscope_‌Stationary.xml para usar con los pasos 1-9 a continuación y NABat_Stationary_Meta_Output_Only_KPRO.xml para usar con los pasos 12-18 a continuación). A continuación, haga clic en el menú desplegable sobre el "Formulario de proyecto predeterminado" y seleccione "Agregar o reemplazar un formulario de proyecto". Navegue a NABat_Metadata_Form_Kaleidoscope_‌Stationary.xml y seleccione el archivo. El formulario de metadatos NABat ahora se cargará en la parte inferior de la sección INPUTS (la mitad izquierda de la ventana Kaleidoscope).

  3. Complete todos los campos de metadatos para los que tiene datos. Los campos obligatorios incluyen el ID de celda de GRTS o la latitud y longitud, el nombre de la ubicación, la hora de inicio de la encuesta, la hora de finalización de la encuesta, el tipo de software y la lista de especies. Algunos campos requieren un formato específico. Pase el puntero sobre un campo para dar formato a sugerencias y / o una lista de entradas aceptadas.

  4. Una vez que se hayan completado todos los campos de metadatos obligatorios (y cualquier campo adicional para el que tenga datos), seleccione el directorio de salida deseado para guardar los archivos procesados ​​haciendo clic en "Examinar" en la parte superior derecha de la ventana.

  5. Una vez que se ha seleccionado el directorio de salida, elija "Por la noche" en el menú desplegable "Crear subdirectorios" para mantener los archivos nuevos organizados por noche del detector. A continuación, seleccione el tipo de archivos de salida que desea crear, WAV o ZC (los archivos ZC no se pueden convertir a WAV). Para exportar metadatos con éxito, debe seleccionar archivos WAV o ZC en la ventana SALIDAS y crear copias de los archivos originales durante este paso. Estas copias contendrán metadatos incrustados que serán la fuente de la hoja de cálculo de salida "meta" que cargará en NABat.

    • Los usuarios con archivos de cruce por cero que terminan en la extensión. # En lugar de .zc deben seleccionar las opciones "Nombres de archivo 8.3" y "Usar .zc en lugar de. ?? #" debajo de "Archivos ZC".De lo contrario, Kaleidoscope eliminará los segundos del nombre del archivo, lo que aumentará la probabilidad de que haya nombres de archivo duplicados (resultantes de archivos distintos registrados en el mismo minuto) que crearán errores al cargar metadatos en la base de datos NABat.

  6. A continuación, haz clic en la pestaña "Auto ID para murciélagos" en la parte superior de la ventana. Seleccione "Murciélagos de América del Norte" en el menú desplegable "Clasificadores". Seleccione "+ 1 más precisa (conservadora)" del menú desplegable en la parte superior derecha y seleccione su estado / región en el menú desplegable debajo de la lista de especies. Las especies se pueden agregar o eliminar manualmente en función del conocimiento específico de los conjuntos de especies en su área, pero esto debe reflejarse en su lista de especies NABat.

  7. Haga clic en "Procesar archivos" en la esquina inferior derecha de la ventana.

  8. Cuando Kaleidoscope haya terminado de procesarse, revise las identificaciones automatizadas y confirme o rebaje la ID de Kaleidoscope (ID manual). Para los estudios estacionarios, la guía de NABat exige una verificación de llamada manual por especie por noche para establecer presencia-ausencia.

  9. Si su modelo de detector incrusta automáticamente una marca de fecha / hora en los archivos de llamadas, estos datos deben completarse automáticamente y aparecer en la columna "Tiempo de grabación de audio" de la salida "meta" de Kaleidoscope. Si es así, puede omitir el proceso de cambio de nombre. Sin embargo, antes de cargar metadatos a NABat, asegúrese de que la columna "Tiempo de grabación de audio" contenga datos. De lo contrario, los nombres de los archivos deben adherirse al formato de nomenclatura de NABat y los usuarios deben seguir las instrucciones del paso 10. Si la columna "Tiempo de grabación de audio" se completa automáticamente, puede pasar al paso 11.

  10. Para cambiar el nombre de los archivos, abra NABat F ile Renamer o descargue el script R para cambiar el nombre de los archivos acústicos . Si usa NABat File Renamer, navegue hasta la carpeta que contiene los archivos que acaba de crear con metadatos e ID (será una subcarpeta dentro de la carpeta de salida del paso 4). Cambie el nombre de todos los archivos para asegurarse de que sean coherentes con el formato de nomenclatura de NABat y para eliminar el _000 adjunto por Kaleidoscope. Formato de nomenclatura NABat: GRTSID_SITENAME_YYYYMMDD_HHMMSS.wav / zc. Orientación más detallada sobre el cambio de nombre de archivos acústicos está disponible aquí .

  11. Repita los pasos del 1 al 10 para todas las implementaciones que desee procesar. Una vez completados, los pasos 12-18 permitirán a los usuarios exportar simultáneamente metadatos para todas las implementaciones procesadas en un solo CSV de carga masiva.

  12. Regrese a la ventana de procesamiento por lotes, haga clic en "Examinar" en la ventana "Directorio de entrada" y seleccione la carpeta principal que contiene todas sus implementaciones procesadas (los nuevos archivos que creó con metadatos e ID en los pasos 1-9). Seleccione un nuevo directorio de salida. Si la casilla junto a "Archivos WAV" o "Archivos ZC" aún está marcada, desmarque la casilla (esta vez no creará archivos nuevos, solo un archivo "meta" que contenga metadatos NABat).

  13. Haz clic en la pestaña "Auto ID para murciélagos" y selecciona "DESHABILITADO" en el menú desplegable "CLASIFICADORES".

  14. Reemplace el archivo NABat_Metadata_Form_Kaleidoscope_SurveyType.xml del paso 2 con NABat_SurveyType_Meta_Output_Only_KPRO.xml. La ventana de entrada de datos ya no incluirá los campos de metadatos de NABat, sin embargo, el formulario seguirá exportando los metadatos incrustados de los pasos 1-9.

  15. Haga clic en "Procesar archivos" en la esquina inferior derecha de la ventana.

  16. Navegue hasta la carpeta del directorio de salida actual y abra el archivo "meta". Verifique para asegurarse de que todos los campos para los que ingresó datos estén llenos y asegúrese de que una o ambas columnas de Identificación automática / Identificación manual estén completadas.

  17. Cambie el nombre del archivo con un nombre descriptivo y único y guárdelo (el sistema NABat sobrescribirá automáticamente los nombres de archivo duplicados con la versión más reciente, por lo que es fundamental que su nombre de archivo sea único).

 

Processing mobile transect data in Kaleidoscope Pro

1. Open Kaleidoscope and click "Browse" to select the input directory of the folder containing your .wav/.zc files. Select the box beside the type of input files (WAV/ZC).​ NOTE: In order to embed and export metadata, mobile transects must be processed individually. Select a folder containing data for a single mobile transect. 

2. Download the required NABat metadata forms here (NABat_Metadata_Form_‌Kaleidoscope_Mobile.xml for use with steps 1-9 below and NABat_Mobile_Meta_Output_Only‌_KPRO.xml for use with steps 12-18 below). Next, click the drop-down menu above the "Default Project Form" and select "Add or Replace a Project Form." Navigate to NABat_Metadata_Form_‌Kaleidoscope_Mobile.xml and select the file. The NABat metadata form will now load in the bottom of the INPUTS section (the left half of the Kaleidoscope window).

3. Complete all metadata fields for which you have data. Required fields include Location Name, Survey Start Time, Survey End Time, Software Type, and Species List. Some fields require specific formatting. Hover the pointer over a field for formatting tips and/or a list of accepted entries. Spatial information for the route should be uploaded or drawn prior to completing these steps and uploading metadata. Guidance for providing spatial data for the route is available here. Ensure that the "Location Name" you provide with call metadata matches the name of the spatial object you upload or create.

• If your mobile transect passes through > 1 cell and you have a record of the X,Y location where each call was recorded (using an external GPS or a GPS enabled detector), leave the GRTS Cell ID field blank. The NABat system will use the X,Y locations to auto-assign the correct GRTS cell to each call. Otherwise, calls recorded outside the primary cell will produce a Latitude-Longitude/GRTS ID mismatch error. If Latitude and Longitude are embedded in your call files, the Kaleidoscope metadata form will extract those values and auto-populate the metadata output. If Latitude and Longitude values were downloaded from a GPS unit, see step 17.  ​

• If you are unable to provide the X,Y location where each file was recorded, the NABat system can estimate the location based on user-provided spatial information for the route, timestamps of each file, and the start/end times of the survey. In this case, it is critical that users provide a spatial object for the route prior to uploading metadata, ensure timestamps are provided for each file, provide start and end times of the route, and leave the GRTS Cell ID column of the metadata upload blank. 

4. Once all required metadata fields (and any additional fields for which you have data) have been completed, select the desired output directory to save processed files by clicking "Browse" in the top right of the window.

5. Next, choose "Nightly" from the "Create subdirectories" drop-down menu if you wish to keep new files organized by detector night. Select the type of output files you wish to create, WAV or ZC (ZC files cannot be converted to WAV). In order to successfully export metadata, you must select WAV or ZC files in the OUTPUTS window and create copies of the original files during this step. These copies will contain embedded metadata that will be the source of the "meta" output spreadsheet you will upload to NABat.

• Users with zero crossing files that end in the .# extension rather than .zc should select the "8.3 file names" and "Use .zc instead of .??#" options below "ZC files." Otherwise, Kaleidoscope will remove the seconds from the filename, increasing the likelihood of duplicate filenames (resulting from unique files recorded within the same minute) that will create errors when uploading metadata to the NABat database.  ​

6. Click the "Auto ID for Bats" tab at the top of the window. Select "Bats of North America" from the "Classifiers" drop-down menu and select your state/region from the drop-down menu below the list of species. Species can be manually added or removed based on specific knowledge of species assemblages in your area, but this must be reflected in your NABat species list

7. Click "Process Files" in the bottom right corner of the window.

8. When Kaleidoscope has finished processing, review the automated identifications and confirm or downgrade the Kaleidoscope ID (manual ID). For mobile transects, NABat guidance calls for manual verification of all call files in order to estimate abundance.

9. If your detector model automatically embeds a date/time stamp into recordings, these data should auto populate and appear in the "Audio Recording Time" column of the Kaleidoscope "meta" output. If so, you may skip the file renaming process. However, before uploading metadata to NABat, you should ensure that the "Audio Recording Time" column contains data. Otherwise, file names must adhere to the NABat naming format, and users should follow the guidance in step 10. If the "Audio Recording Time" column successfully auto populates, you may skip to step 11.

10. To rename files, open the NABat File Renamer or download the R script for renaming acoustic files. If using the NABat File Renamer, navigate to the folder containing the files you just created with metadata and IDs (this will be a subfolder within the output folder from step 4). Rename all files to ensure they are consistent with NABat naming format and to remove the _000 appended by Kaleidoscope.

NABat naming format: GRTSID_SITENAME_YYYYMMDD_HHMMSS.wav/zc. More detailed guidance on renaming acoustic files is available here

11. Repeat steps 1-10 for all transects you wish to process. Once completed, steps 12-24 will allow users to simultaneously export metadata for all processed transects into a single bulk upload CSV.

12. Return to the batch processing window, click "Browse" in the "Input directory" window, and select the parent folder containing all processed transects (the new files created with metadata and species IDs in steps 1-10). Select a new output directory. If the box beside "WAV files" or "ZC files" is still checked, unselect the box (you won't be creating new files this time, only a "meta.csv" file containing NABat metadata).

13. Click the "Auto ID for Bats" tab and select "DISABLED" in the "CLASSIFIERS" drop-down menu.

14. Replace the NABat_Metadata_Form_Kaleidoscope_Mobile.xml file from step 2 with NABat_Mobile_Meta_Output_Only_KPRO.xml. The data entry window will no longer include NABat metadata fields; however, the form will still export the embedded metadata from steps 1-9.

15. Click "Process Files" in the bottom right corner of the window.

16. Navigate to the current output directory folder and open the "meta" file. Check to ensure all fields for which you have entered data are filled and ensure the Auto Id/Manual Id columns are filled.

17. Users who saved latitude and longitude of recordings with an external GPS unit must manually add X,Y locations to the bulk metadata spreadsheet. To begin, download the locations file from your GPS unit. This is typically in the form of a text file with columns for filename, latitude, and longitude. Users with GPS enabled detectors that embed X,Y locations into call files (the latitude/longitude columns of your CSV will already contain data) can skip to step 24.

18. Import the GPS text file into Excel:

• Open a new spreadsheet. Click the "Data" tab and then select "Get Data," then "From File," and finally "From Text/CSV."

• Navigate to your GPS text file and click "Open."

• A dialogue box will appear with a preview of the data to be imported. The GPS text files are typically tab delimited. If your data are properly sorted into columns, click "Load." If not, use the "Delimiter" drop-down menu to select the appropriate delimiter and click "Load."​

19. When your data are loaded into an Excel spreadsheet, click the "Sort and Filter" button (under the Home tab) and select "Custom Sort."​

20. In the dialogue box, select the column containing your filenames to "Sort by."

21. Next, open the CSV containing your transect metadata. Follow steps 19-20 to sort the metadata document by the Audio Recording Name column.

22. The two Excel documents (metadata CSV and GPS spreadsheet) should now be sorted by filename. Double check to ensure that the filename columns match.

23. If the documents are sorted properly, you can now copy and paste the latitude and longitude columns from the GPS file into the metadata CSV. Select the latitude and longitude columns of the GPS document. Highlight the latitude and longitude columns, right click, and select "Copy." Next, select the Latitude cell of the first call for the deployment, right click, and select "Paste." The Latitude and Longitude columns should now be filled with the corresponding values.

24. Rename the metadata file with a descriptive and unique name and save (the NABat system will automatically overwrite duplicate file names with the most recent version, so it is critical that your file name is unique). 

25. The metadata file is now ready to be uploaded to your NABat project.