18.24. Herkenning van Soorten met Model 7 (Juli 2021 ) in iNaturalist (TensorFlow 2)

Op dit moment is Inaturalist al weer bezig met de zesde versie van het Computer Kijk (Computer Vision) model
waarbij in September 2020 18 miljoen fotos apart gezet zijn waarme zo'n 35.000 soorten wereld wijd herkend kunnen worden.
De aanpak is het zelfde als voor model 5 alleen met veel meer fotos omdat er nu veel meer soorten in iNaturalist
2000 fotos heeft. In het verleden werden wel meer dan 2000 fotos per soort gebruikt maar de extra rekenkracht weegt niet op tegen het succes.
In totaal zal het doorrekenen van het model 210 dagen kosten en in het voorjaar van 2021 klaar zijn.
Naast het doorrekenen van hetzelfde model met meer fotos en meer soorten wordt tgelijkertijd het huidige systeem vergeleken
met "TensorFlow 2, Xception vs Inception" wat waarschijnlijk ditzelfde model niet in 210 dagen maar in 60 dagen doorrekend.
Als dit nieuwe TensorFlow 2, Xception vs Inception goed werkt dan wordt het zelfs nog winter 2021 een nieuwe model opgeleverd.
Om dit door rekenen was een nieuwe hardware besteld maar door COVID is dit nog niet geinstalleerd.
In het huidige model zijn 25.000 van de 300.000 soorten die waargenomen zijn in iNaturalist.
https://www.inaturalist.org/blog/42626-we-passed-300-000-species-observed-on-inaturalist#comments

Hoe wordt nu bepaald of een soort opgenomen wordt in het model ?
Als van een soort 100 waarnemingen met foto waarvan er minsten 50 een Research Grade community ID heeft wordt opgenomen in de training. (actually, that’s really verifiable + would-be-verifiable-if-not-captive, In het model worden ook ontsnapte en gekweekte soorten opgenomen). Voor de training wordt dus niet alleen en uitsluitend Research Grade fotos gebruikt.

Globaal waren de oude versies:
Waarneming.nl: Max 3 keer per jaar herziening van het model.

18C Computer Vision Artifical Knowledge Links

24. Herkenning van Soorten met Model 5 (Voorjaar 2020) in iNaturalist (TensorFlow 2)
Waarneming.nl

  1. December 2017 Photos van Voor 2017
  2. December 2019 Photos van Voor 2018
  3. December 2020 Photos van Voor 2019

    Globaal waren de oude versies:

    1. May 2017 Model 1 2-20 photos per species , recognised species was 20.000
    2. Aug 2017 Model 2 40 photos per species
    3. Jan 2018 Model 3 40 photographers per species
    4. Feb 2019 Model 4
    5. Sep 2019 Model 5 <1000 photos per species/li>
    6. Mar-Jul2020 Model 6, Tensor Flow2 25,000 taxa
      Mar 2020 Model 6 March 2020 model did and it had ~21000 species and ~2500 genera.
      https://www.inaturalist.org/blog/31806-a-new-vision-model

    7. Mar-Jul 2021 Model 7, Tensor Flow2, 25,000 taxa +25.000 leaves , 21milj training photos , 1 NVIDIA RTX 8000 GPU, with hybrids (up from 38,000)
      https://www.inaturalist.org/posts/54236-new-computer-vision-model

    8. Oct-Dec2021 Model 8, Tensor Flow2, 47.00 taxa +25.000 leaves, 25milj training photos , 3NVIDIA RTX 8000 GPU, 4 times Memory, Label smoothing, without hybrids
    9. April 2022 Model 9
      https://www.inaturalist.org/blog/63931-the-latest-computer-vision-model-updates

    10. Aug 2022 Model 10.0.1 includes 60,000)
      https://www.inaturalist.org/blog/69193-new-computer-vision-model

    11. Sept 2022 Model 10.0.2 (+5000 species, includes 65,000 taxa (up from 60,000)
      https://docs.google.com/spreadsheets/d/12bfPG8idJbWpCO0Semw26fnH8hCOI_TDbTRSdPNXe1U/edit#gid=959153103

    https://static.inaturalist.org/wiki_page_attachments/2849-original.png
    https://static.inaturalist.org/wiki_page_attachments/2847-original.png
    Leaf model If it is difficult to understand the childs, leaves the AI/CV suggests the parent ??


    iNat Computer Vision Training (Number of Images per Traing)

    Observation gebruikt maximaal 5000 photos per taxon.
    BIj iNaturalist wordt een taxon gebruikt als er 100fotos van zijn


    iNat Computer Vision Training (Number of Images per Traing)



    iNat Computer Vision Training (Number of Images per Traing)
    In the tree that our vision system sees, genera can be leaves if we don’t have enough photos to train any of the child species but we do have enough photos to train at the genus level.

    Training


    Training Set 1


    In deze groep zitten geidentificeerde met
    1. De waarneming heeft een Taxon of een Genus, Familie toegewezen
    2. De waarneming heeft geen flags
    3. De waarneming heeft alle quality metrics gehaald behalve het toegestasnde wild / naturalized, dit zijn items die genoemd worden in de DQA, Quality Assesment

    Validation Set 1

    Met deze groep fotos wordt tijdens de training de voortgang van de training bekeken, een Toets of Examen dat het trainingmodel moet afleggen. De eisen aan deze validatieset zijn hetzelfde als van de Training Set 1 maar het is maar 5% van het aantal fotos.

    TestSet 1

    Met deze groep fotos wordt als de training is afgelopen gekeken of het model goed werkt. Het betreft uitsluitend
    fotos met een Community taxon, dus fotos die waarschijnlijk wel goed moeten zijn omdat meerdere personen een determinatie toegeveogd hebben aan de waarneming.
    Het bijzondere is dus dat aan de training ook minder zekere fotos mee mogen doen terwijl het testen tegen absoluut zekere waarnemingen gedaan wordt.
    Zie ook https://forum.inaturalist.org/t/identification-quality-on-inaturalist/7507
    Om te voorkomen dat er te veel soorten zijn waarvan er te weinig fotos zijn worden er niet te veel beperkingen aan de fotos gesteld. In de toekomst worden de eisen misschien strenger


    iNat Computer Vision Training (Number of Images per Traing)


    iNat Computer Vision Training (Number of Images per Traing)

    1. Fotos van Nieuwe gebruikers
    2. CID'd obs, waarnemingen met alleen een Computer Vision ID
    3. vision-based ID
    4. Gebruik geen fotos van IDs by users with X maverick IDs

    Het computer is niet te downloaden maar misschien dat er later nog een API komt. Training your own with https://www.kaggle.com/c/inaturalist-challenge-at-fgvc-2017

    Croppen van fotos, Volgorde, Best Photo First

    Al hoewel het op iNaturalist neit vaak gezegd wordt is het Croppen van een foto een goede methode om betere resultaten te krijgen.
    Het model neemt ook geografische data nog niet echt mee. In het verleden werden enorme aantallen Californische soorten voorgesteld maar in de loop van de modellen is dat wel afgenomen.

    Best Photo First
    Het is naast croppen erg verstandig om je beste foto het eerste neer te zetten omdat het model alleen de eerste foto van de waarneming gebruikt om een voorstel voor de soort te doen.
    De locatie, nauwkeurigheid van een foto die je neemt buiten de iNat app om is meestasl minder nauwkeurig dan wanner je de interne app gebruikt van iNat. Ook kun je dan inzoomen met je vingers spread out, zodat je de crop functionaliteit niet hoeft te gebruiken. Het model gebruikt niet het tijd van het seizoen (eikels en kastanjes in de herfst, Trekvogels in voorjaar en herfst. Geen zomervogels als gierzwaluw in de winter en verspreidinggegevens van soorten.. ALpenroosjes worden niet tot de ALpen beperkt.

    In 2017 the amount of recognised species was 20.000 and now it is still.....20.000?

    https://www.inaturalist.org/pages/help#cv-taxa
    FWIW, there's also discussion and some additional charts at https://forum.inaturalist.org/t/psst-new-vision-model-released/10854/11
    https://forum.inaturalist.org/t/identification-quality-on-inaturalist/7507
    https://www.pyimagesearch.com/2017/03/20/imagenet-vggnet-resnet-inception-xception-keras/
    https://www.inaturalist.org/posts/31806-a-new-vision-model#activity_comment_5763380

    Neural Networks (specifically, VGG16) pre-trained on the ImageNet dataset with Python and the Keras deep learning library.

    The pre-trained networks inside of Keras are capable of recognizing 1,000 different object categories, similar to objects we encounter in our day-to-day lives with high accuracy.

    Back then, the pre-trained ImageNet models were separate from the core Keras library, requiring us to clone a free-standing GitHub repo and then manually copy the code into our projects.

    This solution worked well enough; however, since my original blog post was published, the pre-trained networks (VGG16, VGG19, ResNet50, Inception V3, and Xception) have been fully integrated into the Keras core (no need to clone down a separate repo anymore) — these implementations can be found inside the applications sub-module.

    Because of this, I’ve decided to create a new, updated tutorial that demonstrates how to utilize these state-of-the-art networks in your own classification projects.

    Specifically, we’ll create a special Python script that can load any of these networks using either a TensorFlow or Theano backend, and then classify your own custom input images.

    To learn more about classifying images with VGGNet, ResNet, Inception, and Xception, just keep reading.

    = = = = = = = = = = = = = = = = =
    : https://www.youtube.com/watch?v=xfbabznYFV0

    https://towardsdatascience.com/xception-from-scratch-using-tensorflow-even-better-than-inception-940fb231ced9

    Xception: Implementing from scratch using Tensorflow
    Even better than Inception
    Convolutional Neural Networks (CNN) have come a long way, from the LeNet-style, AlexNet, VGG models, which used simple stacks of convolutional layers for feature extraction and max-pooling layers for spatial sub-sampling, stacked one after the other, to Inception and ResNet networks which use skip connections and multiple convolutional and max-pooling blocks in each layer. Since its introduction, one of the best networks in computer vision has been the Inception network. The Inception model uses a stack of modules, each module containing a bunch of feature extractors, which allow them to learn richer representations with fewer parameters.
    Xception paper — https://arxiv.org/abs/1610.02357

    = = = = = = = = = = = = = = = = = = = = =
    https://towardsdatascience.com/review-xception-with-depthwise-separable-convolution-better-than-inception-v3-image-dc967dd42568
    Inthis story, Xception [1] by Google, stands for Extreme version of Inception, is reviewed. With a modified depthwise separable convolution, it is even better than Inception-v3 2 for both ImageNet ILSVRC and JFT datasets. Though it is a 2017 CVPR paper which was just published last year, it’s already had more than 300 citations when I was writing this story. (Sik-Ho Tsang @ Medium)

    = = = = = = = = = = = = = = = = = = = = = = = = = = = =
    https://laptrinhx.com/xception-from-scratch-using-tensorflow-even-better-than-inception-212761016/
    Convolutional Neural Networks (CNN) have come a long way, from the LeNet-style, AlexNet, VGG models, which used simple stacks of convolutional layers for feature extraction and max-pooling layers for spatial sub-sampling, stacked one after the other, to Inception and ResNet networks which use skip connections and multiple convolutional and max-pooling blocks in each layer. Since its introduction, one of the best networks in computer vision has been the Inception network. The Inception model uses a stack of modules, each module containing a bunch of feature extractors, which allow them to learn richer representations with fewer parameters.

    Xception paper — https://arxiv.org/abs/1610.02357
    Herkenning van Soorten met Model 5 (Voorjaar 2020) in iNaturalist (TensorFlow 2, (24))
    : https://www.youtube.com/watch?v=xfbabznYFV0

    Literature

  4. https://forum.inaturalist.org/t/suggest-id-for-sounds/18115/12

  5. https://forum.inaturalist.org/t/recognize-sounds-automatically/3527/

  6. The iNat vision model itself is not available via public API and it’s not available to download.https://forum.inaturalist.org/t/where-to-find-inat-vision-model/12341

  7. https://www.inaturalist.org/blog/31806-a-new-vision-model

  8. https://www.inaturalist.org/pages/computer_vision_demo

  9. https://www.inaturalist.org/blog/54236-new-computer-vision-model Model7 Aug 2021 25,000 to over 38,000 +25.000 leaves

  10. https://forum.inaturalist.org/t/computer-vision-update-july-2021/24728 Model7 Aug 2021

  11. https://forum.inaturalist.org/t/better-use-of-location-in-computer-vision-suggestions/915/47
  12. e


    @sbushes Great question, the iNat team were just talking about that this morning. The challenge with showing the badge on higher level taxa is user interpretation. We make suggestions at the leaf level and also using what we call a common ancestor - rolling scores up the tree to find a higher level suggestion with a higher combined score. I know you've been actively investigating ML and our vision system for a while, but in case you haven't seen this video, Ken-ichi explains our process in his keynote at TDWG last year: https://www.youtube.com/watch?v=xfbabznYFV0 - the relevant content starts at about the 16 minute mark.

    In that context, how to interpret a badge on a family? Would it mean that the family itself is in the model as a leaf node (ie none of its children are in the model)? Or perhaps would it mean that the family has children that are represented in the model? What if some but not all children are in the model? What if not all children are known for a family, would it fair to say that it is represented in the model, even if all known children are in the model?

    Definitely open to suggestions, but gist is that we wanted a label for species that are in/out of the model that's easy for all users to interpret in the context of "why am I getting suggestions for this species?" or more commonly "why is this stupid vision system not suggesting the obviously correct choice of X.

    As for the cutoff date, I have a lot of updates to IDs planned on a genus where I am seeing 10-20% error rate in RG observations. I was hoping to get the identification updates in before the next model starts, but don't know if I will get to it. Probably depends on when in August you get started.



    learn a lot from the challenges and are always looking to apply learnings from the contests, with some caveats because not everything is applicable. We’ve been using location and date information to improve suggestions since the earliest days of computer vision at iNaturalist.

    Off the top of my head, some things we’ve taken from previous iNaturalist and other vision challenges include label smoothing, the Xception architecture, changes to how we generate our data exports & minimum number of images for each class, etc. Sometimes however contest winners have done things that we probably won’t do, like training on validation/test data (seems risky for a production model but perhaps worth it to win a contest) or training on larger image sizes (our models already take a long time to train).
    The GPU does the lion’s share of the work in computer vision training, and the GPU we used (an NVIDIA RTX 8000) cost more than the rest of the PC put together.

    The cut-off for inclusion in the model hasn’t changed in the past few years: 100 observations, at least 50 research grade. See https://www.inaturalist.org/pages/help#cv-taxa 1

    If enough photos are present at the genus level, but not enough photos for any of the descendent species, then the genus will be placed in the training set. We call this approach a “leaf model.” :fallen_leaf::robot:

    More details are available in Ken-ichi’s TDWG keynote from last year:
    https://www.youtube.com/watch?v=xfbabznYFV0 10

    Yep, a single model. We’ve considered stacked and split models, but we haven’t seen evidence that they are any better than a single monolithic model, so we’ve stuck with the simple approach. Happy to be corrected if anyone’s seen or done research that points in another directio
    18.24. Herkenning van Soorten met Model 7 (Juli 2021 ) in iNaturalist (TensorFlow 2)
    https://forum.inaturalist.org/t/3rd-party-inaturalist-tools/25971/14

    6 september Online-lezing door Inge Somhorst – Hoe en waarom
    paddenstoelen karteren? (Paddenstoelen op de kaart)
    https://us06web.zoom.us/j/83221802430

    13 september Online-lezing door Gerard Koopmanschap – Heksenboleten en
    andere roodporieboleten https://us06web.zoom.us/j/82967246808
    https://www.njn.nl/symposium/

    https://forum.inaturalist.org/t/3rd-party-inaturalist-tools/25971/14
    https://www.fryslan.frl/_flysystem/assets/Soorten%20van%20Fries%20belang.pdf

    6 september Online-lezing door Inge Somhorst – Hoe en waarom
    paddenstoelen karteren? (Paddenstoelen op de kaart)
    https://us06web.zoom.us/j/83221802430

    13 september Online-lezing door Gerard Koopmanschap – Heksenboleten en
    andere roodporieboleten https://us06web.zoom.us/j/82967246808

    Overzicht van al gepresenteerde en toekomstige webinars. Opnames van gepresenteerde webinars zijn terug te kijken (onder voorbehoud) via een link naar het YouTube-kanaal van Stichting Menno van Coehoorn.
    https://www.youtube.com/channel/UC9vnBwf0mLUpIbUdxp59pag

    <!--ninja_tobody_rendering_done-->
    Datum Tijdstip Onderwerp Spreker(s) Link naar YouTube video
    24-02-2021 19.30-21.00u Koude oorlog, een beeld van de Civiele verdediging in Nederland Raphaël Smid Webinar terugkijken
    08-04-2021 19.30-21.00u De opheffing en ontmanteling van de vestingstad Maastricht Jos Notermans Webinar terugkijken
    11-05-2021 19.30-21.00u Vestingbouwkundige werken in Noorwegen Martin Hendriks Webinar terugkijken
    09-06-2021 19.30-21.00u Conflictarcheologie van de Tweede Wereldoorlog Nick Warmerdam, Martijn Reinders en Dwayne Beckers Webinar terugkijken
    06-07-2021 19.30-21.00u De Vesting Naarden Jeroen van der Werff Webinar terugkijken
    07-09-2021 19.30-21.00u Nederlands vestingwerken in de 17e eeuw in Portugal Edwin Paar Nog niet gepubliceerd
    07-10-2021 19.30-21.00u Het politieke en maatschappelijke verloop van de Koude Oorlog 1947-1991 Cor Wagemakers Nog niet gepubliceerd
    10-11-2021 19.30-21.00u Verhaal over tactische inzet op verschillende linies kort voor WO2 Joost Michels Nog niet gepubliceerd
    08-12-2021 19.30-21.00u Verhalen uit Maastricht in WO1 en het verloop van de Duitse doortocht bij gat van Visé Jos Notermans Nog niet gepubliceerd

    https://www.youtube.com/channel/UC9vnBwf0mLUpIbUdxp59pag

    221-Nederlandse Vestingwerken in de 17 e eeuw in Portugal”, door Edwin Paar.
    219-Wageningen Cast Soil or seed: which came first? | WURcast
    https://www.vogelwarte.ch/assets/files/projekte/entwicklung/zustandsbericht%202021/Zustandsbericht%202021_en_low.pdf

    https://forum.inaturalist.org/t/computer-vision-update-july-2021/24728

    https://www.inaturalist.org/posts/59122-new-vision-model-training-started

    Publicado por ahospers ahospers, 31 de agosto de 2021

    Comentarios

    Er is december 2021 een publicatie over het herkennen van kevers met foto's uitgekomen:
    https://brill.com/view/journals/tve/aop/article-10.1163-22119434-bja10018/article-10.1163-22119434-bja10018.xml?rskey=hKOc5C&result=2&ebody=pdf-49903

    Zie: https://forum.waarneming.nl/index.php?topic=489151 (vanwege de focus op kevers heb ik in het deelforum ook een topic gemaakt
    Een generalisatie van mij:
    Chrysomelidae, Bladhaantjes, worden matig herkend, maar wel snel bekeken en naar een beter taxon geleid.
    Curculionidae, Snuitkevers, worden matig herkend, en het aantal goedkeuringen ligt een stuk lager. Frambozensnuittor is een voorbeeld van een soort die vaak wordt gesuggereerd.
    Coccinellidae, Lieveheersbeestjes, worden goed herkend, en snel bekeken.
    Carabidae, Loopkevers, worden redelijk herkend; de waarnemingen hebben baat bij meerdere foto's. Veel expertise over deze familie aanwezig.
    Staphylinidae, Kortschildkevers, worden erg slecht herkend; Veel geslachten zijn echter goed herkenbaar, ook voor de leek. Die kan de soortherkenner in principe dus snel leren.
    Elateridae, Kniptorren; determinatiekenmerken lijken voor een groot deel moeilijk te fotograferen.
    Cerambycidae; Boktorren; zijn meestal redelijk te doen voor de soortherkenner.
    Cantharidae, Weekschildkevers, gaan denk ik ook redelijk.

    "Given that about half of the records in this data set were not validated even after several months, the need for more active validators is evident, especially for megadiverse and common taxa like Coleoptera."
    Voor keverfamilies apart lij

    ==
    Verspreidingsatlas van de Pissebedden ?

    https://www.eis-nederland.nl/Portals/4/pdfs/Hemiptera/Bodemfauna.pdf

    https://www.gelderland.nl/bestanden/Gelderland/Nieuws-en-evenementen/DOC_Blokkenschema_online_Gelderse_biodiversiteitsdag_2021.pdf

    Obsidentify is mooi maar ik was nog meer onder de indruk van Google Lens voor herkennen van flora en fauna buiten Nederland. Vorig jaar in de Alpen werden vrijwel alle soorten feilloos herkent.

    eel keversoorten hebben een veel kleinere kans te worden waargenomen dan andere.
    Zeldzame soorten, maar ook kleine en onopvallende soorten worden door maar weinig waarnemers ingevoerd.
    De steekproefgrootte (N<100) is wel klein, maar dat ze allemaal van een verschillende soort moesten zijn was wel een stevige beperking.
    Het onderzoek heeft met de procentueel hoge vertegenwoordiging van boktorren en bladsprietkevers een best aardig deel van de (op het oog) gemakkelijkst herkenbare soorten.

    Dat er juist een stinkende kortschild is opgenomen en dat de soortherkenner daarmee goed scoorde op kortschildkevers vind ik totaal niet representatief.
    Maar goed, ieder mens en ieder onderzoek heeft een eigen karakter (net als iedere kever, al maak ik het zelden mee dat ze stinkende goedjes merkbaar inzetten).
    https://forum.waarneming.nl/index.php/topic,489172.msg2498211.html#msg2498211
    Er zijn wel tendensen en mogelijkheden om te komen tot meer validabiliteit; en er zijn natuurlijk keverkenners die daarin verder kunnen en willen gaan.
    Veel algemeenheden over fotograferen doen er toe (resolutie, gebied waarop het scherpgesteld is, ...)
    Maar ook de manier waarop de waarnemer kijkt, en zijn achtergrondkennis.

    Publicado por ahospers hace 7 meses (Marca)

    New computer vision model

    In deze blogpost wordt gesproken over 25.000 van de 300.000 soorten die waargenomen zijn in iNaturalist. Het nu gereleasde model is minimaal twee modellen later: 25.000->55.000->60.000

    We’ve released a new computer vision model for iNaturalist. This is our first model update since April 2022. The iNaturalist website, mobile apps, and API are all now using this new model. Here’s what’s new and different with this change:

    It includes 60,000 taxa (up from 55,000)
    It was trained using a different approach than our previous models, which made it much faster to train
    To see if a particular species is included in this model, you can look at the “About” section of its taxon page.

    It’s bigger
    Our previous model included 55,000 taxa and 27 million training photos. The new model was trained on over 60,000 taxa and almost 30 million training photos.

    https://www.inaturalist.org/blog/69193-new-computer-vision-model

    Publicado por optilete hace alrededor de 1 mes (Marca)

    Agregar un comentario

    Acceder o Crear una cuenta para agregar comentarios.