Phash does not generate reliable hashes. File uploaded from Finna to Commons does not match.

There is alternative library called PyLibTiff which uses the libtiff library. This might give better results (testing).
pylibtiff has a mismatch somewhere and simply does not work currenly:

See also other related bug reports resulting from pillow:
https://phabricator.wikimedia.org/T354147
https://phabricator.wikimedia.org/T352942

result from example: pywikibot.exceptions.APIError: modification-failed: Malformed input: +2023-08-27T05:48:00Z
messages: [{'name': 'wikibase-validator-malformed-value', 'parameters': ['+2023-08-27T05:48:00Z'], 'html': {'*': 'Malformed input: +2023-08-27T05:48:00Z'}}];
servedby: mw2285;

jpeg-version uses 8-bit integer rgb/alpha, while tiff uses 16-bit integer grayscale.
visually checking the jpeg-version seems to have more "noise" in the image (worse compression).

Phash diff: 30, image1: 94dbac9b8ac4c2cb, image2: 87f807f00ff007f8
Dhash diff: 26, image1: 701844a8a9a4a6a6, image2: 0000000000000040

datasetti:
https://zenodo.org/records/10408884

koordinaatit muutettava gps-koordinaateiksi, formaatti on nyt ETRS-TM35FIN

muita aikamuotoja:
pp.-pp.kk.vvvv

Kansallisgallerian api:sta saa objects-listauksen (max. 200) ilman autentikaatiota, haku id:n mukaan vaatii authentication tokenin, joka on nykyään Githubin autentikointitoken (jossa siis 2FA).

Kansallisgallerian kuville Commonsissa näyttää järjestään olevan lähteet "references" -kentässä, jonka sisältö tulee wikidatan propertyistä. eli urlit ja lähdetiedot eivät ole suoraan commonsissa. Commonsin dokumentaation mukaan käytettyjä propertyjä ovat mm. catalog code (P528), described at URL (P973), described by source (P1343)

Some images with "L" band are converted fine while others are not. So that isn't a reliable method of checking either.

And like I've said before, listing claims is not the issue, it is trying to make the server accept it as modification instead of new entry.

those I've already got:
wikidata_site = pywikibot.Site("wikidata", "wikidata")
commonssite = pywikibot.Site("commons", "commons")
for page in pages:
filepage = pywikibot.FilePage(page)
wditem = page.data_item()

sdcdata = wditem.get() # all the properties in json-format
claims = sdcdata['statements']  # claims are just one step from dataproperties down

Example case: for file File:Vilho Penttilä, Kansallis-Osake-Pankin talo, Kauppakatu 4, Tampere.jpg, get TIFF-image from finna.fi for musketti.M012:HK19700502:98.

List of types given by pillow documented here:
https://pillow.readthedocs.io/en/stable/handbook/concepts.html

FYI: pywikibot needs fixing, it doesn't work with commons sdc-data

jos tuon itemin yrittää ohittaa niin sitten tulee virhettä:
ValueError: Q23040125 is not type <class 'pywikibot.page._wikibase.ItemPage'>.

page already has claims:
claim P275
claim P6216
claim P571
claim P7482
claim P9478

does not work in commons:

Joo, ei nuo muut varoitukset sinänsä ole kovin ihmeellisiä kun ne tulee jos jokin muu arvo puuttuu. Tuo viimeinen lähinnä mietityttää:
" ID should not be used on this type of entity, the only valid entity type is Wikibase item. "
Eli onko propertyn määrityksessä jotain vikaa kun se herjaa structured datassa käytöstä?

P9834 käytöstä commonsin structured datassa näyttää tulevan kuitenkin herjaa:
item-requires-statement constraintHelp Discuss
An entity with Finnish National Gallery artwork ID should also have a statement location.

Wikidatassa on property Kansallisgallerian teostunniste (P9834), jota on käytetty esimerkiksi teoksen Haavoittunut enkeli (Q471289) kohdalla.

Kaikki kuvat ovat siis CC0 ja rajapinta palauttaa julkisesti saatavilla olevat. Tiedoissa voi olla mukana ID:tä, joiden kohteet eivät ole saatavilla.

Kansallisgalleriasta saa ladattua jsonin, jossa on kaikk(?) esineet. Tuo on parisataa megatavua, mutta siinä toistuu samoja asioita jokaisen esineen kohdalla kuten taiteilijan syntymävuosi. Varmaankin ajatuksena ollut että helpompi käsitellä noin? (78784 objectID:tä dumpissa eli varmaankin tuon verran julkisesti saatavia olevia tietoja?)

Helpompi tarkistaa millä kuvalla P195 viittaa JOKA-arkiston wikidata-itemiin Q113292201 kun karsii viittauksia.

Jos on kuvia joita ei ole vielä löydetty ja päivitetty niin syy on joko Finnaan merkitty lisenssi, ei ole suurempaa kuvaa tai kuvan lähdettä ei ole merkitty oikein. Viimeisessä tapauksessa haettava joka tapauksessa hashien perusteella kuten muutoinkin tarvitaan.

Jos on kuvia joita ei ole vielä löydetty ja päivitetty niin syy on joko Finnaan merkitty lisenssi, ei ole suurempaa kuvaa tai kuvan lähdettä ei ole merkitty oikein. Viimeisessä tapauksessa haettava joka tapauksessa hashien perusteella kuten muutoinkin tarvitaan.

Jos on kuvia joita ei ole vielä löydetty ja päivitetty niin syy on joko Finnaan merkitty lisenssi, ei ole suurempaa kuvaa tai kuvan lähdettä ei ole merkitty oikein. Viimeisessä tapauksessa haettava joka tapauksessa hashien perusteella kuten muutoinkin tarvitaan.