Ez egy vendégbejegyzés, amelynek társszerzője Shravan Kumar és Avirat S a Gramenertől.

GramenerEgy Küzdelem vállalat hozzájárul a fenntartható fejlődéshez a mezőgazdaságra, az erdőgazdálkodásra, a vízgazdálkodásra és a megújuló energiákra összpontosítva. Azáltal, hogy a hatóságok rendelkezésére bocsátja azokat az eszközöket és betekintést, amelyekre szükségük van a környezeti és társadalmi hatásokkal kapcsolatos megalapozott döntések meghozatalához, a Gramener létfontosságú szerepet játszik egy fenntarthatóbb jövő építésében.

A városi hőszigetek (UHI) olyan városi területek, ahol lényegesen magasabb a hőmérséklet, mint a környező vidéki területeken. Az UHI-k egyre nagyobb aggodalomra adnak okot, mert különféle környezeti és egészségügyi problémákhoz vezethetnek. Ennek a kihívásnak a megoldására a Gramener olyan megoldást fejlesztett ki, amely téradatokat és fejlett modellezési technikákat használ a következő UHI-hatások megértésére és mérséklésére:

• Hőmérséklet eltérés – Az UHI miatt a városi területek melegebbek lehetnek, mint a környező vidéki régiók.
• Egészségügyi hatás – Az UHI-k magasabb hőmérséklete hozzájárul a hőség okozta megbetegedések és halálesetek számának 10-20%-os növekedéséhez.
• Energiahasználat - Az UHI-k felerősítik a légkondicionálási igényeket, ami akár 20%-os energiafogyasztás-emelkedést eredményez.
• A levegő minősége - Az UHI-k rontják a levegő minőségét, ami a szmog és a részecskék megnövekedett szintjéhez vezet, ami fokozhatja a légzési problémákat.
• Gazdasági hatás – Az UHI-k több milliárd dolláros energiaköltséget, infrastrukturális károkat és egészségügyi kiadásokat eredményezhetnek.

A Gramener GeoBox megoldása lehetővé teszi a felhasználók számára, hogy könnyedén hozzáférjenek és elemezzék a nyilvános térinformatikai adatokat a hatékony API-n keresztül, lehetővé téve a zökkenőmentes integrációt a meglévő munkafolyamatokba. Ez leegyszerűsíti a feltárást, és értékes időt és erőforrásokat takarít meg, lehetővé téve a közösségek számára az UHI hotspotok gyors azonosítását. A GeoBox ezután a nyers adatokat hasznosítható betekintésekké alakítja át, olyan felhasználóbarát formátumokban, mint a raszter, a GeoJSON és az Excel, biztosítva az UHI-csökkentési stratégiák egyértelmű megértését és azonnali végrehajtását. Ez feljogosítja a közösségeket arra, hogy megalapozott döntéseket hozzanak és fenntartható városfejlesztési kezdeményezéseket hajtsanak végre, végső soron a polgárok támogatását a jobb levegőminőség, a csökkentett energiafogyasztás és a hűvösebb, egészségesebb környezet révén.

Ez a bejegyzés bemutatja, hogyan használható a Gramener GeoBox megoldása az Amazon SageMaker térinformatikai képességeit használja földmegfigyelési elemzés elvégzéséhez és az UHI-betekintések feloldásához a műholdképekből. A SageMaker térinformatikai képességei egyszerűvé teszik az adattudósok és a gépi tanulási (ML) mérnökök számára a térinformatikai adatokat használó modellek építését, betanítását és üzembe helyezését. A SageMaker térinformatikai képességei lehetővé teszik a nagyszabású térinformatikai adatkészletek hatékony átalakítását és gazdagítását, valamint a termékfejlesztés felgyorsítását és a betekintéshez szükséges időt az előre betanított ML modellekkel.

Megoldás áttekintése

A Geobox célja az UHI hatás elemzése és előrejelzése a térbeli jellemzők felhasználásával. Segít megérteni, hogy a javasolt infrastruktúra és földhasználati változások hogyan befolyásolhatják az UHI-mintákat, és azonosítja az UHI-t befolyásoló kulcsfontosságú tényezőket. Ez az analitikus modell pontos becsléseket ad a földfelszíni hőmérsékletről (LST) granulált szinten, lehetővé téve a Gramener számára, hogy számszerűsítse az UHI hatás változásait a paraméterek (a használt indexek és adatok nevei) alapján.

A Geobox lehetővé teszi a városi osztályok számára a következők elvégzését:

• Jobb alkalmazkodás az éghajlathoz tervezés – A megalapozott döntések csökkentik a szélsőséges hőség hatását.
• Zöldterület-bővítés támogatása – A több zöldfelület javítja a levegő minőségét és az életminőséget.
• Fokozott tárcaközi együttműködés – Az összehangolt erőfeszítések javítják a közbiztonságot.
• Stratégiai vészhelyzeti készültség – A célzott tervezés csökkenti a vészhelyzetek lehetőségét.
• Egészségügyi együttműködés – Az együttműködés hatékonyabb egészségügyi beavatkozásokhoz vezet.

Megoldás munkafolyamata

Ebben a részben azt tárgyaljuk, hogyan működnek együtt a különböző összetevők, az adatgyűjtéstől a térbeli modellezésig és előrejelzésig, amelyek az UHI megoldás magjaként szolgálnak. A megoldás egy strukturált munkafolyamatot követ, elsősorban az UHI-k kezelésére összpontosítva egy kanadai városban.

1. fázis: adatfolyam

A Landsat 8 műhold 15 naponta 11:30-kor készít részletes felvételeket az érdeklődési területről, átfogó képet adva a város tájáról és környezetéről. A Mapbox Supermercado Python könyvtárának 48-es nagyítási szintjén egy 19 méteres rácsmérettel rendelkező rácsrendszer jön létre, amely lehetővé teszi a precíz térbeli elemzést.

2. fázis: Feltáró elemzés

Az infrastruktúra és a lakossági adatrétegek integrálásával a Geobox felhatalmazza a felhasználókat a város változó eloszlásának vizualizálására és városmorfológiai betekintésre, lehetővé téve a város szerkezetének és fejlődésének átfogó elemzését.

Az 1. fázisból származó Landsat-képek emellett olyan betekintést nyernek, mint a Normalizált különbség vegetációs index (NDVI) és a Normalized Difference Built-up Index (NDBI), amelyek adatait a konzisztencia és a pontosság érdekében aprólékosan a 48 méteres rácsra méretezték.

A következő változókat használják:

• A talaj felszínének hőmérséklete
• Építési telek lefedettsége
• NDVI
• Építőelemek lefedettsége
• NDBI
• Építési terület
• albedó
• Épületek száma
• Módosított normalizált különbségi vízindex (MNDWI)
• Épületmagasság
• Emeletek száma és alapterülete
• Az alapterület aránya

3. fázis: Analytics modell

Ez a fázis három modulból áll, amelyek ML modelleket alkalmaznak az adatokon, hogy betekintést nyerjenek az LST-be és annak más befolyásoló tényezőkkel való kapcsolatába:

• 1. modul: Zónális statisztikák és összesítés – A zónastatisztika létfontosságú szerepet játszik az értékraszterből származó értékeket használó statisztikák kiszámításában. Ez magában foglalja az egyes zónák statisztikai adatainak kinyerését a zónaraszter alapján. Az összesítés 100 méteres felbontásban történik, ami lehetővé teszi az adatok átfogó elemzését.
• 2. modul: Térbeli modellezés – Gramener három regressziós modellt (lineáris, térbeli és térbeli rögzített hatásokat) értékelt, hogy feltárja a Land Surface Temperature (LST) és más változók közötti összefüggést. Ezen modellek közül a térbeli fix hatású modell adta a legmagasabb átlagos R-négyzet értéket, különösen a 2014-től 2020-ig tartó időszakra.
• 3. modul: Változók előrejelzése – A változók rövid távú előrejelzésére Gramener exponenciális simítási technikákat alkalmazott. Ezek az előrejelzések segítették a jövőbeli LST értékek és trendjeik megértését. Ezenkívül belemélyedtek a hosszú távú skálaelemzésbe is a reprezentatív koncentrációs útvonal (RCP8.5) adatainak felhasználásával, hogy előre jelezzék az LST értékeket hosszabb időszakokra.

Adatgyűjtés és előfeldolgozás

A modulok megvalósításához a Gramener a SageMaker térinformatikai jegyzetfüzetet használta Amazon SageMaker Studio. A térinformatikai notebook kernel előre telepítve van az általánosan használt térinformatikai könyvtárakkal, amelyek lehetővé teszik a térinformatikai adatok közvetlen megjelenítését és feldolgozását a Python notebook környezetben.

Gramener különféle adatkészleteket használt az LST trendek előrejelzésére, beleértve az épületértékelési és hőmérsékleti adatokat, valamint a műholdképeket. Az UHI megoldás kulcsa a Landsat 8 műhold adatainak felhasználása volt. Ez a Föld-leképező műhold, amely az USGS és a NASA közös vállalata, a projekt alapvető elemeként szolgált.

Aktivitáskövető SearchRasterDataCollection Az API, a SageMaker egy erre a célra kialakított funkciót biztosít a műholdképek lekérésének megkönnyítésére. A Gramener ezt az API-t használta a Landsat 8 műhold adatainak lekérésére az UHI megoldáshoz.

A SearchRasterDataCollection Az API a következő bemeneti paramétereket használja:

• RNS – A lekérdezésben használt raszteres adatgyűjtemény Amazon erőforrásneve (ARN).
• Érdeklődési terület – Az érdeklődési területet képviselő GeoJSON poligon
• TimeRangeFilter – Az érdeklődési idő tartománya, jelölése {StartTime: <string>, EndTime: <string>}
• PropertyFilters – Kiegészítő tulajdonságszűrők is beépíthetők, mint például a maximálisan elfogadható felhőborításra vonatkozó előírások

A következő példa bemutatja, hogyan kérdezhetők le a Landsat 8 adatok az API-n keresztül:

search_params = {
    "Arn": "arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/gmqa64dcu2g9ayx1", # NASA/USGS Landsat
    "RasterDataCollectionQuery": {
        "AreaOfInterest": {
            "AreaOfInterestGeometry": {
                "PolygonGeometry": {
                    "Coordinates": coordinates
                }
            }
        },
        "TimeRangeFilter": {
            "StartTime": "2014-01-01T00:00:00Z",
            "EndTime": "2020-12-31T23:59:59Z",
        },
        "PropertyFilters": {
            "Properties": [{"Property": {"EoCloudCover": {"LowerBound": 0, "UpperBound": 20.0}}}],
            "LogicalOperator": "AND",
        }
    },
}

response = geospatial_client.search_raster_data_collection(**search_params)

A nagyméretű műholdas adatok feldolgozásához Gramener használta Amazon SageMaker feldolgozás a térinformatikai konténerrel. A SageMaker Processing lehetővé teszi a számítási fürtök rugalmas skálázását a különböző méretű feladatokhoz, egyetlen várostömb feldolgozásától a bolygószintű munkaterhelések kezeléséig. Hagyományosan az ilyen feladatokhoz szükséges számítási klaszter manuális létrehozása és kezelése költséges és időigényes volt, különösen a térinformatikai adatok kezelésére alkalmas környezet szabványosításának bonyolultsága miatt.

Mostanra a SageMaker speciális térinformatikai tárolójával a térinformatikai feldolgozáshoz szükséges klaszterek kezelése és futtatása egyszerűbbé vált. Ez a folyamat minimális kódolási erőfeszítést igényel: egyszerűen meg kell határozni a munkaterhelést, megadni a térinformatikai adatok helyét Amazon egyszerű tárolási szolgáltatás (Amazon S3), és válassza ki a megfelelő térinformatikai tárolót. A SageMaker Processing ezután automatikusan biztosítja a szükséges fürterőforrásokat, megkönnyítve a térinformatikai feladatok hatékony futtatását a városi szinttől a kontinensig terjedő skálán.

A SageMaker teljes mértékben felügyeli a feldolgozási munkához szükséges mögöttes infrastruktúrát. A feladat időtartamára lefoglalja a fürt erőforrásait, és a feladat befejezésekor eltávolítja azokat. Végül a feldolgozási feladat eredményei a kijelölt S3 tárolóba kerülnek.

A térinformatikai képet használó SageMaker feldolgozási feladat a következőképpen konfigurálható a térinformatikai jegyzetfüzetből:

from sagemaker import get_execution_role
from sagemaker.sklearn.processing import ScriptProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput

execution_role_arn = get_execution_role()

geospatial_image_uri = '081189585635.dkr.ecr.us-west-2.amazonaws.com/sagemaker-geospatial-v1-0:latest'
processor = ScriptProcessor(
    command=['python3'],
    image_uri=geospatial_image_uri,
    role=execution_role_arn,
    instance_count=20,
    instance_type='ml.m5.xlarge',
    base_job_name='geospatial-processing-spectral-indices'
)

Az instance_count paraméter határozza meg, hogy a feldolgozási feladat hány példányt használjon, az instance_type pedig azt, hogy milyen típusú példányt kell használni.

A következő példa bemutatja, hogyan fut egy Python-szkript a feldolgozási feladatfürtön. A futtatási parancs meghívásakor a fürt elindul, és automatikusan létrehozza a szükséges fürt erőforrásokat:

processor.run(
    code='calculate_variables.py',
    inputs=[
        ProcessingInput(
            source=s3_manifest_url,
            destination='/opt/ml/processing/input_data/',
            s3_data_type="ManifestFile",
            s3_data_distribution_type="ShardedByS3Key"
        ),
    ],
    outputs=[
        ProcessingOutput(
            source='/opt/ml/processing/output_data/',
            destination=s3_output_prefix_url
        )
    ]
)

Térbeli modellezés és LST előrejelzések

A feldolgozás során számos változót számítanak ki, beleértve a felső légkör spektrális sugárzását, a fényerő hőmérsékletét és a Landsat 8 reflexióját. Ezenkívül kiszámítják a morfológiai változókat, például az alapterület arányát (FAR), az építési terület lefedettségét, az épülettömb lefedettségét és a Shannon entrópiaértékét.

A következő kód bemutatja, hogyan hajtható végre ez a sáv aritmetika:

def calculate_ndvi(nir08, red): 
    return (nir08 - red) / (nir08 + red) 
 
def calculate_ndbi(swir16, nir08): 
    return (swir16 - nir08) / (swir16 + nir08) 
 
def calculate_st(bt): 
    return ((bt * 0.00341802) + 149.0) - 273 
 
def indices_calc(data): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        ndvi_future = executor.submit(calculate_ndvi, data.sel(band="SR_B5"), data.sel(band="SR_B4")) 
        ndbi_future = executor.submit(calculate_ndbi, data.sel(band="SR_B6"), data.sel(band="SR_B5")) 
        st_future = executor.submit(calculate_st, data.sel(band="ST_B10")) 
 
        ndvi = ndvi_future.result() 
        ndbi = ndbi_future.result() 
        st = st_future.result() 
 
    ndvi.attrs = data.attrs 
    ndbi.attrs = data.attrs 
    st.attrs = data.attrs 
 
    return ndvi, ndbi, st 

A változók kiszámítása után zónastatisztikát végeznek az adatok rácsonkénti összesítése érdekében. Ez magában foglalja a statisztikák kiszámítását az egyes zónákon belüli érdeklődési értékek alapján. Ezekhez a számításokhoz körülbelül 100 méteres rácsméretet használtak.

def process_iteration(st, ndvi, ndmi, date, city_name): 
    datacube['st'] = (st.dims, st.values) 
    datacube['ndvi'] = (ndvi.dims, ndvi.values) 
    datacube['ndmi'] = (ndmi.dims, ndmi.values) 
    df = datacube.groupby("id").mean().to_dataframe().reset_index() 
    merged_grid = hexgrid_utm.join(df, on='id', how='left', lsuffix='_')[['id', 'hex_id', 'geometry', 'st', 'ndvi', 'ndmi']] 
    merged_grid.to_file(f"{DATA}/{city_name}/{city_name}_outputs_{date}.geojson", driver='GeoJSON') 
    print("Working on:", date) 
 
def iterative_op(city_json, st, ndvi, ndmi, city_name): 
    with concurrent.futures.ThreadPoolExecutor() as executor: 
        futures = [ 
            executor.submit(process_iteration, st[i], ndvi[i], ndmi[i], date, city_name) 
            for i, _ in enumerate(city_json.time) 
            for date in city_json.date 
        ] 
        for future in concurrent.futures.as_completed(futures): 
            future.result() 
 
    print('Process completed') 

Az adatok összesítése után térbeli modellezésre kerül sor. Gramener térbeli regressziós módszereket, például lineáris regressziót és térbeli rögzített hatásokat alkalmazott a megfigyelések térbeli függésének figyelembevételére. Ez a megközelítés megkönnyíti a változók és az LST közötti kapcsolat mikroszintű modellezését.

A következő kód bemutatja, hogyan lehet ilyen térbeli modellezést futtatni:

features = [ 
    'ndvi', 
    'ndbi', 
    'st', 
    'build_count', 
    'bbc' 
] 
 
def compute_spatial_weights(df, k=8): 
    knn = KNN.from_dataframe(df, k=k) 
    return df[features].apply(lambda y: weights.spatial_lag.lag_spatial(knn, y)).rename(columns=lambda c: 'w_' + c) 
 
def ordinary_least_squares(df_year, spatial=False): 
    formula = f"lst ~ {' + '.join(features)}"  
    if spatial: 
        df_year = df_year.join(compute_spatial_weights(df_year)) 
        formula += f" + {' + '.join(['w_' + f for f in features])}"  
     
    return smf.ols(formula, data=df_year).fit() 
 
def process(df, year): 
    df_year = pd.merge(df[df['year'] == year].fillna(0), grids[['idx', 'name']], on='idx') 
    ols_model = ordinary_least_squares(df_year) 
    ols_spatial_model = ordinary_least_squares(df_year, spatial=True) 
    ols_spatial_fe_model = ordinary_least_squares(df_year, spatial=True) 
     
    return { 
        'year': year, 
        'ols_model': ols_model, 
        'ols_spatial_model': ols_spatial_model, 
        'ols_spatial_fe_model': ols_spatial_fe_model, 
        'ols_r2': [ols_model.rsquared, ols_spatial_model.rsquared, ols_spatial_fe_model.rsquared] 
    } 

Gramener exponenciális simítást használt az LST értékek előrejelzésére. Az exponenciális simítás hatékony módszer az idősoros előrejelzéshez, amely súlyozott átlagokat alkalmaz a múltbeli adatokra, miközben a súlyok idővel exponenciálisan csökkennek. Ez a módszer különösen hatékony az adatok kiegyenlítésére a trendek és minták azonosítása érdekében. Az exponenciális simítás használatával lehetővé válik az LST trendek nagyobb pontosságú megjelenítése és előrejelzése, ami lehetővé teszi a jövőbeli értékek pontosabb előrejelzését a múltbeli minták alapján.

Az előrejelzések megjelenítéséhez a Gramener a SageMaker térinformatikai jegyzetfüzetet használta nyílt forráskódú térinformatikai könyvtárakkal, hogy a modell-előrejelzéseket egy alaptérképre lefedje, és rétegzett térinformatikai adatkészleteket biztosítson közvetlenül a notebookon belül.

Következtetés

Ez a bejegyzés bemutatta, hogy a Gramener hogyan képessé teszi ügyfeleit arra, hogy adatvezérelt döntéseket hozzanak a fenntartható városi környezet érdekében. A SageMakerrel a Gramener jelentős időmegtakarítást ért el az UHI-elemzés során, hetekről órákra csökkentve a feldolgozási időt. Ez a gyors betekintési képesség lehetővé teszi a Gramener ügyfelei számára, hogy pontosan meghatározzák azokat a területeket, ahol UHI-csökkentési stratégiákat igényelnek, proaktívan tervezzenek városfejlesztési és infrastrukturális projekteket az UHI minimalizálása érdekében, és átfogó kockázatelemzés céljából holisztikusan megértsék a környezeti tényezőket.

Fedezze fel a Föld-megfigyelési adatok integrálásának lehetőségeit a fenntarthatósági projektjeibe a SageMaker segítségével. További információkért lásd: Kezdje el az Amazon SageMaker térinformatikai képességeit.

A szerzőkről

Abhishek Mittal az Amazon Web Services (AWS) világméretű közszféra csapatának megoldástervezője, ahol elsősorban az ISV-partnerekkel dolgozik különböző iparágakban, és építészeti útmutatást ad nekik a méretezhető architektúra felépítéséhez és az AWS-szolgáltatások elterjedését elősegítő stratégiák megvalósításához. Szenvedélye a hagyományos platformok modernizálása és a felhőbeli biztonság. Munkán kívül utazásrajongó.

Janosch Woschitz az AWS vezető megoldási építésze, AI/ML szakterülete. Több mint 15 éves tapasztalatával világszerte támogatja ügyfeleit a mesterséges intelligencia és az ML innovatív megoldások kiaknázásában és az ML platformok AWS-en való építésében. Szakértelme felöleli a gépi tanulást, az adattervezést és a méretezhető elosztott rendszereket, erős szoftvermérnöki háttérrel és iparági szakértelemmel olyan területeken, mint az autonóm vezetés.

Shravan Kumar a Gramener ügyfél-sikerekért felelős vezető igazgatója, több évtizedes tapasztalattal rendelkezik az üzleti elemzés, az adatevangelizálás és a mélyreható ügyfélkapcsolatok kialakítása terén. Szilárd alapokkal rendelkezik az ügyfélkezelés, az adatelemzés területén belüli fiókkezelés, valamint az AI és az ML területén.

Avirat S a Gramener térinformatikai tudósa, aki az AI/ML-t használja fel, hogy betekintést nyerjen a földrajzi adatokból. Szakértelme a katasztrófavédelemben, a mezőgazdaságban és a várostervezésben rejlik, ahol elemzései a döntéshozatali folyamatokban adnak tájékoztatást.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/understanding-and-predicting-urban-heat-islands-at-gramener-using-amazon-sagemaker-geospatial-capabilities/