Більше

Встановлення змінних середовища ArcPy за допомогою багатопроцесорної обробки Python?


У мене є сценарій, який використовує багатопроцесорну обробку ArcPy + Python.

Чи спільні змінні середовища ArcPy між окремими процесами Python?

Якщо я напишуarcpy.env.extentзсередини кожного процесу я прошу клопоту?


Середовища не поширюються від процесу до процесу, тому зміна ступеня в одному взагалі не вплине на інше.


Прискорення Arcpy python Script, великі дані

У мене є смішно простий сценарій python, який використовує модуль arcpy. Я перетворив його на інструмент сценарію в arcmap і запускаю його таким чином. Це чудово працює, я тестував його кілька разів на невеликих наборах даних. Проблема в тому, що у мене дуже великий обсяг даних. Мені потрібно запустити скрипт / інструмент у таблиці .dbf з 4 стовпцями та 490 481 440 рядками, і наразі це зайняло кілька днів. Хтось має пропозиції щодо того, як це пришвидшити? Для економії часу я вже створив стовпці, які будуть заповнені в таблиці перед тим, як запустити сценарій. "назад" представляє друге число після коми у стовпці "back_pres_dist", а "dist" - четверте. Все, що я хочу, - це щоб вони були у своїх окремих колонках. Таблиця та сценарій виглядають приблизно так:

Будь-які пропозиції будуть вдячні. Я знаю, що читання деяких частин даних у пам’яті може пришвидшити процес, але я не впевнений, як це зробити за допомогою python (при використанні R читання в пам’ять тривало вічно, і це був кошмар, намагаючись записати в .csv ).


Зміст

  • Встановлення для ArcGIS Pro 2.5.x та пізніших версій
    • Встановлення за допомогою Python Package Manager
    • Встановлення за допомогою командного рядка Python
    • Пакет оновлення
      • конда
      • Піпенв
          • 1. Перебуваючи у підключеному середовищі, завантажте відповідне програмне забезпечення, яке вам знадобиться:
          • 2. Налаштуйте Anaconda для використання в відключеному середовищі:
          • 3. Перевірте встановлення:

          Існує декілька способів використання ArcGIS API для Python. API ArcGIS для Python поширюється як пакет conda з назвою arcgis. Conda - це популярна програма для керування пакетами та середовищем Python, яка допомагає вам встановлювати та оновлювати такі пакети, як API ArcGIS для Python та їх залежності.


          Середовища Conda¶

          Створюючи середовища conda, ви створюєте фізичні каталоги, які ізолюють певний інтерпретатор Python та пакети, які ви встановлюєте в середовище. Це дозволяє створювати кілька середовищ, які можуть мати різні версії програмного забезпечення, включаючи Python. Ви можете легко створювати нові середовища, а потім перемикатися між ними, не впливаючи на інші середовища. Докладні пояснення та вказівки див. У документації conda щодо керування середовищами.

          Давайте вивчимо, що доступно безпосередньо після встановлення конда через ArcGIS Pro або Anaconda Distribution.

          Середовища за замовчуванням: ¶

          Залежно від того, як ви встановили API Python (за допомогою ArcGIS Pro або Anaconda Distribution), ви помітите різні набори середовищ за замовчуванням.

          Ви можете перерахувати середовища conda на вашому комп'ютері в термінальній програмі:

          Додайте каталог виконуваних файлів conda у свій PATH, щоб запустити команду conda з будь-якого місця.

          ArcGIS Pro¶

          Після встановлення у вас буде 2 середовища conda у вашій системі:

          Це середовище містить інсталяцію Miniconda, меншу версію Anaconda, яка включає conda, Python, пакети, від яких вони залежать, а також вибраний набір корисних пакетів.

          Це середовище містить Python та пакет arcgispro, включаючи всю функціональність ArcPy.

          Керуйте конда-середовищами за допомогою ArcGIS Pro:

          Ви можете використовувати 3 різні методи для підтримки вашого середовища conda. Кожен забезпечує методи встановлення, оновлення та видалення пакунків:

          Інструмент графічного інтерфейсу, доступний на вкладці ArcGIS Pro Project.

          Ярлик командного рядка, який відкривається в каталозі arcgispro-py3 та активує середовище.

          Стандартна програма командного рядка MS-DOS для Windows.

          Додаткову технічну інформацію про conda та ArcGIS Pro див. У цих статтях:

          Розподіл Anaconda¶

          Після встановлення Anaconda встановлює Python, conda та сотні стандартних пакетів в одне середовище:

          Керуйте конда-середовищами за допомогою Anaconda:

          Ви можете використовувати кілька різних додатків для управління середовищем конда:

          Стандартні програми терміналів командного рядка в операційних системах Windows, macOS або Linux.

          Додаток графічного інтерфейсу для всебічного обслуговування середовища conda.


          Встановлення змінних середовища ArcPy за допомогою багатопроцесорної обробки Python? - Геоінформаційні системи

          Встановлення GDAL для ArcPy в Windows. GDAL може бути важко налаштувати для використання в ArcPy, але його можна налаштувати без зайвих проблем. Ви повинні використовувати 32-бітну установку, що відповідає вашій архітектурі Python. Сценарій ArcPy також повинен чітко посилатися на 32-бітну установку та мати правильні бібліотеки.

          Пізніший із цих пунктів викликає найбільше головних болів. Часто користувачі мають 64-розрядний екземпляр GDAL, встановлений у їхній системі для PostGIS, QGis або іншого програмного забезпечення, де шляхи до GDAL посилаються на системний шлях. При посиланні в системному шляху ArcPy використовуватиме версію GDAL, на яку посилається система, і в кінцевому підсумку зазнає помилки з помилкою dll. Найбезпечніший спосіб отримати доступ до бібліотеки - це налаштувати середовище ArcPy на посилання на правильні файли.

          Кроки описані нижче, щоб змусити його працювати.

          Щоб визначити версію вашої установки python, відкрийте вікно python в ArcGIS і запустіть sys.version. Він поверне щось подібне до 2.7.13 (v2.7.13: a06454b1afa1, 17 грудня 2016 р., 20:42:59) [MSC v.1500 32 біт (Intel)]. У цьому випадку версія становить 1500.

          ArcPy використовує 'win32', фонова обробка використовує 'x64', але це тут не розглядається.

          Вам слід використовувати найновішу версію GDAL, щоб скористатися виправленнями та функціями помилок.

          Це можна знайти, відкривши вікно python в ArcGIS і запустивши 'sys.exec_prefix'

          Завантажте файли з ГІС-інтерналів, відповідаючи вашим версіям MSVC та Arch. Ігноруйте суфікс мапсервера, що не важливо для ArcPy. Клацніть на відповідне посилання для вашої системи (випуск--gdal--mapserver-) Завантажити:

          Встановити gdal---core.msi до 'C: Program Files (x86) GDAL' Встановіть gdal---cfilegdb.msi Встановити GDAL-.-py2.7.msi, вибравши місце встановлення ArcGIS Python під час налаштування.

          Для того, щоб python використовував gdal, деякі системні змінні потрібно налаштувати на екземпляр python.


          Графічний реферат

          Зі збільшенням обсягу та складності геонаукових даних також зростає потреба в ефективних засобах аналізу та інтеграції таких «великих даних». Це справедливо при розвідці корисних копалин. Зростаюча складність пошуку нових родовищ корисних копалин вирішується за рахунок збільшення обсягу та типу відповідних даних для аналізу та синтезу для отримання цілей розвідки (Bergen et al., 2019, Karpatne et al., 2017, Yousefi et al., 2019). Методи картографування перспективності корисних копалин (MPM) забезпечують об'єктивні інструменти для інтеграції великої кількості геонаукових даних.

          Процедура МПМ із використанням геоінформаційної системи (ГІС) була вперше продемонстрована наприкінці 1980-х років Бонхем-Картером та співавт. (1988) для полегшення аналізу та синтезу даних. Він складається із статистичного аналізу для розпізнавання та параметризації просторових закономірностей у шарах даних географії. Просторові закономірності вважаються значущими проксі процесами, пов'язаними з виникненням певного типу / стилю мінералізації. Вони також використовуються для прогнозування існування територій, де існує ймовірність виникнення одного типу / стилю мінералізації, з неявним припущенням, що передбачувані райони мають подібні характеристики, як відомі мінералізовані місця. Отже, частини передбачуваних територій, в яких невідомо, що однаковий тип / стиль мінералізації має місце, є цілями для розвідки корисних копалин. Таким чином, MPM може значно зменшити розмір досліджуваного регіону із відповідним зменшенням експлуатаційних витрат.

          Методи ГІС на основі MPM можна класифікувати як на основі даних, так і на основі знань, а також як гібриди цих двох кінцевих членів. Методи, керовані даними, використовують кількісні просторові зв’язки між виявленими родовищами корисних копалин та окремими шарами просторових моделей, що цікавлять досліджуваний регіон (Bonham-Carter, 1994, Carranza, 2011, Ford et al., 2016, Liu et al., 2014, Пан та Гарріс, 2000). Однак методи, керовані знаннями, засновані на суб'єктивній оцінці просторових моделей, що представляють інтерес, на основі експертних знань процесів, які могли діяти під час формування родовищ корисних копалин в геологічних умовах аналізованого регіону (Abedi et al., 2013, Та ін., 1991, Carranza, 2008, Ford та ін., 2016, Pan and Harris, 2000). Методи MPM, керовані даними, потребують значно більшої кількості мінералізованих місць для отримання статистично точних результатів (Bonham-Carter et al., 1988). На відміну від цього, методи, керовані знаннями, можуть застосовуватися в районах з незначними або відсутніми мінералізованими місцями, однак їх недоліками є суб’єктивна упередженість та вартість та складність доступу до відповідних експертних знань. Незалежно від використовуваного методу, основною проблемою зараз є вилучення та параметризація просторових моделей, що цікавлять, з великих обсягів відповідних даних, доступних для MPM.

          Здатність алгоритмів машинного навчання (ML) розпізнавати складні просторові закономірності обходить обмеження класичних статистичних методів MPM. В даний час багато методів MPM, керованих даними, базуються на алгоритмах ML, таких як штучна нейронна мережа (Brown et al., 2000, Harris and Pan, 1999, Leite and de Souza Filho, 2009, Porwal et al., 2003, Rodriguez- Galiano et al., 2015, Singer and Kouda, 1996, Xiong and Zuo, 2017), опорна векторна машина (SVM) (Abedi et al., 2012, Granek et al., 2016, Porwal et al., 2010, Rodriguez- Galiano et al., 2015, Shabankareh and Hezarkhani, 2017, Zandiyyeh et al., 2016, Zhang et al., 2018, Zuo and Carranza, 2011), випадковий ліс (Carranza and Laborte, 2016, Carranza and Laborte, 2015a, Carranza and Laborte, 2015b, Gao et al., 2016, Hariharan et al., 2017, McKay and Harris, 2016, Person et al., 2008, Radford et al., 2018, Rodriguez-Galiano et al., 2015, Rodriguez- Galiano et al., 2014, Zhang et al., 2016), дерево рішень (Chen et al., 2014) та машина екстремального навчання (Chen and Wu, 2017a). Застосування будь-якого з цих алгоритмів ML передбачає збалансовану кількість локацій відомих запасів корисних копалин та кількість місць, де випадків типу / стилю мінералізації, що цікавить, точно не існує. Однак мінералізація, будучи особливою подією, трапляється рідко (Carranza and Laborte, 2015a, Carranza and Laborte, 2015b, Cheng, 2007, Granek et al., 2016, Granek and Haber, 2015). Отже, кількість мінералізованих місць перевищує природно значною мірою немінералізовані місця. Величезний дисбаланс між відомими мінералізованими місцями (тобто меншиною та позитивним класом) та відомими немінералізованими місцями (тобто більшістю та негативним класом) ускладнює алгоритмам ML вивчення правил класифікації між класами більшості та меншості під час навчання (тобто навчання). Це призводить до необ'єктивної оцінки меж прийняття рішень щодо більшості (тобто немінералізованого) класу та вищого рівня помилкової класифікації (помилково негативного) класу меншості (тобто мінералізованого) на основі випробувальних місць (Japkowicz and Stephen, 2002, Sun та ін., 2009). Високі коефіцієнти помилково від’ємних значень (тобто мінералізовані місця, неправильно класифіковані як немінералізовані) у МПМ призведуть до втраченої можливості для відкриття нового родовища корисних копалин.

          Повідомлені рішення щодо вирішення труднощів у навчанні алгоритмів ML під час навчання з незбалансованими даними щодо класів більшості та меншин раніше пропонувались на рівнях даних та алгоритмів (наприклад, Chawla et al., 2004, Sun et al., 2009). Рішення на рівні даних складаються з методів повторної вибірки, розроблених для збалансування даних для класів більшості та меншин, а саме шляхом надмірної вибірки або недостатньої вибірки відповідного класу та комбінації обох методів (Chawla et al., 2002, Chawla et al., 2004, Jiang et al., 2013, Sun et al., 2009, Zhou and Liu, 2006). Методи надмірної вибірки збільшують кількість зразків класів меншин, тоді як методи недобіркової вибірки зменшують кількість зразків більшості класів, щоб збалансувати кількість даних вибірки перед навчанням. На рівні алгоритму рішення намагаються поліпшити здатність до навчання алгоритму ML для правильної класифікації класу меншості (Quinlan, 1991, Zadrozny and Elkan, 2001), таких як навчання з урахуванням витрат, навчання в одному класі та навчання в ансамблі. Економні навчальні рішення намагаються припустити більшу вартість неправильної класифікації для зразків класу меншин, зменшуючи прихильність до класу більшості щодо оцінки меж рішення (тобто класифікації) (Domingos, 1999, Drummond and Holte, 2003, Elkan, 2001, Задрозний та ін., 2003, Чжоу та Лю, 2006). Однокласні учні - це алгоритми ML, які навчаються лише з цільовим класом (тобто мінералізованим класом у MPM) шляхом навчання на основі розпізнавання. На відміну від навчання на дискримінації є моделі, які намагаються визначити межі між класами, тоді як навчання на основі визнання намагається визначити межу класифікації, яка оточує цільовий клас. Класифікація за допомогою однокласного навчання проводиться шляхом вимірювання схожості між об’єктом запиту та цільовим класом та визначенням порогу значення схожості (Chen and Wu, 2017b, Japkowicz, 2001, Manevitz and Yousef, 2001, Schölkopf et al. ., 2001, Tax, 2001, Xiong et al., 2018, Xiong and Zuo, 2016). Алгоритми навчання ансамблю поєднують кілька класифікаторів та узагальнюють їх прогнози, щоб поліпшити узагальнюючу здатність моделі. Більшість алгоритмів ансамблю базуються на методах Boosting (Freund, 1995) та Bagging (Breiman, 1996). Метод Bagging створює кілька класифікаторів, навчаючи модель класифікації кілька разів з різними наборами даних навчання. Дані навчання отримуються шляхом випадкової вибірки вихідного набору даних із заміною. Приріст продуктивності, отриманий методами Беггінга, зазвичай є результатом зменшення дисперсії передбачень моделі. На відміну від Bagging, де класифікатори навчаються незалежно один від одного, у Boosting класифікатори навчаються послідовно дуже адаптивно. Моделі класифікації скориговані, щоб надати більше значення спостереженням у наборі даних, які були погано оброблені попередніми моделями в послідовності. Таким чином, метод підсилення створює сильнішого учня з меншим упередженням, ніж початковий класифікатор.

          Нещодавні дослідження щодо МПМ намагалися вирішити проблему незбалансованості даних як для більшості, так і для меншин. Xiong and Zuo (2017) запропонували чутливу до витрат нейронну мережу, щоб мінімізувати неправильну класифікацію відомих мінералізованих місць. Запропонований алгоритм включає вартість неправильної класифікації відомих негативних та позитивних класів в алгоритмі нейронної мережі для вивчення моделі перспективності корисних копалин. Для усунення упередженого ставлення до більшості та негативного класу Xiong and Zuo (2018) запропонували алгоритм логістичної регресії рідкісних подій, який включає виправлення вибірки та порогові значення рішення в оригінальний алгоритм логістичної регресії. Ван та співавт. (2019) запропонував напівконтрольований випадковий лісовий алгоритм для боротьби з відсутністю відомих мінералізованих місць у MPM. Запропонований класифікатор використовує немечені дані для підвищення ефективності моделі класифікації. Для рішень на рівні даних використання SMOTE для синтетичного надмірного відбору зразків немінералізованого класу було запропоновано Харіхараном та ін. (2017) для покращення моделювання перспективності за допомогою випадкового класифікатора лісів. Лі та ін. (2019) нещодавно далі продемонстрував корисність SMOTE у випадковому лісовому моделюванні перспективності корисних копалин. Ці дослідження дозволяють припустити, що використання SMOTE для надмірної вибірки класу меншості та недостатньої вибірки класу більшості може поліпшити ефективність моделей перспективності корисних копалин, навчених незбалансованими даними.

          У цьому контексті тут досліджуються ефекти SMOTE на MPM. Ми прагнемо продемонструвати, що SMOTE може значно покращити ефективність алгоритмів ML у MPM. Для досягнення цієї мети було змінено вихідний набір навчальних даних. За допомогою SMOTE мінералізовані місця були відібрані надмірно, а немінералізовані - випадково недостатньо відібрані при різних співвідношеннях. Було створено близько 400 навчальних наборів даних із співвідношенням мінералізованих до немінералізованих зразків, що варіювали від 20: 1 до 1:20. Ця стратегія була використана для оцінки ефективності алгоритму SVM при різних співвідношеннях мінералізованих та немінералізованих зразків для моделювання перспективності родовищ Cu-Au у провінції Каражас Мінерал (CMP), Бразилія. Алгоритм SVM був обраний, оскільки, на відміну від інших алгоритмів ML, він менш чутливий до дисбалансу класів, оскільки межі класів обчислюються лише щодо декількох точок даних, і розмір класу може не впливати на межу класу надмірно (Japkowicz and Stephen, 2002 , Sun et al., 2009).


          Представляємо новий метод проекції, що зберігає роздільну здатність

          від SarmisthaChatte rjee

          Засоби ArcGIS Pro 2.3 та ArcMap 10.7 Spatial Analyst тепер підтримують нове середовище, метод прогнозування розміру комірки, для контролю розрахунку розміру вихідної растрової комірки, коли набори даних проектуються під час виконання інструменту. Щоб дізнатись більше про проекції, див. Системи координат, проекції та перетворення.

          У попередніх версіях програмного забезпечення розмір комірки перетворювався за допомогою лінійного перетворення одиниць при проектуванні з Проектованої системи координат (PCS) на інший PCS або кутового перетворення одиниць при переході з Географічної системи координат (GCS) в інший GCS. Отже, проектування 30-метрового растрового набору даних із зони UTM 10N на WGS84 Web Mercator продовжуватиме використовувати 30-метровий як вихідний розмір комірки. При проектуванні з GCS на PCS або навпаки, попередні версії приймали середній розмір комірки на основі співвідношення довжин діагоналі в проекціях джерела та призначення. Отже, цей метод, який наразі виглядає як метод «перетворення одиниць», просто скопіював розмір комірки з входу на вихід, змінюючи одиниці, якщо це необхідно.

          Цей підхід має деякі обмеження:

          • Це не враховує спотворення при проектуванні з одного PCS на інший PCS (1 проектований метр, скажімо, в зоні UTM у даному місці може не покривати таку саму відстань до землі, як 1 проектований метр у тому самому місці в проекції Альберса).
          • При обчисленні співвідношень діагональних довжин використовувалася поведінка проекції лише в чотирьох кутових точках. Це могло спричинити надмірне спотворення, залежно від проекції та ступеня.

          Два нові методи: "зберегти роздільну здатність" і "центр міри" обидва призначені для обчислення прогнозованого розміру комірки, який не змінює відстань від землі до клітини, уникаючи, таким чином, непотрібної повторної вибірки під час операції неявного проектування, що відбувається як просторовий аналітик інструмент або функція для растрового інструменту перетворення виконується. Вам слід використовувати метод «центру обсягу», коли ви знаєте географічне розташування, де розмір осередку є найбільш точним. Якщо ви використовуєте цей метод, ви можете використовувати растр з невеликою мірою в тій самій області, що і джерело розміру комірки, або створити тимчасовий растр «навколо» цього місця і використовувати його як джерело розміру комірки. Якщо ви не впевнені, скористайтеся методом «зберегти роздільну здатність». Щоб дізнатись більше про три методи проекції розміру комірки, див. Як працює налаштування середовища Метод проекції розміру комірки.

          Якщо ви не знаєте, в якому конкретному географічному розташуванні ваш розмір комірки найкращий, але хочете вдосконалити метод «перетворення одиниць», коли задіяна проекція під час роботи з інструментами Spatial Analyst, ви можете використовувати метод «зберегти роздільну здатність».

          Навіщо використовувати метод проекції збереження роздільної здатності клітини?

          У методі «зберегти роздільну здатність» у прогнозованому масштабі зберігається така ж кількість квадратних комірок, як і в початковому екстенті. Вихідний розмір комірки обчислюється на основі відношення площ прогнозованої протяжності до початкової величини. Цей підхід заснований на тому, як програмне забезпечення Esri в даний час вибирає розмір комірки при переході від системи координат зображення камери до геодезичної (GCS або PCS) системи. Цей метод обчислює середній розмір квадратної комірки точніше для всіх комбінацій GCS і PCS, ніж метод «перетворення одиниць» за замовчуванням.

          Якщо площі вихідної прямокутної протяжності та (збереження форми) проектованої протяжності становлять A 0 та A 1, то площі квадратних комірок відповідно становлять, ca 0 = A 0 / n та ca 1 = A 1 / n

          Оскільки кількість клітинок залишається незмінною в обох випадках, відношення площі протяжності до площі квадратної комірки рівне, A 0 / ca 0 = A 1 / ca 1

          Рисунок 1: Проекція розміру комірки за допомогою нового методу «зберегти роздільну здатність»

          Отже, вихідна площа комірки дорівнює ca 1 = (A 1 / A 0) * ca 0

          а вихідний розмір комірки - CellSize_projected = √ ((A 1 / A 0) * ca 0)

          У цьому методі коефіцієнт перетворення розміру комірки становить, √ (A 1 / A 0)

          Давайте розглянемо два приклади, щоб побачити, як метод «зберегти роздільну здатність» вибирає кращий розмір вихідної комірки, ніж «конвертувати одиниці».

          Приклад 1:

          Візьмемо растр висоти (R_input), розташований у штаті Вермонт (малюнок 2), в PCS (NAD_1983_StatePlane_Vermont_FIPS_4400) і спроектуємо його на інший PCS (WGS 1984 World Mercator) за допомогою методів проекції розміру комірки за замовчуванням, 'перетворення одиниць' (R_out_CU) та "зберегти роздільну здатність" (R_out_PR). Тут обидва просторові посилання зберігають форму, де вхідні просторові посилання придатні на рівні стану, а вихідні просторові посилання підходять для всього світу. Потім ми порівняємо геодезичну відстань між клітинними центрами, щоб визначити, який метод більш точно зберігає геодезичну відстань.

          Рисунок 2: Розташування вхідного растру (R_Input), його межі комірок та центри комірок.

          Перш ніж порівнювати геодезичні відстані між двома методами, давайте зрозуміємо, якими різними способами проектується растр в ArcGIS Pro. Коли ви додаєте растр на карту в ArcGIS Pro, просторове посилання на карту стає однаковим із просторовим посиланням на растр. Наприклад, якщо перший доданий шар має NAD_1983_StatePlane_Vermont_FIPS_4400 PCS, карта матиме однакові просторові посилання, а всі інші шари проектуватимуться на льоту відповідно до цього просторового посилання. Ця растрова проекція на льоту призначена для розширеного досвіду відображення, але не зберігає растрову структуру (різні клітинки можуть мати на льоту спроектовані різні розміри, обертання та спотворення). Однак, коли ви проектуєте растр за допомогою інструмента "Проектний растр" або вказуєте середовище вихідної системи координат інструменту геообробки, растр фактично проектується в нову структуру растру (кожна комірка є однаковим прямокутником у вихідному просторовому посиланні, зі сторонами паралельними до осей системи координат). Для вимірювання геодезичної відстані для порівняння методів проекції розміру комірки рекомендується використовувати фактично прогнозований растр замість растру, який проектується на льоту.

          На малюнку 3 розмір комірки вхідного растру R_input становить 30 метрів. Це приблизно таке ж, як і його геодезична відстань до землі, яку ви можете дізнатись за допомогою інструмента Вимірювання в ArcGIS Pro.

          Рисунок 3: Межі комірок R_input, центри комірок R_input, R_out_CU, R_out_PR та геодезична відстань між центрами комірок. Для накладання точок клітинні центри спроектовано назад до просторового посилання R_input для порівняння.

          Коли проектор проектується за допомогою методів «перетворення одиниць», прогнозований розмір комірки вихідного растру R_out_CU залишається 30 метрів, але 30 метрів у WGS 1984 World Mercator - це набагато менша відстань до землі, 21 метр. Отже, проекція растру за допомогою методу «конвертувати одиниці» без потреби збільшила роздільну здатність вихідного растру. Якби ми проектували в зворотному напрямку (починаючи з WGS 1984 World Mercator), то ми втратили б значну кількість растрових даних. Коли один і той же растр проектується за допомогою методу «зберегти роздільну здатність», розмір його комірки стає 42 метри, а геодезична відстань до землі залишається 30 метрів, що збігається з геодезичною відстанню вхідного растру.

          Приклад 2:

          У цьому прикладі ми будемо проектувати із зони UTM на сусідню зону, що може трапитися під час мозаїки багатьох різних ЦМР для більшої (державної) площі. На малюнку 4 візьмемо растр (R_input2) у зоні WGS 1984 UTM 11N і спроектуємо його на прилеглу зону WGS 1984 UTM Zone 12N, створивши вихідні дані (R_out_CU2) та (R_out_PR2) для `` перетворення одиниць виміру '' та `` збереження роздільної здатності '' відповідно. . Звідси ми знову порівняємо геодезичну відстань між клітинними центрами, щоб визначити, який метод точніше зберігає геодезичну відстань.

          Малюнок 4: Межі комірок R_input2, центри комірок R_input2, R_out_CU2, R_out_PR2 та геодезична відстань між центрами комірок. Для накладання точок, клітинні центри спроектовано назад до просторового посилання R_input2 для порівняння.

          Розмір комірки для вхідного растру, R_input2, становить 30 метрів, що приблизно відповідає геодезичній відстані від землі в цій області. Коли проектор проектується за допомогою методу «перетворення одиниць», розмір комірки вихідного растру, R_out_CU2, стає 30 метрів, а геодезична відстань до землі становить приблизно 31 метр. Коли той самий растр проектується методом «зберегти роздільну здатність», розмір його комірки стає 28,99 метра, а геодезична відстань до землі становить 30 метрів, що є однаковим із вхідним растром.

          В обох прикладах метод «зберегти роздільну здатність», схоже, краще зберігає геодезичну відстань між центрами комірок, ніж метод «перетворення одиниць». Інші комбінації вхідних та вихідних просторових посилань можуть, звичайно, демонструвати різницю між методами, але загалом можна впевнено сказати, що метод «зберегти роздільну здатність» є кращим підходом для збереження геодезичної відстані під час проектування наборів даних.

          Важливою властивістю методу «зберегти роздільну здатність» є те, що розмір вихідної комірки залежить від розташування набору даних. Одна і та ж комбінація вхідних та вихідних просторових посилань дасть різний розмір вихідної комірки, якщо вхідний растровий набір даних знаходиться в іншому географічному розташуванні. Якщо вам потрібно використовувати один розмір комірки для різних наборів растрових даних (наприклад, обробка сусідніх DEM-плиток), вкажіть один растровий набір даних, який використовуватиметься як джерело розміру комірки під час проведення растрового аналізу для плиток.

          Наступного разу, коли ви будете використовувати інструмент геообробки Spatial Analyst або команду python, щоб:

          • створити результат із просторовим посиланням, відмінним від вихідного набору даних,
          • використовувати набори вхідних даних з різними просторовими посиланнями,
          • вказати розмір комірки аналізу за допомогою набору даних з іншим просторовим посиланням,

          зверніть увагу на вихідний розмір комірки та розгляньте можливість використання методів збереження роздільної здатності або методів центру масштабу. За замовчуванням метод проекції виконує «перетворення одиниць», що існували в попередніх версіях ArcGIS, але, як ми вже бачили, цей метод може без потреби збільшити або зменшити роздільну здатність ваших цінних растрових даних.

          Додаткові ресурси

          Цю публікацію в блозі підготували Джеймс ТенБрінк, старший інженер-програміст групи растрового аналізу в Esri, та Сармішта Чаттерджі.


          Встановіть, чи слід додавати результуючі набори вихідних даних інструментів на дисплей програми.

          Інструменти, що виконують обов'язки середовища автоматичного фіксації, змусять фіксувати комітет після внесення зазначеної кількості змін у транзакції корпоративної бази геоданих.

          Інструменти, які вшановують середовище Картографічної системи координат, використовуватимуть зазначену систему координат для визначення розміру, обсягу та просторових взаємозв’язків об’єктів під час обчислень.

          Інструменти, що вшановують середовище картографічних розділів, поділятимуть функції введення за вказаними елементами багатокутника розділу для послідовної обробки, щоб уникнути обмежень пам’яті, які в іншому випадку можуть виникнути у великих наборах даних.

          Інструменти, які виконують налаштування середовища розміру комірки, встановлюють вихідний растровий розмір комірки або роздільну здатність для цієї операції. Вихідна роздільна здатність за замовчуванням визначається грубим з наборів вхідних растрових даних.

          Інструменти, що вшановують середовище "Точки збігів", визначають, як обробляються дані, що співпадають, у Geostatistics Analyst.

          Інструменти, які виконують налаштування середовища стиснення, встановлюють тип стиснення при зберіганні вихідних наборів растрових даних.

          Інструменти, які вшановують Output CONFIG Keyword, використовуватимуть вказане ключове слово під час створення наборів даних у базі геоданих.

          Інструменти, які вшановують середовище Precision для похідних покриттів, створюють вихідні покриття, точність яких визначається на основі вхідних покриттів на основі цього параметра.

          Інструменти, які вшановують середовище Output Extent, оброблятимуть лише ті функції або растри, які не перебувають у межах, зазначених у цьому налаштуванні.

          Інструменти, які вшановують середовище географічних перетворень, використовуватимуть методи трансформації при проектуванні даних.

          Інструменти, що вшановують середовище «Підтримувати просторовий індекс», видаляють і відтворюють просторовий індекс класу об’єктів корпоративної бази геоданих або утримують його на місці та оновлюють відповідно до налаштування.

          Інструменти, що вшановують середовище Маска, враховуватимуть лише ті клітинки, які потрапляють до маски аналізу в процесі.

          Інструменти, які вшановують середовище Output M Domain, генеруватимуть набори вихідних даних із зазначеною мірою (m) -доменом.

          Інструменти, які вшановують це середовище, застосовуватимуть роздільну здатність M до вихідних наборів геоданих.

          Інструменти, які дотримуються середовища Precision for New Coverage, створюють вихідні покриття з заданою точністю.

          Інструменти, які виконують налаштування середовища NoData, оброблятимуть лише растри, де NoData є дійсним.

          Інструменти, які вшановують середовище вихідної системи координат, створюватимуть вихідні набори геоданих із зазначеною системою координат.

          Інструменти, які вшановують середовище Output має значення M, контролюватимуть, чи зберігатиме вихідні геодані даних значення M.

          Інструменти, які вшановують середовище вихідних значень Z, контролюють, чи зберігатиме вихідний набір геоданих z-значення.

          Інструменти, які вшановують це середовище, встановлять z-координату для кожної вихідної вершини, яка ще не має z-координати.

          Визначає, чи інструменти автоматично перезаписуватимуть будь-який наявний вивід під час запуску. Якщо встановлено значення True, інструменти будуть виконувати та перезаписувати вихідний набір даних. Якщо встановлено значення False, існуючі результати не будуть перезаписані, і інструмент видасть помилку.

          Робоча область Package - це місце розташування папки, яка визначає вміст спільного пакету або послуги геообробки.

          Інструменти, що вшановують середовище фактора паралельної обробки, розподілятимуть та виконуватимуть операції в декількох процесах.

          Tools that honor the Level of Comparison Between Projection Files environment only execute if the input projections match to the degree that is specified.

          Tools that honor the Pyramid environment setting will only process rasters where the pyramids are valid. Pyramids for ERDAS IMAGINE files have limited options that can be set.

          Tools that honor the Qualified Field Names environment use this setting to distinguish between qualified or unqualified field names. Qualified field names are the names of fields in a feature class or table that have the name of the origin feature class or table appended onto the field name. This setting is relevant when working with joined data.

          Tools that use the Random Number Generator environment use algorithms that use the seed and distribution to produce a sequence of random numbers.

          Tools that honor the Raster Statistics environment control how statistics are built for output raster datasets.

          Tools that honor the Reference Scale environment will consider the graphical size and extent of symbolized features as they appear at the reference scale.

          Resampling is the process of interpolating the pixel values while transforming your raster dataset. This is used when the input and output do not line up exactly, when the pixel size changes, when the data is shifted, or a combination of these.

          The scratch folder is the location of a folder you can use to write file-based data, such as shapefiles, text files, and layer files. It is a read-only environment managed by ArcGIS.

          The scratch GDB is the location of a file geodatabase you can use to write temporary data.

          Tools that honor the Scratch Workspace environment setting use the specified location as the default workspace for output datasets. The Scratch Workspace is intended for output data you do not wish to maintain.

          Tools that honor the Snap Raster environment will adjust the extent of output rasters so that they match the cell alignment of the specified snap raster.

          Tools that honor the Output Spatial Grid 1, 2, and 3 environments will create feature classes that have the specified spatial index grids if those feature classes support spatial index grids.

          Tools that honor the Output Spatial Grid 1, 2, and 3 environments will create feature classes that have the specified spatial index grids if those feature classes support spatial index grids.

          Tools that honor the Output Spatial Grid 1, 2, and 3 environments will create feature classes that have the specified spatial index grids if those feature classes support spatial index grids.

          Tools that honor the Terrain Memory Usage environment control memory use during analysis on terrains.

          Tools that honor the Tile Size environment set the tile size for rasters that are stored in blocks of data.

          Tools that honor the TIN Storage Version setting will output TIN surfaces in the specified version.

          This geoprocessing environment controls whether output shapefiles and dBASE ( .dbf ) tables will have fields added containing domain and subtype descriptions, in addition to fields containing domain and subtype codes. This setting is only relevant when the input to a geoprocessing tool is a geodatabase feature class or table with domains and subtypes defined. By default, only domain and subtype codes are included in shapefile or dBASE ( .dbf ) output.

          Tools that honor the Current Workspace environment setting use the workspace specified as the default location for geoprocessing tool inputs and outputs.

          Tools that honor the Output XY Domain environment will set the specified range to the output geodataset's x,y domain.

          Tools that honor this environment will apply the x,y resolution to output geodatasets.

          Tools that honor this environment will override the default x,y tolerance on geodatasets created inside a geodatabase.

          Tools that honor the Output Z Domain environment will generate output datasets with the specified z-domain.

          Tools that honor this environment will apply the z-resolution to output geodatasets.

          Tools that honor this environment will override the default z-tolerance on geodatasets created inside a geodatabase.


          Setting ArcPy environment variables with Python multiprocessing? - Геоінформаційні системи

          Geographical Information Systems in Python

          University of Rhode Island (Spring 2021)

          Опис Курсу: One of the most powerful elements of ArcGIS, beyond its vast visualization capabilities, is the ability to automate nearly all processing tasks using Python. Python is a popular programming language, at its core, it is easy for beginners to understand. However, it also has vast capabilities, largely through the addition of numerous third-party packages. ArcGIS itself uses an additional proprietary package known as arcpy, which extends Python with powerful geospatial capabilities, spatial file management and also allows us to process data with other libraries such as numpy and scipy. In this class, we will introduce you to Python and how it functions primarily within ArcGIS Desktop, but much will be applicable to ArcGIS Pro and other open source programs such as QGIS. This is a skills-based course, so we will begin by learning basic-programming skills using the Python language. We will advance these within the arcpy environment and begin developing basic scripts to automate and extend some common geoprocessing tasks. We will develop an understanding of good coding practice, open source programming and turn scripts into fully functioning toolboxes for wider dissemination to non-programming geospatial analysts. We will base our learning around Github and use this for developing and sharing our code.

          Pre-requisites: Students should have a degree of proficiency using ArcGIS, usually obtained through successful completion of NRS 410. If you have not, then you should contact me, to refresh your skills, you can always take my online “Intro to ArcGIS” course in advance of this class.

          Course credit: This is a three-credit course, that includes weekly self-study learning components, lectures, computer-based hands on classes and assignments to work towards these credits (see below in the Assessment section and the Schedule).

          Course goals:

          • Expose you to the Python programming language and provide opportunity to practice using basic functionality.
          • Introduce arcpy and how this can be used to automate and extend geoprocessing tasks.
          • Provide you with the skills needed to successfully develop Python tools that can be used, not only by yourself, by other users.
          • Provide practice in the use of Github as a tool for code dissemination and storage.

          Learning outcomes:

          • LO-1 You will be able to produce basic Python code that is functional and extendable: 1) including operating system operations, including file creation, manipulation, searching and filtering. 2) Core Python functionality including for loops, if/else, lists and variable manipulation. 3) Extending the capabilities of Python by importing various libraries.
          • LO-2 You will be able to undertake basic geoprocessing tasks by using Python code and the arcpy library, that mirror routines that you would previously have used the graphical user interface or ModelBuilder to complete.
          • LO-3 You will be able to package code into usable Python Toolboxes that will be available to users via ArcToolbox, which will include adequate help and explanatory files for other users to execute your Toolbox.
          • LO-4 You will be able to participate in the open source software movement including the practices of code sharing and dissemination through the Github website. You will be able to produce understandable code that is appropriately commented to allow other users to run your programs.

          Self-learning component: Each week prior to meeting in the computer teaching laboratory, you will undertake self-study exercises to address simple coding problems in preparation for the class. These are called “Coding Challenges” and are a type of flipped classroom whereby you undertake self-learning prior to coming to class where we undertake more advanced topics. These challenges are designed to be achievable in approximately two to three hours and must be completed prior to the specific class for which they are assigned (see Schedule), as we review the challenges at the beginning of class (see Assessment below). Some challenges will require additional preparation including research on code-repositories such as textbooks, Github, or forums such as Stack Overflow. Your code from each challenge must be maintained in your Github account, as it forms part of your overall coding portfolio.

          Classroom component: In class, we will explore basic programming concepts and advanced geospatial applications that are suited for automation using Python. During lab, we will work on training materials produced by the instructor, which are designed to ensure you meet the learning outcomes of the course. We will use the software development program PyCharm, which allows rapid code generation and can be linked into ArcGIS for code execution.


          Environmental risk mapping of potential abandoned uranium mine contamination on the Navajo Nation, USA, using a GIS-based multi-criteria decision analysis approach

          The Navajo Nation (NN), a sovereign indigenous tribal nation in the Southwestern United States, is home to 523 abandoned uranium mines (AUMs). Previous health studies have articulated numerous human health hazards associated with AUMs and multiple environmental mechanisms/pathways (e.g., air, water, and soil) for contaminant transport. Despite this evidence, the limited modeling of AUM contamination that exists relies solely on proximity to mines and only considers single rather than combined pathways from which the contamination is a product. In order to better understand the spatial dynamics of contaminant exposure across the NN, we adopted the following established geospatial and computational methods to develop a more sophisticated environmental risk map illustrating the potential for AUM contamination: GIS-based multi-criteria decision analysis (GIS-MCDA), fuzzy logic, and analytic hierarchy process (AHP). Eight criteria layers were selected for the GIS-MCDA model: proximity to AUMs, roadway proximity, drainage proximity, topographic landforms, wind index, topographic wind exposure, vegetation index, and groundwater contamination. Model sensitivity was evaluated using the one-at-a-time method, and statistical validation analysis was conducted using two separate environmental datasets. The sensitivity analysis indicated consistency and reliability of the model. Model results were strongly associated with environmental uranium concentrations. The model classifies 20.2% of the NN as high potential for AUM contamination while 65.7% and 14.1% of the region are at medium and low risk, respectively. This study is entirely a novel application and a crucial first step toward informing future epidemiologic studies and ongoing remediation efforts to reduce human exposure to AUM waste.

          Це попередній перегляд вмісту передплати, доступ через вашу установу.


          Перегляньте відео: Урок 1 Встановлення середовища розробки програм Lazarus (Вересень 2021).