from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

ប្រសិនបើអ្នកចង់លុបចំណុចបញ្ចប់ សូមប្រើកូដខាងក្រោម៖

async_predictor.delete_endpoint(async_endpoint_name)

អត្ថប្រយោជន៍នៃការដាក់ពង្រាយចំណុចបញ្ចប់អសមកាល

ដំណោះស្រាយនេះផ្តល់អត្ថប្រយោជន៍ដូចខាងក្រោមៈ

• ដំណោះស្រាយអាចគ្រប់គ្រងឯកសារអូឌីយ៉ូច្រើន ឬធំប្រកបដោយប្រសិទ្ធភាព។
• ឧទាហរណ៍នេះប្រើឧទាហរណ៍តែមួយសម្រាប់ការបង្ហាញ។ ប្រសិនបើអ្នកចង់ប្រើដំណោះស្រាយនេះសម្រាប់វីដេអូរាប់រយ ឬរាប់ពាន់ ហើយប្រើចំណុចបញ្ចប់អសមកាលដើម្បីដំណើរការលើករណីជាច្រើន អ្នកអាចប្រើ គោលការណ៍ធ្វើមាត្រដ្ឋានដោយស្វ័យប្រវត្តិដែលត្រូវបានរចនាឡើងសម្រាប់ឯកសារប្រភពមួយចំនួនធំ។ ការធ្វើមាត្រដ្ឋានដោយស្វ័យប្រវត្តិកែតម្រូវជាលក្ខណៈថាមវន្តចំនួននៃករណីដែលបានផ្តល់សម្រាប់គំរូក្នុងការឆ្លើយតបទៅនឹងការផ្លាស់ប្តូរនៅក្នុងបន្ទុកការងាររបស់អ្នក។
• ដំណោះស្រាយបង្កើនប្រសិទ្ធភាពធនធាន និងកាត់បន្ថយការផ្ទុកប្រព័ន្ធដោយបំបែកកិច្ចការដែលដំណើរការយូរពីការសន្និដ្ឋានតាមពេលវេលាជាក់ស្តែង។

សន្និដ្ឋាន

នៅក្នុងការបង្ហោះនេះ យើងបានផ្តល់នូវវិធីសាស្រ្តត្រង់ៗក្នុងការដាក់ពង្រាយគំរូ diarization speaker របស់ Hugging Face នៅលើ SageMaker ដោយប្រើស្គ្រីប Python ។ ការប្រើប្រាស់ចំណុចបញ្ចប់អសមកាលផ្តល់នូវមធ្យោបាយដ៏មានប្រសិទ្ធភាព និងអាចធ្វើមាត្រដ្ឋានបាន ដើម្បីផ្តល់ការព្យាករណ៍ diarization ជាសេវាកម្ម បំពេញសំណើស្របគ្នាយ៉ាងរលូន។

ចាប់ផ្តើមថ្ងៃនេះជាមួយនឹងការបំប្លែងបំពងសំឡេងអសមកាលសម្រាប់គម្រោងសំឡេងរបស់អ្នក។ ទាក់ទងនៅក្នុងមតិយោបល់ ប្រសិនបើអ្នកមានសំណួរណាមួយអំពីការទទួលបានចំណុចបញ្ចប់នៃការ diarization អសមកាលផ្ទាល់ខ្លួនរបស់អ្នក និងដំណើរការ។

អំពីនិពន្ធនេះ

Sanjay Tiwary គឺជាអ្នកឯកទេសដំណោះស្រាយដំណោះស្រាយស្ថាបត្យករ AI/ML ដែលចំណាយពេលវេលារបស់គាត់ធ្វើការជាមួយអតិថិជនជាយុទ្ធសាស្រ្តដើម្បីកំណត់តម្រូវការអាជីវកម្ម ផ្តល់វគ្គ L300 ជុំវិញករណីប្រើប្រាស់ជាក់លាក់ និងរចនាកម្មវិធី និងសេវាកម្ម AI/ML ដែលអាចធ្វើមាត្រដ្ឋាន ជឿជាក់ និងដំណើរការបាន។ គាត់បានជួយបើកដំណើរការ និងពង្រីកសេវាកម្ម Amazon SageMaker ដែលដំណើរការដោយ AI/ML និងបានអនុវត្តភស្តុតាងជាច្រើននៃគំនិតដោយប្រើសេវាកម្ម Amazon AI ។ គាត់ក៏បានបង្កើតវេទិកាវិភាគកម្រិតខ្ពស់ផងដែរ ដែលជាផ្នែកមួយនៃដំណើរផ្លាស់ប្តូរឌីជីថល។

Kiran Challapalli គឺជាអ្នកអភិវឌ្ឍន៍អាជីវកម្មបច្ចេកវិទ្យាស៊ីជម្រៅជាមួយផ្នែកសាធារណៈ AWS ។ គាត់មានបទពិសោធន៍ជាង 8 ឆ្នាំនៅក្នុង AI/ML និង 23 ឆ្នាំនៃការអភិវឌ្ឍន៍ផ្នែកទន់ និងបទពិសោធន៍ផ្នែកលក់។ Kiran ជួយអាជីវកម្មផ្នែកសាធារណៈនៅទូទាំងប្រទេសឥណ្ឌាស្វែងរក និងសហការបង្កើតដំណោះស្រាយផ្អែកលើពពកដែលប្រើ AI, ML និង AI ជំនាន់ថ្មី រួមទាំងម៉ូដែលភាសាធំៗផងដែរ បច្ចេកវិទ្យា។