DevExpress Office File API是一個專為C#, VB.NET 和 ASP.NET等開發(fā)人員提供的非可視化.NET庫。有了這個庫，不用安裝Microsoft Office，就可以完全自動處理Excel、Word等文檔。開發(fā)人員使用一個非常易于操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CSV 和 Snap Report等企業(yè)級文件。

出于與可訪問性相關的原因，某些業(yè)務使用場景要求Office文檔為圖形內(nèi)容(圖像、圖表等)包含有意義的描述/替代文本(Alt text)。Alt Text幫助有視覺障礙的人理解圖片和其他圖形內(nèi)容(屏幕閱讀器不能正確閱讀沒有Alt Text的包含圖像的文檔)。此外，沒有Alt Text的文檔不能正確導出為可訪問的PDF(這些PDF無法通過可訪問性驗證)。

OpenAI平臺提供了解決這一特殊需求/問題的解決方案(OpenAI的生成式AI可以幫助描述Word和Excel文件中的圖像和其他圖形內(nèi)容)。在這本文中，我們將向您展示如何將OpenAI模型集成到DevExpress驅(qū)動的Office File API應用程序中，并添加缺失的媒體描述和Alt Text。處理完文檔后，用戶可以將文件導出為可訪問的PDF，或者在文檔查看器中上傳，然后使用屏幕閱讀器閱讀。

DevExpress Office File API 最新正式版下載

DevExpress技術交流群10：532598169      歡迎一起進群討論

我們創(chuàng)建了一個示例項目來幫助說明策略，這個REST API應用程序包括兩個端點：描述Word文檔中的圖像和Excel文件中的圖表。

您可以從GitHub下載這個項目：

實現(xiàn)OpenAI模型API

在您將此解決方案納入應用程序之前，請務必閱讀并理解OpenAI的許可協(xié)議和使用條款。

首先，在項目中添加對包的引用，這個包適應OpenAI的REST APIs，因此它們可以在非Azure OpenAI開發(fā)中使用。

我們將使用這個API發(fā)送請求和處理響應。

下面的代碼片段發(fā)送一個請求來描述一個圖像，并獲得一個帶有響應的字符串。

class OpenAIClientImageHelper {
OpenAIClient client;
internal OpenAIClientImageHelper(string openAIApiKey) {
client = new OpenAIClient(openAIApiKey, new OpenAIClientOptions());
}
string ConvertDXImageToBase64String(DXImage image) {
using (MemoryStream stream = new MemoryStream()) {
image.Save(stream, DXImageFormat.Png);
byte[] imageBytes = stream.ToArray();
return Convert.ToBase64String(imageBytes);
}
}
internal async Task<string> DescribeImageAsync(OfficeImage image) {
string base64Content = ConvertDXImageToBase64String(image.DXImage);
string imageContentType = OfficeImage.GetContentType(OfficeImageFormat.Png);
return await GetImageDescription($"data:{imageContentType};base64,{base64Content}");
}
internal async Task<string> GetImageDescription(string uriString) {
ChatCompletionsOptions chatCompletionsOptions = new() {
DeploymentName = "gpt-4-vision-preview",
Messages =
{
new ChatRequestSystemMessage("You are a helpful assistant that describes images."),
new ChatRequestUserMessage(
new ChatMessageTextContentItem("Give a description of this image in no more than 10 words"),
new ChatMessageImageContentItem(new Uri(uriString))),
},
MaxTokens = 300
};

Response<ChatCompletions> chatResponse = await client.GetChatCompletionsAsync(chatCompletionsOptions);
ChatChoice choice = chatResponse.Value.Choices[0];
return choice.Message.Content;
}
}

Word Processing Document API端點

我們可以在DevExpress支持的Word Processing Document API應用程序中使用上面描述的API，使用集合檢索文檔圖像。按類型對檢索到的形狀排序，并檢查圖像是否包含Alt Text，然后調(diào)用上面實現(xiàn)的OpenAIClientImageHelper.GetImageDescription方法來生成圖像描述。

public async Task<IActionResult> GenerateImageAltText(IFormFile documentWithImage,
[FromQuery] RichEditFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var server = new RichEditDocumentServer()) {
await RichEditHelper.LoadFile(server, documentWithImage);
server.GenerateAltTextForImages((document) => {
foreach (var shape in document.Shapes) {
if (shape.Type == DevExpress.XtraRichEdit.API.Native.ShapeType.Picture && string.IsNullOrEmpty(shape.AltText))
shape.AltText = imageHelper.DescribeImageAsync(shape.PictureFormat.Picture).Result;
}
});

Stream result = RichEditHelper.SaveDocument(server, outputFormat);
string contentType = RichEditHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}

Spreadsheet Document API端點

您還可以為Excel圖表生成Alt Text，我們的項目展示了如何結(jié)合Azure OpenAI和Spreadsheet Document APIs來解決這個特殊的需求。

首先，您需要將Excel圖表轉(zhuǎn)換為圖像，調(diào)用方法從每個圖表中獲取OfficeImage對象，然后調(diào)用上面實現(xiàn)的OpenAIClientImageHelper.GetImageDescription方法來生成圖像描述并將其用作Alt Text。

public async Task<IActionResult> GenerateChartAltText(IFormFile documentWithImage,
[FromQuery] SpreadsheetFormat outputFormat) {
try {
var imageHelper = new OpenAIClientImageHelper(openAIApiKey);
using (var workbook = new Workbook()) {
await SpreadsheetHelper.LoadWorkbook(workbook, documentWithImage);
foreach (var worksheet in workbook.Worksheets) {
foreach (var chart in worksheet.Charts) {
OfficeImage image = chart.ExportToImage();
chart.AlternativeText = await imageHelper.DescribeImageAsync(image);
}
}

Stream result = SpreadsheetHelper.SaveDocument(workbook, outputFormat);
string contentType = SpreadsheetHelper.GetContentType(outputFormat);
return File(result, contentType, $"result.{outputFormat}");
}
}
catch (Exception e) {
return StatusCode(500, e.Message + Environment.NewLine + e.StackTrace);
}
}